Drkcore

22 10 2005 HPC Tweet

PVFS(Parallel Virtual Filesystem)

クラスタでPVFS組んだら、実際にI/O performanceがどのくらいあがるのかは気になるところだ。

IBM dW:Linux:高性能Linuxクラスタリング、第1回:クラスタリングの基本 - Japan

ファイル入出力がボトルネックになるとき

一部のアプリケーションは、ディスクに大量のデータを頻繁に読み書きする必要があり、しばしば、計算の中で最も遅いステップになります。より高速なハード・ドライブがあればよいのですが、十分に高速でない場合もあります。

Linuxクラスターで一般的なように、物理ディスク・パーティションがすべてのノード間で共有されていた場合(たとえば、NFSを使用して)、問題は特に明白になります。このような場合は、並列ファイルシステムが便利です。

並列ファイルシステムは、ファイル内のデータを、クラスターの複数のノード(I/Oノードといいます)に接続された複数のディスクに分散します。プログラムがファイルを読み取るときには、そのファイルの複数の部分が複数のディスクから並行して読み取られます。これにより、特定のディスク・コントローラーの負荷が軽減されて、より多くの要求を処理できるようになります。(PVFSは、オープン・ソースの並列ファイルシステムの好例です。標準的なIDEハード・ディスクを使用したLinuxクラスターで1GBsec以上のディスク・パフォーマンスが達成されています。)

About

  • もう5年目(wishlistありマス♡)
  • 最近はPythonとDeepLearning
  • 日本酒自粛中
  • ドラムンベースからミニマルまで
  • ポケモンGOゆるめ

Tag

Python Deep Learning javascript chemoinformatics Emacs sake and more...

Ad

© kzfm 2003-2021