ファブリック・プロファイラーと OpenSHMEM* コード解析

データコレクターの設定

ファブリック・プロファイラーのデータコレクターは、アプリケーションの OpenSHMEM* 呼び出しをインターセプトし、ネットワーク活動を監視するライブラリーとして実装されています。この情報をバイナリー・トレース・ファイルに入力します。

前提条件: module load esp を実行して、esp モジュールをロードします。データコレクターのパッケージは、環境変数 ESP_ROOT が示す先にインストールされます。

データコレクターは 2 つのサードパーティー・ライブラリーを必要とします。

• PAPI は、ランタイムでシステムメトリックを収集する際に使用されます。PAPI を環境に追加するには、module load papi を実行するか、icl.utk.edu/papi/software (英語) からダウンロードしてビルドする必要があります。

• OTF2 はトレースファイルの生成に使用されます。score-p.org (英語) から OTF2 を取得できます。

アナライザーの設定

アナライザーは、MATLAB* ランタイム環境で動作する MATLAB* プログラムのコレクションです。これらは、トレースファイルを読み取って結果を表示します。

前提条件: アナライザーをインストールするには、MATLAB* ランタイム環境が必要です。これは、https://www.mathworks.com/products/compiler/mcr.html (英語) から無料でダウンロードできます。R2018a(9.4) 以降のバージョンを選択します。

アナライザーは、esp/bin/analyzer 下の release ディレクトリーにあります。これは、fabric_profiler_v100 という MATLAB* プログラムです。

アナライザーを開始するには fpro スクリプトを実行します。

ファブリック・プロファイラーのワークフロー

ファブリック・プロファイラーのワークフローで次の手順を実行します。

1. データコレクターを使用してアプリケーションをビルドし実行します。
2. トレースファイルを生成します。
3. アナライザーを使用してトレースファイルを表示します。

アプリケーションをビルドして実行

Linux* または Windows* マシンにファブリック・プロファイラーをインストールし、次の手順でアプリケーションをビルドおよび実行します。

1. ソースコードにファブリック・プロファイラー領域を定義します。

   名前付き領域は、アナライザーで表示およびハイライトされ、解析が改善されます。

   1. esp.h ヘッダーファイルをインクルードします。
   2. 注目する領域をマークします。

      esp_enter("<region_name>");     
               exit_exit("<region_name>");

   3. アプリケーションをリビルドします。

   注

   領域を入れ子またはインターリーブすることはできません。

2. ファブリック・プロファイラーのインストルメントを使用する静的リンクされたアプリケーションをビルドします。

   ファブリック・プロファイラーのモジュール (esp) をロードする場合、環境変数には重要なフラグが定義されます。これらの変数を使用して、SHMEM ライブラリーの前にファブリック・プロファイラーのデータ・コレクター・ライブラリーをコードにリンクします。

   例えば、Cray SHMEM を使用して (examples ディレクトリーから) fixed-round の例をビルドするには、次のように入力します。

   CC -static -o fixed-round $ESP_CFLAGS fixed-round.c $ESP_LDFLAGS $ESP_LDADD

   通常のビルドからの変更に準拠していることを確認してください。

   • C 言語アプリケーションでも C++ コンパイラーを使用してください。データ・コレクター・ライブラリーは C++ を使用しており C++ がないとリンクできません。

   • $ESP_CFLAGS に esp.h へのパスを追加します。また、トレースファイルの品質を向上するため、-g オプションも追加します。

   • $ESP_LDFLAGS にデータ・コレクター・ライブラリーのパスを追加します。

   • $ESP_LDADD にデータ・コレクター・ライブラリーを追加します。

3. ファブリック・プロファイラーのインストルメントを使用する動的にリンクされたアプリケーションをビルドします。

   ファブリック・プロファイラーは、ランタイムに LD_PRELOAD を使用して、SHMEM ライブラリーの前にデータ・コレクター・ライブラリーをリンクします。そのため、ソースコードにファブリック・プロファイラー領域を追加していない限り、アプリケーションをビルドする必要はありません。

   例えば、fixed-round.c アプリケーションは (examples ディレクトリーにある) C 言語で記述されています。上記の静的リンクとは異なり、この C 言語アプリケーションをファブリック・プロファイラーでインストルメントするため、C++ コンパイラーでリビルドする必要はありません。

   cc -o fixed-round $ESP_CFLAGS fixed-round.c -dynamic

   $ESP_CFLAGS に esp.h へのパスを設定し、-g を追加します。

4. ファブリック・プロファイラーのインストルメントを使用してアプリケーションを実行します。

   1. データ・コレクター・ライブラリーは、PAPI ライブラリーと OTF2 ライブラリーを使用します。共有ライブラリーを使用する場合、module load papi を実行するか、PAPI をライブラリーのパスに追加する必要があります。score-p.org (英語) から OTF2 をダウンロードできます。

   2. ファブリック・プロファイラーのモジュールをロードします。

      module load esp

   3. ファブリック・プロファイラーの設定パラメーターは多数あります。モジュールは、アプリケーションを最初に実行する際に十分なデフォルト値を設定します。設定パラメーターについては、別のセクションで説明します。

   4. 動的アプリケーションの場合、データ・コレクター・ライブラリーを LD_PRELOAD 変数に追加します。

      次に例を示します。

      export LD_PRELOAD=$ESP_ROOT/lib/libesp.so:$LD_PRELOAD srun --export=LD_PRELOAD,ALL <rest of srun command>

      esp モジュールをロードした場合、環境変数 ESP_LIB には libesp.so へのパスを含みます。examples ディレクトリーにある *.slurm と *.lsf サンプル・ジョブ・スクリプトを参照してください。

トレースファイルの生成

データコレクターを実行すると、アプリケーションの実行とネットワークのアクティビティーが監視されます。アプリケーションの実行が終了すると、トレースファイルが書き込まれます。トレースファイルへの書き込み時間を確保するため、ウォール時間に 1 割を追加してください。

1. アプリケーションの出力を見て、データコレクターのインストルメントが成功したことを確認します。確認するには以下を行います。

   1. 環境変数 ESP_VERBOSITY_LEVEL に 0 ではなく 1 が設定されていることを確認してください。

   2. shmem_init を呼び出します。ファブリック・プロファイラーの起動バナーが表示されます。

   3. shmem_finalize を呼び出します。ファブリック・プロファイラーの停止バナーが表示されます。

   環境変数 ESP_VERBOSITY_LEVEL が正しく設定されていても、関数呼び出し時にバナーが表示されない場合、esp-support@intel.com までお問い合わせください。

2. トレースファイルをマージします。

   ファブリック・プロファイラーのバナーには、トレースファイルへのパスが表示されます。トレースをマージするには、esp_merge_traces.sh スクリプトを実行します。

   $ESP_ROOT/bin/esp_merge_traces.sh \    
   <アプリケーションの実行ファイルへのパス> <トレース・ディレクトリーのパス> <PE の数>

3. traces ディレクトリーのルートレベルにあるトレースファイルを、アナライザーをインストールしたマシンにコピーします。

アナライザーを使用してトレースファイルを表示

トレースファイルを読み取るアナライザーには 5 つのタイプがあります。いずれも、ファブリック・プロファイラーのパッケージの esp/bin/analyzer にあります。

• espba- バリア・アナライザー

• espfbla- 関数バックログ・アナライザー

• espla- 関数レイテンシー・アナライザー

• espmsa-メッセージ欠落アナライザー

• espr- 結果のサマリーを含むレポート

前の手順で生成されたトレースファイルを使用するか、esp/examples/samples/trace にある事前収集されたサンプルトレースを使用できます。これらのトレースは、esp/examples ディレクトリーにある SHMEM アプリケーションに対応しています。

ファブリック・プロファイラーの動作中にアプリケーションが shmem_finalize を呼び出すと、データコレクターはアプリケーションの動作に関する情報を含む 5 つのトレースファイルに書き込みます。