自動バッチ処理#

自動バッチ処理の構成#

OpenVINO 命名規則に従って、バッチ処理デバイスには BATCH というラベルが割り当てられます。構成オプションは次のとおりです:

自動バッチサイズ選択#

THROUGHPUT ヒントと明示的な BATCH デバイスの両方では、実装がデバイスから ov::optimal_batch_size プロパティーを照会し、モデルグラフをパラメーターとして渡すため、最適なバッチサイズが自動的に選択されます。実際の値は、モデルとデバイスの仕様 (dGPU のデバイスメモリーなど) によって異なります。自動バッチ処理のサポートは GPU に限定されません。ただし、デバイスが ov::optimal_batch_size をサポートしていない場合、自動バッチ処理を使用するには、BATCH:<device>(16) など、明示的にバッチサイズを指定する必要があります。

この “自動バッチサイズ選択” は、アプリケーションが ov::optimal_number_of_infer_requests を照会して、返された数の要求を作成し、それらを同時に実行することが前提です。

 # バッチサイズが実装によって自動的に選択される場合 
# 十分なリクエストを照会/作成して実行することが重要です 
config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} 
compiled_model = core.compile_model(model, "GPU", config) 
num_requests = compiled_model.get_property(props.optimal_number_of_infer_requests)

// バッチサイズが実装によって自動的に選択される場合 
// 十分なリクエストを照会/作成して実行することが重要です 
auto compiled_model = core.compile_model(model, "GPU", 
    ov::hint::performance_mode(ov::hint::PerformanceMode::THROUGHPUT)); 
auto num_requests = compiled_model.get_property(ov::optimal_number_of_infer_requests);

 config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT, 
          hints.num_requests: "4"} 
# 'スループット’ に利用可能な並列余裕を制限し、 
# 特定のパラメーター (選択されたバッチサイズなど) がそれに応じて自動的に調整されるようにする 
compiled_model = core.compile_model(model, "GPU", config)

// ov::hint::num_requests を介して 'スループット' ヒントの利用可能な並列スラックを制限する 
// 特定のパラメーター (選択されたバッチサイズなど) がそれに応じて自動的に調整されるようにする 
auto compiled_model = core.compile_model(model, "GPU", 
    ov::hint::performance_mode(ov::hint::PerformanceMode::THROUGHPUT), 
    ov::hint::num_requests(4));

明示的なデバイスとしての自動バッチ処理#

以下の例は、ユーザーが直接推論を実行する際に自動バッチ処理を指定するデバイス形式を示しています:

./benchmark_app -m <model> -d "BATCH:GPU" 
./benchmark_app -m <model> -d "BATCH:GPU(16)" 
./benchmark_app -m <model> -d "BATCH:CPU(16)"

• BATCH – BATCH デバイスを明示的にロードします。

• :GPU(16) – BATCH デバイス構成。バッチサイズ = 16 の GPU デバイスを適用するように BATCH デバイスに指示します。

他のデバイスに設定された自動バッチ処理#

次の例では、tput/ctput mode モードの場合、BATCH デバイスが別のデバイスに設定されます。

./benchmark_app -m <model> -d GPU -hint tput 
./benchmark_app -m <model> -d AUTO -hint tput 
./benchmark_app -m <model> -d AUTO -hint ctput 
./benchmark_app -m <model> -d AUTO:GPU -hint ctput

制限事項#

現在の AUTO バッチ処理の実装には次の制限があります:

• 動的モデルは BATCH デバイスではサポートされていません。

• BATCH デバイスは tput/ctput mode モードのみをサポートできます。latency/none mode はサポートされません。

• サポートされるのは、バッチ次元 = 1 のモデルのみです。

• 入出力テンソルは inferRequest から取得する必要があります。そうしないと、ユーザーが作成したテンソルによってメモリーのコピーがトリガーされます。

• OPTIMAL_BATCH_SIZE は 2 以上でなければいけません。そうでない場合は、モデルとデバイスに合わせてバッチサイズを指定する必要があります (CPU はこのプロパティーをサポートしていません)。

• BATCH デバイスはデフォルトで GPU をサポートしますが、CPU は tput モードでは auto_batch をトリガーしません。

• AUTO_BATCH を使用すると、コンパイルのレイテンシーが大幅に増加します。

• スループット重視のシナリオではそれほど重要ではありませんが、自動バッチ処理によるロード時間はほぼ 2 倍に増加します。

• 特定のネットワークは、 “バッチ” 次元 (レイアウト用語では N として指定) で安全に再形成することができません。さらに、バッチ処理の次元が 0 番目でない場合、自動バッチ処理はスループットのヒントから “暗黙的に” トリガーされません。

• 例えば、緩和された次元トラッキングを使用する BATCH:GPU などの “明示的な” 概念では、多くの場合、自動バッチ処理が可能です。例えば、この方法ではほとんどの検出ネットワークのロックを解除します。

• “明示的な” デバイスが自動バッチ処理を強制する場合、結果が正しいか必ず検証してください。

• パフォーマンスを向上するには、メモリーの使用量が増大します。ただし、自動バッチ処理では、使用可能なメモリー (特に dGPU) が照会され、それに応じて選択されたバッチサイズが制限されます。