パフォーマンスのヒントとスレッドのスケジュール#

ハードウェア・デバイスの構成を簡素化するには、ov::hint::PerformanceMode::LATENCY および ov::hint::PerformanceMode::THROUGHPUT の高レベルのパフォーマンス・ヒントを使用することを推奨します。両方のパフォーマンス・ヒントにより、さまざまなプラットフォームやモデルにおいてアプリケーションの最適な移植性とスケーラビリティーが保証されます。

• ov::inference_num_threads は、CPU 推論に使用される論理プロセッサーの数を制限します。設定した数がプラットフォーム上の論理プロセッサー数より大きい場合、マルチスレッド・スケジューラーは CPU の推論にプラットフォーム番号のみを使用します。

• ov::num_streams は、並行して実行できる推論要求の数を制限します。ユーザーが設定した数が推論スレッドの数より大きい場合、マルチスレッド・スケジューラーは推論スレッドの数のみを使用して、ストリームごとに少なくとも 1 つのスレッドが存在するようにします。

• ov::hint::scheduling_core_type は、ユーザーが Performance-cores (P-core) と Efficient-cores (E-core) の両方を含むハイブリッド・プラットフォームで推論を実行する場合、CPU 推論の CPU コアのタイプを指定します。ユーザー・プラットフォームに 1 種類の CPU コアしかない場合、このプロパティーは効果がなく、CPU 推論では常に一意のコアタイプが使用されます。

• ov::hint::enable_hyper_threading は、プラットフォームで CPU のハイパースレッディングが有効になっている場合、CPU コアごとに 1 つまたは 2 つの論理プロセッサーの使用を制限します。Efficient-core など、CPU コアごとの論理プロセッサーが 1 つだけの場合、このプロパティーは効果がなく、CPU 推論ではすべての論理プロセッサーが使用されます。

• ov::hint::enable_cpu_pinning は、CPU 推論中に CPU ピンニングを有効にします。ユーザーがこのプロパティーを有効にしても、推論シナリオがサポートしていない場合、このプロパティーはモデルのコンパイル中に無効になります。

上記の構成の詳細については、マルチストリーム実行を参照してください。

# 推論に 1 つの論理プロセッサーを使用 
compiled_model_1 = core.compile_model( 
    model=model, 
    device_name=device_name, 
    config={properties.inference_num_threads(): 1}, 
) 

# ハイブリッド・プラットフォームでの推論に Efficient-core の論理プロセッサーを使用 
compiled_model_2 = core.compile_model( 
    model=model, 
    device_name=device_name, 
    config={ 
        properties.hint.scheduling_core_type(): properties.hint.SchedulingCoreType.ECORE_ONLY, 
    }, 
) 

# ハイパースレッディングがオンの場合、推論には CPU コアごとに 1 つの論理プロセッサーを使用 
compiled_model_3 = core.compile_model( 
    model=model, 
    device_name=device_name, 
    config={properties.hint.enable_hyper_threading(): False}, 
)

// 推論に 1 つの論理プロセッサーを使用 
auto compiled_model_1 = core.compile_model(model, device, ov::inference_num_threads(1)); 

// ハイブリッド・プラットフォームでの推論に Efficient-core の論理プロセッサーを使用 
auto compiled_model_2 = core.compile_model(model, device, ov::hint::scheduling_core_type(ECORE_ONLY)); 

// ハイパースレッディングがオンの場合、推論には CPU コアごとに 1 つの論理プロセッサーを使用 
auto compiled_model_3 = core.compile_model(model, device, ov::hint::enable_hyper_threading(false));

# システムがサポートしている場合は推論用の CPU スレッドのピニングを無効化 
compiled_model_4 = core.compile_model( 
    model=model, 
    device_name=device_name, 
    config={properties.hint.enable_cpu_pinning(): False}, 
)

// システムがサポートしている場合は推論用の CPU スレッドのピニングを無効化 
auto compiled_model_4 = core.compile_model(model, device, 
    ov::hint::enable_cpu_pinning(false));