OpenVINO 条件付きコンパイルによる最適なバイナリーサイズ#

ステージ 1: コードの使用状況に関する統計情報を収集#

• SELECTIVE_BUILD=COLLECT オプションを使用して OpenVINO をビルドします

  git submodule init 
  git submodule update 
  mkdir build && cd build 
  cmake -DENABLE_PROFILING_ITT=ON -DSELECTIVE_BUILD=COLLECT .. 
  cmake --build .

• コード使用状況分析用の ITT コレクターを構築します

  cmake --build .--target sea_itt_lib

• 各モデルのコード使用状況を分析するため、ITT コレクターで下でターゲット・アプリケーションを実行します

  python thirdparty/itt_collector/runtool/sea_runtool.py 
      --bindir ${OPENVINO_LIBRARY_DIR} 
      -o ${MY_MODEL_RESULT} ! ./benchmark_app -niter 1 -nireq 1 -m ${MY_MODEL}.xml 
  
  次に、統計情報が生成され、``{MY_MODEL_RESULT}`` ディレクトリー化の .csv 形式のファイルに保存されます。

  ヒント

  Benchmark_app 以外のアプリケーションを実行して統計データを収集する場合は、プロファイル時間が長くなりすぎたり、統計データが大きくなりすぎないように、推論要求の数と反復数を制限する必要があります。

  このスクリプトを実行すると、生成されたヘッダーファイルを CSV ファイルから取得し、統計が正しいかどうかを確認できます。このステップは条件付きコンパイルの第 2 ステージで暗黙的に実行されます。必要がない場合はスキップしてください。

  python3.8 ../../src/common/conditional_compilation/scripts/ccheader.py --stat ${csv_files} --out conditional_compilation_gen.h 
  
   conditional_compilation_gen.h は、 次のようになります :

  #pragma once 
  
  #define tbb_bind_TBBbindSystemTopology 1 
  #define tbb_bind_task_arena_initialize 1 
  
  #define ov_opset_opset1_Parameter 1 
  #define ov_opset_opset1_Constant 1 
  #define ov_opset_opset1_Convolution 1 
  #define ov_opset_opset1_Add 1 
  #define ov_opset_opset1_Relu 1 
  #define ov_opset_opset1_GroupConvolution 1 
  #define ov_opset_opset3_ShapeOf 1 
  #define ov_opset_opset1_Squeeze 1 
  #define ov_opset_opset4_Range 1 
  #define ov_opset_opset1_ReduceMean 1 
  #define ov_opset_opset1_Softmax 1 
  #define ov_opset_opset1_Result 1 
  
  #define ov_op_v0_Parameter_visit_attributes 1 
  #define ov_op_v0_Parameter_validate_and_infer_types 1 
  #define ov_op_v0_Parameter_clone_with_new_inputs 1 
  #define ov_op_v0_Constant_visit_attributes 1 
  #define ov_op_v0_Constant_clone_with_new_inputs 1 
  #define ov_op_v1_Convolution_visit_attributes 1 
  #define ov_op_v1_Convolution_validate_and_infer_types 1 
  #define ov_op_v1_Convolution_clone_with_new_inputs 1 
  #define ov_op_v0_util_BinaryElementwiseArithmetic_visit_attributes 1 
  #define ov_op_v1_Add_visit_attributes 1 
  #define ov_op_v0_util_BinaryElementwiseArithmetic_validate_and_infer_types 1 
  #define ov_op_v1_Add_clone_with_new_inputs 1 
  #define ov_op_v0_Relu_visit_attributes 1 
  #define ov_op_util_UnaryElementwiseArithmetic_validate_and_infer_types 1 
  #define ov_op_v0_Relu_clone_with_new_inputs 1 
  #define ov_op_v1_GroupConvolution_visit_attributes 1 
  #define ov_op_v1_GroupConvolution_validate_and_infer_types 1 
  #define ov_op_v1_GroupConvolution_clone_with_new_inputs 1 
  #define ov_op_v3_ShapeOf_visit_attributes 1 
  #define ov_op_v3_ShapeOf_validate_and_infer_types 1 
  #define ov_op_v3_ShapeOf_clone_with_new_inputs 1 
  #define ov_op_v0_Squeeze_visit_attributes 1 
  ...

ステージ 2: 結果として得られる OpenVINO パッケージをビルド#

統計情報を基に OpenVINO を再ビルドし、最適なサイズの OpenVINO バイナリーを生成します。

cmake -DSELECTIVE_BUILD=ON 
    -DSELECTIVE_BUILD_STAT=${ABSOLUTE_PATH_TO_STATISTICS_FILES}/*.csv 
    -DENABLE_PROFILING_ITT=OFF .. 
cmake --build .

ステージ 1: 選択的ビルド分析ステージ#

条件付きコンパイルを有効にして OpenVINO をビルドします:

call C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Auxiliary\Build\vcvar64.bat 
set OPENVINO_HOME=D:\work_path\openvino 
cd %OPENVINO_HOME% 
md build_cc 
cd build_cc 
cmake -G Ninja -Wno-dev -DCMAKE_BUILD_TYPE=Debug -DENABLE_CPPLINT=OFF 
-DCMAKE_VERBOSE_MAKEFILE=ON -DCMAKE_COMPILE_WARNING_AS_ERROR=OFF 
-DENABLE_FASTER_BUILD=ON -DENABLE_SANITIZER=OFF 
-DTHREADING=TBB -DBUILD_SHARED_LIBS=OFF 
-DENABLE_PROFILING_ITT=ON -DSELECTIVE_BUILD=COLLECT 
-DENABLE_INTEL_GPU=OFF -DENABLE_MULTI=OFF 
-DENABLE_AUTO=OFF -DENABLE_AUTO_BATCH=OFF 
-DENABLE_HETERO=OFF -DENABLE_TEMPLATE=OFF 
-DENABLE_OV_ONNX_FRONTEND=OFF -DENABLE_OV_PADDLE_FRONTEND=OFF 
-DENABLE_OV_PYTORCH_FRONTEND=OFF 
-DENABLE_OV_JAX_FRONTEND=OFF 
-DENABLE_OV_TF_FRONTEND=OFF -DCMAKE_INSTALL_PREFIX=install .. 

cmake --build .--config Debug

統計データを収集します。

cd %OPENVINO_HOME%\build_cc 
cmake --build .--config Debug --target sea_itt_lib 
cd %OPENVINO_HOME% 
set PATH=%PATH%;%OPENVINO_HOME%\\temp\tbb\bin 
mkdir cc_data 
cd %OPENVINO_HOME%\cc_data 
python3 ..\thirdparty\itt_collector\runtool\sea_runtool.py --bindir ..\bin\intel64\Debug -o %OPENVINO_HOME%\cc_data\data ! ..\bin\intel64\Debug\benchmark_app.exe -niter 1 -nireq 1 -m <your_model.xml>

ステージ 2: 結果として得られる OpenVINO パッケージをビルド#

最適なバイナリーサイズの最終的な OpenVINO パッケージを生成します。

cd %OPENVINO_HOME% 
md build 
cd build 

cmake -G "Visual Studio 16 2019" -A x64 
-DENABLE_CPPLINT=OFF -DCMAKE_VERBOSE_MAKEFILE=ON 
-DCMAKE_COMPILE_WARNING_AS_ERROR=OFF -DCMAKE_BUILD_TYPE=Release -DENABLE_FASTER_BUILD=ON -DENABLE_PROFILING_ITT=OFF -DSELECTIVE_BUILD=ON -DENABLE_INTEL_GPU=OFF -DENABLE_MULTI=OFF -DENABLE_AUTO=OFF 
-DENABLE_AUTO_BATCH=OFF -DENABLE_HETERO=OFF 
-DENABLE_TEMPLATE=OFF -DENABLE_OV_ONNX_FRONTEND=OFF -DENABLE_OV_PADDLE_FRONTEND=OFF 
-DENABLE_OV_PYTORCH_FRONTEND=OFF -DENABLE_OV_JAX_FRONTEND=OFF -DENABLE_OV_TF_FRONTEND=OFF 
-DSELECTIVE_BUILD_STAT=%OPENVINO_HOME%\cc_data\*.csv 
-DBUILD_SHARED_LIBS=OFF -DENABLE_LTO=ON 
-DENABLE_ONEDNN_FOR_GPU=OFF 
-DENABLE_OV_TF_LITE_FRONTEND=OFF -DENABLE_PROFILING_FIRST_INFERENCE=OFF .. 

cmake --build .--config Release