OpenVINO™ をアプリケーションと統合 — OpenVINO™ ドキュメント

ステップ 1. OpenVINO ランタイムコアの作成¶

OpenVINO™ ランタイムで使用する次のファイルをインクルードします。

Python

                                            import openvino as ov

                                        

C++

                                            #include <openvino/openvino.hpp>

                                        

C

                                            #include <openvino/c/openvino.h>

                                        

次のコードを使用して OpenVINO™ コアを作成し、利用可能なデバイスを管理し、モデル・オブジェクトを読み取ります。

Python

                                            core = ov.Core()

                                        

C++

                                            ov::Core core;

                                        

C

                                            ov_core_t* core = NULL;
ov_core_create(&core);

ステップ 2. モデルをコンパイル¶

ov::CompiledModel クラスは、デバイス固有のコンパイル済みモデルを表します。ov::CompiledModel を使用すると、テンソル名またはインデックスによって情報の入力または出力ポートを取得できます。このアプローチは、ほとんどのフレームワークに適合しています。

ov::Core::compile_model() を使用して、特定のデバイス向けモデルをコンパイルします。

ov::Model オブジェクトは、OpenVINO™ ランタイム内のモデルを表します。詳細については、OpenVINO™ モデルの表現ご覧ください。

上記のコードは、モデル・オブジェクトから単一ハードウェア・デバイスに関連付けられたコンパイル済みモデルを作成します。必要な数のコンパイル済みモデルを作成し、それらを同時に使用することができます (ハードウェアの上限まで)。デバイス構成を変更する方法については、デバイス・プロパティーの照会を参照してください。

ステップ 3. 推論要求の作成¶

ov::InferRequest クラスは、OpenVINO™ ランタイムでのモデル推論のメソッドを提供します。次のコードを使用して推論要求を作成します (詳細については、InferRequest のドキュメントを参照してください)。

Python

                                            infer_request = compiled_model.create_infer_request()

                                        

C++

                                            ov::InferRequest infer_request = compiled_model.create_infer_request();

                                        

C

                                            ov_infer_request_t* infer_request = NULL;
ov_compiled_model_create_infer_request(compiled_model, &infer_request);

ステップ 4. 入力をセット¶

外部メモリーを使用して ov::Tensor を作成し、ov::InferRequest::set_input_tensor メソッドを使用してこのテンソルをデバイスに配置できます。

Python

                                            # Create tensor from external memory
input_tensor = ov.Tensor(array=memory, shared_memory=True)
# Set input tensor for model with one input
infer_request.set_input_tensor(input_tensor)

                                        

C++

                                            // Get input port for model with one input
auto input_port = compiled_model.input();
// Create tensor from external memory
ov::Tensor input_tensor(input_port.get_element_type(), input_port.get_shape(), memory_ptr);
// Set input tensor for model with one input
infer_request.set_input_tensor(input_tensor);

                                        

C

                                            // Get input port for model with one input
ov_output_const_port_t* input_port = NULL;
ov_model_const_input(model, &input_port);
// Get the input shape from input port
ov_shape_t input_shape;
ov_const_port_get_shape(input_port, &input_shape);
// Get the the type of input
ov_element_type_e input_type;
ov_port_get_element_type(input_port, &input_type);
// Create tensor from external memory
ov_tensor_t* tensor = NULL;
ov_tensor_create_from_host_ptr(input_type, input_shape, memory_ptr, &tensor);
// Set input tensor for model with one input
ov_infer_request_set_input_tensor(infer_request, tensor);

                                        

テキストデータをモデル入力とする方法については、追加資料を参照してください。

ステップ 5. 推論を開始¶

OpenVINO™ ランタイムは、同期モードまたは非同期モードの推論をサポートします。非同期 API を使用すると、アプリケーションの全体的なフレームレートを向上させることができます。推論の完了を待機する代わりに、アクセラレーターがビジー状態でもアプリはホスト上で動作し続けることができます。ov::InferRequest::start_async を使用して非同期モードでモデル推論を開始し、ov::InferRequest::wait を呼び出して推論結果を待機することができます。

Python

                                            infer_request.start_async()
infer_request.wait()

C++

                                            infer_request.start_async();
infer_request.wait();

C

                                            ov_infer_request_start_async(infer_request);
ov_infer_request_wait(infer_request);

このセクションでは、単純なパイプラインを示します。推論を実行する他の方法の詳細については、推論の実行をお読みください。

ステップ 6. 推論結果の処理¶

出力テンソルを調べて、推論結果を処理します。

Python

                                            # Get output tensor for model with one output
output = infer_request.get_output_tensor()
output_buffer = output.data
# output_buffer[] - accessing output tensor data

                                        

C++

                                            // Get output tensor by tensor name
auto output = infer_request.get_tensor("tensor_name");
const float *output_buffer = output.data<const float>();
// output_buffer[] - accessing output tensor data

                                        

C

                                            ov_tensor_t* output_tensor = NULL;
// Get output tensor by tensor index
ov_infer_request_get_output_tensor_by_index(infer_request, 0, &output_tensor);

                                        

テキストデータをモデル出力とする方法については、追加資料を参照してください。

ステップ 7. 割り当てられたオブジェクトを解放 (C のみ)¶

メモリーリークを避けるために、C API で開発されたアプリケーションは、割り当てられたオブジェクトを順に解放する必要があります。

C

                                            ov_shape_free(&input_shape);
ov_tensor_free(output_tensor);
ov_output_const_port_free(input_port);
ov_tensor_free(tensor);
ov_infer_request_free(infer_request);
ov_compiled_model_free(compiled_model);
ov_model_free(model);
ov_core_free(core);

                                        

ステップ 8. OpenVINO™ ランタイムを使用してアプリケーションをリンクして構築 (例)¶

このステップはプロジェクトによって異なる場合があります。この例では、プロジェクト構成に CMake とともに C++ および C アプリケーションが使用されます。

プロジェクトの構造を作成¶

C++

                                                project/
   ├── CMakeLists.txt  - CMake file to build
   ├── ...             - Additional folders like includes/
   └── src/            - source folder
       └── main.cpp
build/                  - build directory
   ...


                                            

C

                                                project/
   ├── CMakeLists.txt  - CMake file to build
   ├── ...             - Additional folders like includes/
   └── src/            - source folder
       └── main.c
build/                  - build directory
   ...      


                                            

Cmake スクリプトを作成¶

追加の CMake ビルドオプションの詳細については、CMake のページを参照してください。

C++

                                                cmake_minimum_required(VERSION 3.10)
set(CMAKE_CXX_STANDARD 11)

find_package(OpenVINO REQUIRED)

add_executable(${TARGET_NAME} src/main.cpp)

target_link_libraries(${TARGET_NAME} PRIVATE openvino::runtime)

C

                                                cmake_minimum_required(VERSION 3.10)
set(CMAKE_CXX_STANDARD 11)

find_package(OpenVINO REQUIRED)

add_executable(${TARGET_NAME_C} src/main.c)

target_link_libraries(${TARGET_NAME_C} PRIVATE openvino::runtime::c)

プロジェクトのビルド¶

現在マシンで利用可能なビルドツールを使用して CMake を使用してプロジェクトをビルドするには、次のコマンドを実行します。

                                        cd build/
cmake ../project
cmake --build .

                                    

OpenVINO™ をアプリケーションと統合¶

ステップ 1. OpenVINO ランタイムコアの作成¶

ステップ 2. モデルをコンパイル¶

ステップ 3. 推論要求の作成¶

ステップ 4. 入力をセット¶

ステップ 5. 推論を開始¶

ステップ 6. 推論結果の処理¶

ステップ 7. 割り当てられたオブジェクトを解放 (C のみ)¶

ステップ 8. OpenVINO™ ランタイムを使用してアプリケーションをリンクして構築 (例)¶

プロジェクトの構造を作成¶

Cmake スクリプトを作成¶

プロジェクトのビルド¶

関連情報¶