G-API ジェスチャー認識デモ#

どのように動作するか#

デモ・アプリケーションは、中間表現 (IR) 形式のジェスチャー認識モデルを想定しています。

デモ・アプリケーションは入力として次を受け取ります:

• コマンドライン引数 --input で指定されたビデオファイルまたは Web カメラのデバイスノードへのパス

• ジェスチャー・クラス名 --class_map を含む JSON 形式のファイルへのパス

デモのワークフローを次に示します:

1. デモ・アプリケーションはビデオフレームを 1 枚ずつ読み取り、ROI を抽出する人物検出器を実行し、最初の人物の ROI を追跡します。追加プロセスで、一定のフレームレートでフレームのバッチを準備します。

2. フレームのバッチと抽出された ROI は、ジェスチャーを予測するニューラル・ネットワークに渡されます。

3. アプリケーションは、次の物体が表示されるグラフィカル・ウィンドウとしてワークの結果を視覚化します:

   • 検出された ROI を含む入力フレーム。

   • 最後に認識されたジェスチャー。

   • パフォーマンス特性。

注: デフォルトでは、Open Model Zoo のデモは BGR チャネル順序での入力を期待します。RGB 順序で動作するようにモデルをトレーニングした場合は、サンプルまたはデモ・アプリケーションでデフォルトのチャネル順序を手動で再配置するか、--reverse_input_channels 引数を指定したモデル・オプティマイザー・ツールを使用してモデルを再変換する必要があります。引数の詳細については、[前処理計算の埋め込み](@ref openvino_docs_MO_DG_Additional_Optimization_Use_Cases) の入力チャネルを反転するセクションを参照してください。

ジェスチャー・ウィンドウのギャラリー作成#

追加のウィンドウにサンプル・ジェスチャーを表示するには、サンプルビデオのギャラリーとジェスチャー・ビデオへのパスのリストを作成する必要があります:

1. ジェスチャーを含むビデオを別の空のフォルダーに配置します。各ビデオにはジェスチャーが 1 つだけ含まれる必要があります。

2. python3 <omz_dir>/demos/gesture_recognition_demo/cpp_gapi/create_list.py --classes_map <path_to_a_file_with_gesture_classes> --gesture_storage <path_to_directory_with_gesture_videos> コマンドを実行します。これにより、ジェスチャーのリストと適切なビデオへのパスを含む gesture_gallery.json ファイルが作成されます。

実行の準備#

デモの入力画像またはビデオファイルについては、Open Model Zoo デモの概要のデモに使用できるメディアファイルのセクションを参照してください。デモでサポートされるモデルリストは、<omz_dir>/demos/gesture_recognition_demo/cpp_gapi/models.lst ファイルにあります。このファイルは、モデル・ダウンローダーおよびコンバーターのパラメーターとして使用され、モデルをダウンロードし、必要に応じて OpenVINO IR 形式 (*.xml + *.bin) に変換できます。

モデル・ダウンローダーの使用例:

omz_downloader --list models.lst

モデル・コンバーターの使用例:

omz_converter --list models.lst

実行する#

-h オプションを指定してアプリケーションを実行すると、使用方法が表示されます:

gesture_recognition_demo_gapi [OPTION] 

Options: 
  -h                       Show this help message and exit.
  -M_am_a 
                           Required.Path to an .xml file with a trained gesture recognition model.
  -M_dm_d 
                           Required.Path to an .xml file with a trained person detector model.
  -i 
                           Required.Path to a video file or a device node of a webcam.
  -o 
                           Optional.Name of the output file(s) to save.Frames of odd width or height can be truncated.See https://github.com/opencv/opencv/pull/24086 
  -limit 
                           Optional.Number of frames to store in output. If -1 is set, all frames are stored.
  -c 
                           Required.Path to a file with gesture classes.
  -s 
                           Optional.Path to a directory with video samples of gestures.
  -t 
                           Optional.Threshold for the predicted score of an action.
  -d_d "<device>" 
                           Optional. Target device for Person Detection network (the list of available devices is shown below).
  -d_a "<device>" 
                           Optional. Target device for Gesture Recognition (the list of available devices is shown below).
  -no_show 
                           Optional. Don't show output.
  -u 
                           Optional.List of monitors to show initially.

オプションのリストを空にしてアプリケーションを実行すると、エラーメッセージが表示されます。

例えば、CPU で推論を行うには、次のコマンドを実行します:

./Gesture_recognition_demo_gapi \
    -m_a <path_to_model>/asl-recognition-0004.xml \ 
    -m_d <path_to_model>/person-detection-asl-0001.xml \ 
    -i 0 \ 
    -c <omz_dir>/data/dataset_classes/msasl100.json

デモの出力#

このアプリケーションは OpenCV を使用して、ジェスチャー認識結果と現在の推論パフォーマンスを表示します。

関連情報#

• Open Model Zoo のデモ

• モデル・オプティマイザー

• モデル・ダウンローダー