MonoDepth Python デモ#

このトピックでは、指定された入力画像の視差マップを生成する MonoDepth デモ・アプリケーションを実行する方法を説明します。この目的を達成するために、コードは堅牢な単眼深度推定に向けて: ゼロショット・クロスデータセット転送のためのデータセットの混合で説明されているネットワークを使用します。

以下は、midasnet モデルの推論結果です:

例

どのように動作するか#

起動時に、アプリケーションはコマンドライン・パラメーターを受け取り、モデルを OpenVINO™ ランタイムプラグインにロードします。OpenCV VideoCapture からフレームを取得すると、推論を実行して結果を表示します。

非同期 API は、入力/出力をカプセル化し、スケジュールと結果の待機を分離する “推論要求” の概念で動作します。

注: デフォルトでは、Open Model Zoo のデモは BGR チャネル順序での入力を期待します。RGB 順序で動作するようにモデルをトレーニングした場合は、サンプルまたはデモ・アプリケーションでデフォルトのチャネル順序を手動で再配置するか、--reverse_input_channels 引数を指定したモデル・オプティマイザー・ツールを使用してモデルを再変換する必要があります。引数の詳細については、[前処理計算の埋め込み](@ref openvino_docs_MO_DG_Additional_Optimization_Use_Cases) の入力チャネルを反転するセクションを参照してください。

モデル API#

このデモでは、Python* モデル API のモデルラッパー、アダプター、パイプラインを利用します。

統一された結果表現を備えたラッパーの汎用インターフェイスは、1 つのデモで複数の異なる単眼深度推定モデルトポロジーのサポートを提供します。

実行の準備#

デモの入力画像またはビデオファイルについては、Open Model Zoo デモの概要のデモに使用できるメディアファイルのセクションを参照してください。デモでサポートされるモデルリストは、<omz_dir>/demos/monodepth_demo/python/models.lst ファイルにあります。このファイルは、モデル・ダウンローダーおよびコンバーターのパラメーターとして使用され、モデルをダウンロードし、必要に応じて OpenVINO IR 形式 (*.xml + *.bin) に変換できます。

モデル・ダウンローダーの使用例:

omz_downloader --list models.lst

モデル・コンバーターの使用例:

omz_converter --list models.lst

サポートされるモデル#

  • fcrn-dp-nyu-depth-v2-tf

  • midasnet

注: 各種デバイス向けのモデル推論サポートの詳細については、インテルの事前トレーニング・モデルのデバイスサポートとパブリックの事前トレーニング・モデルのデバイスサポートの表を参照してください。

実行する#

-h オプションを指定してアプリケーションを実行すると、使用方法が表示されます:

usage: monodepth_demo.py [-h] -m MODEL -i INPUT [-d DEVICE] 
                         [--adapter {openvino,ovms}] [-nireq NUM_INFER_REQUESTS] [-nstreams NUM_STREAMS] 
                         [-nthreads NUM_THREADS] [--loop] [-o OUTPUT] [-limit OUTPUT_LIMIT] [--no_show] 
                         [--output_resolution OUTPUT_RESOLUTION] [-u UTILIZATION_MONITORS] 

Options: 
  -h, --help            Show this help message and exit.
  -m MODEL, --model MODEL 
                        Required. Path to an .xml file with a trained model or 
                        address of model inference service if using OVMS adapter.
  -i INPUT, --input INPUT 
                        Required. An input to process.The input must be a 
                        single image, a folder of images, video file or camera id. 
  --adapter {openvino,ovms} 
                        Optional. Specify the model adapter.Default is openvino.
  -d DEVICE, --device DEVICE 
                        Optional. Specify the target device to infer on; CPU or 
                        GPU is acceptable.The demo will look for a suitable plugin for device specified.Default value is CPU.

Inference options: 
  -nireq NUM_INFER_REQUESTS, --num_infer_requests NUM_INFER_REQUESTS 
                        Optional. Number of infer requests.
  -nstreams NUM_STREAMS, --num_streams NUM_STREAMS 
                        Optional. Number of streams to use for inference on the CPU or/and GPU in throughput mode (for HETERO and MULTI device cases use format <device1>:<nstreams1>,<device2>:<nstreams2> or just <nstreams>).
  -nthreads NUM_THREADS, --num_threads NUM_THREADS 
                        Optional. Number of threads to use for inference on CPU (including HETERO cases). 

Input/output options: 
  --loop                Optional. Enable reading the input in a loop.
  -o OUTPUT, --output OUTPUT 
                        Optional. Name of the output file(s) to save.Frames of odd width or height can be truncated.See https://github.com/opencv/opencv/pull/24086 
  -limit OUTPUT_LIMIT, --output_limit OUTPUT_LIMIT 
                        Optional. Number of frames to store in output.If 0 is set, all frames are stored.
  --no_show 
                        Optional. Don't show output.
  --output_resolution OUTPUT_RESOLUTION 
                        Optional. Specify the maximum output window resolution in (width x height) format.Example: 1280x720.Input frame size used by default.
  -u UTILIZATION_MONITORS, --utilization_monitors UTILIZATION_MONITORS 
                        Optional. List of monitors to show initially.

オプションの空のリストを指定してアプリケーションを実行すると、上記の使用法メッセージとエラーメッセージが表示されます。

次のコマンドを使用すると、事前トレーニングされた Midasnet モデルを使用して GPU で推論を実行できます:

python3 monodepth_demo.py \ 
    -d GPU \ 
    -i <path_to_video>/inputVideo.mp4 \ 
    -m <path_to_model>/midasnet.xml

推論要求数は -nireq フラグで指定します。この場合、デバイスが並列処理をサポートしていれば複数の推論要求を同時に処理できるため、この数を増やすとパフォーマンス (スループット) の向上につながります。ただし、推論要求数が多いと、各フレームの推論送信まで待機する必要があるため、待ち時間が増加します。

FPS を高めるには、使用するすべてのデバイスの合計値である -nstreams 値をわずかに上回るように -nireq を設定することを推奨します。

注: このデモは、OpenVINO™ ランタイム API からのコールバック機能に基づいています。選択したアプローチにより、デバイスのパフォーマンスの違いによって生じる待機遅延が防止され、マルチデバイス・モードでの実行が最適化されます。ただし、Python API のコールバック・メカニズムの内部構成により、FPS が低下します。

注: 単一の画像を入力として指定すると、デモはすぐに処理してレンダリングし終了します。推論結果を画面上で継続的に視覚化するには、loop オプションを適用します。これにより、単一の画像がループで処理されます。

-o オプションを使用すると、処理結果を Motion JPEG AVI ファイル、または別の JPEG または PNG ファイルに保存できます:

  • 処理結果を AVI ファイルに保存するには、avi 拡張子を付けた出力ファイル名を指定します (例: -o output.avi)。

  • 処理結果を画像として保存するには、出力画像ファイルのテンプレート名を拡張子 jpg または png で指定します (例: -o output_%03d.jpg)。実際のファイル名は、実行時に正規表現 %03d をフレーム番号に置き換えることによってテンプレートから構築され、output_000.jpg、output_001.jpg などになります。カメラなど連続入力ストリームでディスク領域のオーバーランを避けるため、limit オプションを使用して出力ファイルに保存されるデータの量を制限できます。デフォルト値は 1000 です。これを変更するには、-limit N オプションを適用します。ここで、N は保存するフレームの数です。

注: Windows* システムには、デフォルトでは Motion JPEG コーデックがインストールされていない場合があります。この場合、OpenVINO ™ インストール・パッケージに付属する、<INSTALL_DIR>/opencv/ffmpeg-download.ps1 にある PowerShell スクリプトを使用して OpenCV FFMPEG バックエンドをダウンロードできます。OpenVINO ™ がシステムで保護されたフォルダーにインストールされている場合 (一般的なケース)、スクリプトは管理者権限で実行する必要があります。あるいは、結果を画像として保存することもできます。

OpenVINO モデルサーバーの実行#

OpenVINO モデルサーバーで提供されるモデルを使用してデモを実行することもできます。OVMS を使用したデモの実行については、OVMSAdapter を参照してください。

コマンド例:

python3 monodepth_demo.py \ 
    -i <path_to_video>/inputVideo.mp4 \ 
    -m localhost:9000/models/monodepth \ 
    --adapter ovms

デモの出力#

デモでは OpenCV を使用して、結果として得られるフレームを色付きの深度マップで表示します。デモレポート:

  • FPS: ビデオフレーム処理の平均レート (1 秒あたりのフレーム数)。

  • レイテンシー: 1 フレームの処理 (フレームの読み取りから結果の表示まで) に必要な平均時間。これらのメトリックの両方を使用して、アプリケーション・レベルのパフォーマンスを測定できます。

関連情報#