background-matting-mobilenetv2#
ユースケースと概要説明#
background-matting-mobilenetv2
モデルは、背景マット (MobileNetV2 バックボーンを使用) に基づく高解像度の背景置換技術であり、背景の追加フレームがキャプチャーされ、アルファマットと前景レイヤーの復元に使用されます。このモデルは PyTorch* フレームワークで事前トレーニングされ、ONNX* 形式に変換されます。詳細については、論文で説明されています。詳細についてはリポジトリーを参照してください。ONNX へのエクスポートの詳細については、こちらを参照してください。
仕様#
メトリック |
値 |
---|---|
タイプ |
Background_matting |
GFlops |
6.7419 |
MParams |
5.052 |
ソース・フレームワーク |
PyTorch* |
精度#
精度は、HumanMatting データセットからの前景と、入力解像度 1280x720 の OpenImagesV5 からの背景で構成されたデータセットで測定されました。
メトリック |
元のモデル |
変換されたモデル |
---|---|---|
Alpha MAD |
4.32 |
4.35 |
Alpha MSE |
1.0 |
1.0 |
Alpha GRAD |
2.48 |
2.49 |
前景 MSE |
2.7 |
2.69 |
Alpha MAD - アルファの絶対差の平均。
Alpha MSE - アルファの平均二乗誤差。
Alpha GRAD - アルファの空間勾配メトリック。
前景 MSE - 前景の平均二乗誤差。
入力#
元のモデル#
画像、名前: src
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
予想される色の順序: RGB
。スケール係数: 255
画像、名前: bgr
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
予想される色の順序: RGB
。スケール係数: 255
変換されたモデル#
画像、名前: src
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
予想される色の順序: BGR
。
画像、名前: bgr
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
予想される色の順序: BGR
。
出力#
元のモデル#
アルファマット。名前: pha
、形状: 1, 1, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
前景。名前: fgr
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
変換されたモデル#
アルファマット。名前: pha
、形状: 1, 1, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
前景。名前: fgr
、形状: 1, 3, 720, 1280
、形式: B, C, H, W
、ここで:
B
- バッチサイズC
- チャネル数H
- 画像の髙さW
- 画像の幅
モデルをダウンロードして推論エンジン形式に変換#
以下の例に示すように、モデルをダウンロードし、必要に応じてモデル・ダウンローダーや他の自動化ツールを使用してモデルを推論エンジン形式に変換できます。
モデル・ダウンローダーの使用例:
omz_downloader --name <model_name>
モデル・コンバーターの使用例:
omz_converter --name <model_name>
デモの使い方#
このモデルは、Open Model Zoo が提供する次のデモで使用して、その機能を示します:
法務上の注意書き#
元のモデルは、MIT ライセンスに基づいて配布されています。