background-matting-mobilenetv2

ユースケースと概要説明

background-matting-mobilenetv2 モデルは、背景マット (MobileNetV2 バックボーンを使用) に基づく高解像度の背景置換技術であり、背景の追加フレームがキャプチャーされ、アルファーマットと前景レイヤーの復元に使用されます。このモデルは PyTorch* フレームワークで事前トレーニングされ、ONNX* 形式に変換されます。詳細については、論文で説明されています。詳細についてはリポジトリーを参照してください。ONNX へのエクスポートの詳細については、こちらを参照してください。

仕様

メトリック

タイプ

Background_matting

GFlops

6.7419

MParams

5.052

ソース・フレームワーク

PyTorch*

精度

精度は、HumanMatting データセットからの前景と、入力解像度 1280x720 の OpenImagesV5 からの背景で構成されたデータセットで測定されました。

メトリック

元のモデル

変換されたモデル

Alpha MAD

4.32

4.35

Alpha MSE

1.0

1.0

Alpha GRAD

2.48

2.49

前景 MSE

2.7

2.69

  • Alpha MAD - アルファの絶対差の平均。

  • Alpha MSE - アルファの平均二乗誤差。

  • Alpha GRAD - アルファの空間勾配メトリック。

  • 前景 MSE - 前景の平均二乗誤差。

入力

元のモデル

画像、名前: src、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

予想される色の順序: RGB。スケール係数: 255

画像、名前: bgr、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

予想される色の順序: RGB。スケール係数: 255

変換されたモデル

画像、名前: src、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

予想される色の順序: BGR

画像、名前: bgr、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

予想される色の順序: BGR

出力

元のモデル

アルファーマット。名前: pha、形状: 1, 1, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

前景。名前: fgr、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

変換されたモデル

アルファーマット。名前: pha、形状: 1, 1, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

前景。名前: fgr、形状: 1, 3, 720, 1280、形式: B, C, H, W

説明:

  • B - バッチサイズ

  • C - チャネル数

  • H - 画像の髙さ

  • W - 画像の幅

モデルをダウンロードして推論エンジン形式に変換

以下の例に示すように、モデルをダウンロードし、必要に応じてモデル・ダウンローダーや他の自動化ツールを使用してモデルを推論エンジン形式に変換できます。

モデル・ダウンローダーの使用例:

omz_downloader --name <model_name>

モデル・コンバーターの使用例:

omz_converter --name <model_name>

デモの使い方

Open Model Zoo が提供する次のデモでこのモデルを使用して、その機能を確認できます。