cocosnet

ユースケースと概要説明

クロスドメイン対応ネットワークは、対応部分と翻訳部分で構成される、見本ベースの画像翻訳モデルです。モデルは ADE20k データセットで事前トレーニングされました。詳細については論文とリポジトリーを参照してください。

仕様

メトリック	値
タイプ	画像翻訳
GFLOPs	1080.7032
MParams	167.9141
ソース・フレームワーク	PyTorch*

精度

メトリックは、モデルによって生成された画像と ADE20k データセットからの実際の検証画像で計算されました。一部の GAN メトリック (IS および FID) では、検証ネットワークとして分類モデルを使用する必要があります。ここでは Inception-V3 モデルです。詳細については、精度チェッカーの設定 <omz_dir>/models/public/cocosnet/accuracy-check-pipelined.yml を確認してください。

メトリック	元のモデル	変換されたモデル
PSNR	12.99 dB	12.93 dB
SSIM	0.34	0.34
IS	13.34	13.35
FID	33.27	33.14

入力

1. 名前: input_seg_map、形状: 1, 151, 256, 256 - B, C, H, W 形式でセマンティック・セグメント化マスク (ワンホット・ラベル・マップ) を入力します。
   説明:

   • B - バッチサイズ

   • C - クラス数 (ADE20k の場合は 151)

   • H - マスクの髙さ

   • W - マスクの幅

2. 画像、名前: ref_image、形状: 1, 3, 256, 256 - B, C, H, W 形式の参照画像 (見本)。

   説明:

   • B - バッチサイズ

   • C - チャネル数

   • H - 画像の髙さ

   • W - 画像の幅

   予想される色の順序は BGR です (元のモデルで予想される色の順序は RGB)。

3. 名前: ref_seg_map、形状: 1, 151, 256, 256 - B, C, H, W 形式の参照イメージのマスク (ワンホット・ラベル・マップ)。
   説明:

   • B - バッチサイズ

   • C - クラス数 (ADE20k の場合は 151)

   • H - マスクの髙さ

   • W - マスクの幅

出力

画像、名前: exemplar_based_output、形状: 1, 3, 256, 256 - B, C, H, W 形式の見本に基づく結果 (生成) イメージ。
説明:

• B - バッチサイズ

• C - チャネル数

• H - 画像の髙さ

• W - 画像の幅

出力色の順序は RGB です。

モデルをダウンロードして OpenVINO™ IR 形式に変換

以下の例に示すように、モデルをダウンロードし、必要に応じてモデル・ダウンローダーやその他の自動化ツールによってモデルを OpenVINO™ IR 形式に変換できます。

モデル・ダウンローダーの使用例:

omz_downloader --name <model_name>

モデル・コンバーターの使用例:

omz_converter --name <model_name>

デモの使い方

Open Model Zoo が提供する次のデモでこのモデルを使用して、その機能を確認できます。

• 画像偏見デモ

法務上の注意書き

元のモデルは、こちらのライセンスに基づいて配布されています。

MIT License

Copyright (c) Microsoft Corporation.

Permission is hereby granted, free of charge, to any person obtaining a copy
of this software and associated documentation files (the "Software"), to deal
in the Software without restriction, including without limitation the rights
to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
copies of the Software, and to permit persons to whom the Software is
furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all
copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
SOFTWARE

Synchronized-BatchNorm-PyTorch (モデルの依存関係) は、次のライセンスの下で配布されます。

‘’’ MIT ライセンス

Copyright (c) 2018 Jiayuan MAO

本ソフトウェアおよび関連文書ファイル (以下「本ソフトウェア」) の複製物を入手した人に対し、以下の条件に従い、本ソフトウェアの使用、複製、変更、結合、公開、頒布、サブライセンス、および/または複製物の販売を行う権利を含むがこれに限定されない、本ソフトウェアを無制限に取り扱うこと、および本ソフトウェアを提供される者にこれを許可することを、無償で許可します。

上記の著作権表示および本許諾表示は、本ソフトウェアのすべての複製物または相当部分に含まれるものとします。

本ソフトウェアは「現状のまま」提供され、明示または黙示を問わず、商品性、特定目的への適合性および非侵害の保証を含むがこれに限定されない、いかなる種類の保証もありません。いかなる場合においても、著作者または著作権所有者は、契約、不法行為、その他を問わず、本ソフトウェア、または本ソフトウェアの使用もしくはその他の取引から生じる、または本ソフトウェアに関連して生じる、いかなる請求、損害、またはその他の責任についても責任を負わないものとします。‘’’