アノテーション・コンバーター¶
アノテーション・コンバーターは、アノテーション・ファイルをメトリックの評価形式に適したものに変換する機能です。各アノテーション・コンバーターは、元のデータセットに依存する特定のアノテーション・ファイル形式またはデータ構造を想定しています。精度チェッカーでデータ形式のコンバーターがサポートされていない場合、独自のアノテーション・コンバーターを提供できます。各アノテーション・コンバーターには、構成に使用できるパラメーターがあります。
変換プロセスは 2 つの方法で実装できます。
設定ファイルによって
コマンドラインによって
設定ファイルにアノテーション変換を記述¶
アノテーション・コンバーターを構成ファイルの dataset
セクションで提供して、各評価の前にインプレースで注釈を変換できます。各変換設定には、選択したコンバーター名を入力した converter
フィールドが含まれ、コンバーター固有のパラメーターを提供する必要があります (サポートされるコンバーターのセクションで詳細を参照)。コマンドラインですべてのパスに -s, --source
引数をプリフィクスとして付けることができます。
さらに、次のようなオプションのパラメーターを使用できます。
subsample_size
- データセットのサブサンプル・サイズ。グラウンド・トゥルース・オブジェクトの数またはデータセットの比率をパーセンテージで指定できます。一部のデータセットはサブサンプリングをサポートしていないため、このオプションの使用には注意してください。特定のランダムシードを使用してサブサンプルを生成する場合、subsample_seed
を指定することもできます。annotation
- 変換されたアノテーションの pickle ファイルを保存するパス。後続の変換を避けるため、変換されたアノテーションを再利用するには、このパラメーターを使用できます。dataset_meta
- 変換されたアノテーションに関するメタ情報が提供されている場合、それを保存するためのパス。analyze_dataset
- 変換されたデータセットに関する統計を取得するフラグ。サポートされるアノテーション:ClassificationAnnotation
、DetectionAnnotation
、MultiLabelRecognitionAnnotation
、RegressionAnnotation
。デフォルトは False です。
使用例:
annotation_conversion:
# Converter name which will be called for conversion.
converter: sample
# Converter specific parameters, can be different depend on converter realization.
data_dir: sample/sample_dataset
# (Optional) subsample generation. Can be also used with prepared annotation file.
subsample_size: 1000
# (Optional) paths to store annotation files for following usage. In the next evaluation these files will be directly used instead running conversion.
annotation: sample_dataset.pickle
dataset_meta: sample_dataset.json
コマンドラインを介した対話プロセス¶
アノテーション変換のコマンドラインは次のようになります。
convert_annotation <converter_name> <converter_specific parameters>
すべてのコンバーター固有のオプションは、--<parameter_name> <parameter_value>
形式にする必要があります。コマンドライン・オプションの完全なリストについては、-h, --help
を参照できます。オプションの引数には次のようなものがあります。
-o, --output_dir
- 変換されたアノテーションとメタ情報を保存するディレクトリー。-a, --annotation_name
- アノテーション・ファイル名。-m, --meta_name
- メタ情報ファイル名。
サポートされるコンバーター¶
精度チェッカーは、次のアノテーション・コンバーターのリストと、それらに固有のパラメーターをサポートします。
-
cifar
- CIFAR 分類データセットを次に変換します:ClassificationAnnotation
data_batch_file
- データセットのバッチ (例: test_batch) を含む pickle ファイルへのパス。batch_meta_file
- ラベル名を含む pickle ファイルへのパス (batches.meta など)。has_background
- 元のラベルに背景ラベルを追加できます (オプション、デフォルト値は False)。convert_images
- 画像を pickle ファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。converted_images_dir
- 変換された画像の場所へのパス。num_classes
- データセット内のクラス数 - 10 または 100 (オプション、デフォルトは 10)dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
mnist
- 手書き数字認識用の MNIST データセットをClaassificationAnnotation
に変換します。データセットはこちら からダウンロードできます。labels_file
- ラベルを含むバイナリーファイル。images_file
- 画像を含むバイナリーファイル。convert_images
- 画像をデータファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。converted_images_dir
-convert_images
が有効な場合、変換された画像の場所へのパス。dataset_meta_file
- データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
mnist_csv
- csv 形式で保存された手書き数字認識用の MNIST データセットをClassificationAnnotation
に変換します。annotation_file
- csv 形式のデータセット・ファイルへのパス。convert_images
- 画像をアノテーション・ファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。converted_images_dir
-convert_images
が有効な場合、変換された画像の場所へのパス。dataset_meta_file
- データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
fashion_mnist
- Fashion-MNIST データセットをClassificationAnnotation
に変換します。annotation_file
- バイナリー形式のラベルファイルへのパス。data_file
- バイナリー形式の画像ファイルへのパス。convert_images
- 画像をデータファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。converted_images_dir
-convert_images
が有効な場合、変換された画像の場所へのパス。dataset_meta_file
- データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
imagenet
- 画像分類タスク用の ImageNet データセットをClassificationAnnotation
に変換します。annotation_file
- txt 形式のアノテーションへのパス。labels_file
- ラベルの単語記述を含むファイルへのパス (synset_words)。has_background
- 元のラベルに背景ラベルを追加し、1000 クラスではなく 1001 クラスのデータセットを変換できます (デフォルト値は False)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
voc_detection
- 検出タスクの Pascal VOC アノテーションをDetectionAnnotation
に変換します。imageset_file
- 検証画像リストを含むファイルへのパス。annotations_dir
- アノテーション・ファイルのあるディレクトリーへのパス。images_dir
- devkit ルートに関連する画像が含まれるディレクトリーへのパス (デフォルトは JPEGImages)。has_background
- background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは true です)dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
voc_segmentation
- セマンティック・セグメント化タスクの Pascal VOC アノテーションをSegmentationAnnotation
に変換します。imageset_file
- 検証画像リストを含むファイルへのパス。images_dir
- devkit ルートに関連する画像が含まれるディレクトリーへのパス (デフォルトは JPEGImages)。mask_dir
- devkit ルート (デフォルトの SegmentationClass) に関連するグラウンド・トゥルース・セグメント化マスクを含むディレクトリーへのパス。-
dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。注: OpenVINO 2020.4 以降、コンバーターの動作が変更されました。data_source
データセットのパラメーターには画像のみのディレクトリーが含まれている必要があります。別の場所にセグメント化マスクがある場合は、gt マスクの場所を指定するためsegmentation_masks_source
を使用してください。
-
mscoco_detection
- オブジェクト検出タスク用の MS COCO データセットをDetectionAnnotation
に変換します。annotation_file
- json 形式のアノテーション・ファイルへのパス。has_background
- background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。use_full_label_map
- 公開されている (80 カテゴリ) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。sort_annotations
- 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。sort_key
- アノテーションを並べ替えるキー (サポートされているキーはimage_id
とimage_size
でデフォルトはimage_id
)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。convert_COCO_to_VOC_labels
- COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。
-
mscoco_segmentation
- オブジェクトのインスタンス・セグメント化タスクの MS COCO データセットをCocoInstanceSegmentationAnnotation
に変換します。annotation_file
- json 形式のアノテーション・ファイルへのパス。has_background
- background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。use_full_label_map
- 公開されている (80 カテゴリ) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。sort_annotations
- 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。sort_key
- アノテーションを並べ替えるキー (サポートされているキーはimage_id
とimage_size
でデフォルトはimage_id
)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。semantic_only
- MS COCO データセットのアノテーションをSegmentationAnnotation
に変換します。(オプション、デフォルト値は False)masks_dir
-semantic_only
モードでセグメント化マスクを保存するパスconvert_COCO_to_VOC_labels
- COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。
-
mscoco_mask_rcnn
- MS COCO データセットを、それぞれdetection_annotation
とsegmentation_annotation
という名前のDetectionAnnotation
とCocoInstanceSegmentationAnnotation
を使用してContainerAnnotation
に変換します。annotation_file
- json 形式のアノテーション・ファイルへのパス。has_background
- background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。use_full_label_map
- 公開されている (80 カテゴリ) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。sort_annotations
- 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。sort_key
- アノテーションを並べ替えるキー (サポートされているキーはimage_id
とimage_size
でデフォルトはimage_id
)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。convert_COCO_to_VOC_labels
- COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。
-
mscoco_keypoints
- キーポイントのローカリゼーション・タスク用の MS COCO データセットをPoseEstimationAnnotation
に変換します。annotation_file
- json 形式のアノテーション・ファイルへのパス。sort_annotations
- 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。sort_key
- アノテーションを並べ替えるキー (サポートされているキーはimage_id
とimage_size
でデフォルトはimage_id
)。remove_empty_images
- オブジェクトのない画像をデータセットから除外またはデータセットに含めることができます。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
wider
- Wider Face データセットからDetectionAnnotation
に変換します。annotation_file
- WiderFace データセット形式のグラウンド・トゥルース・データが含まれる txt ファイルへのパス。label_start
- ラベルマップ内の面ラベル・インデックスを指定します。デフォルト値は 1 です。ネットワークが顔の他のクラスを予測する場合に備えて、このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
detection_opencv_storage
- Detection OpenCV ストレージ形式で保存されている検出アノテーションをDetectionAnnotation
に変換します。annotation_file
- XML 形式のアノテーションへのパス。image_names_file
- データセットの画像名のリストを含む txt ファイルへのパス。label_start
- ラベルマップ内のラベル・インデックスの開始を指定します。デフォルト値は 1 です。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。background_label
- 背景ラベルに使用するインデックスを指定します。データセットに背景ラベルがない場合は、このパラメーターを指定できません。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
cityscapes
- CityScapes データセットをSegmentationAnnotation
に変換します。dataset_root_dir
- データセットのルートへのパスimages_subfolder
- データセットのルートから検証画像のあるディレクトリーへのパス (オプション、デフォルトのimgsFine/leftImg8bit/val
)。masks_subfolder
- データセットのルートからグラウンド・トゥルース・マスクを使用したディレクトリーへのパス (オプション、gtFine/val
)。masks_suffix
- マスクファイル名のサフィックス (オプション、デフォルトは_gtFine_labelTrainIds
)。images_suffix
- 画像ファイル名のサフィックス (オプション、デフォルトは_leftImg8bit
)。use_full_label_map
- 18 クラスのトレーニング・ラベル・マップの代わりに、33 クラスの完全なラベルマップを使用できます (オプション、デフォルトはFalse
)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
mapillary_20
- 20 クラスを含む Mapillary データセットをSegmentationAnnotation
に変換します。data_dir
- データセット・ルート・フォルダーへのパス。画像およびマスク・ディレクトリーへの相対パスは、それぞれimgs
およびmasks
として決定されます。画像とマスクがデフォルト以外のディレクトリーにある場合は、以下で説明するパラメーターを使用できます。images_dir
- 画像フォルダーへのパス。mask_dir
- グラウンド・トゥルース・マスク・フォルダーへのパス。images_subfolder
- 画像のサブディレクトリー (オプション、デフォルトはimgs
)。mask_subfolder
- グラウンド・トゥルース・マスクのサブディレクトリー (オプション、デフォルトはmasks
)
-
mapillary_vistas
- 20 クラスを含む Mapillary Vistas データセットをSegmentationAnnotation
に変換します。data_dir
- データセット・ルート・フォルダーへのパス。画像およびマスク・ディレクトリーへの相対パスは、それぞれimages
およびlabels
として決定されます。画像とマスクがデフォルト以外のディレクトリーにある場合は、以下で説明するパラメーターを使用できます。images_dir
- 画像フォルダーへのパス。mask_dir
- グラウンド・トゥルース・マスク・フォルダーへのパス。images_subfolder
- 画像のサブディレクトリー (オプション、デフォルトはimages
)。mask_subfolder
- グラウンド・トゥルース・マスクのサブディレクトリー (オプション、デフォルトはlabels
)
-
vgg_face
- 顔のランドマーク回帰タスクの VGG Face 2 データセットをFacialLandmarksAnnotation
に変換します。landmarks_csv_file
- ランドマーク・ポイントの座標を含む CSV ファイルへのパス。bbox_csv_file
- 面の境界ボックス座標を含む CVS ファイルへのパス (オプションのパラメーター)。
-
lfw
- 顔の再識別のためワイルド・データセット内のラベル付きの顔をReidentificationClassificationAnnotation
に変換します。pairs_file
- アノテーションの正と負のペアを含むファイルへのパス。train_file
- ネットワーク・トレインに使用されるアノテーションの正と負のペアを含むファイルへのパス (オプションのパラメーター)。landmarks_file
- アノテーション画像の顔のランドマーク座標を含むファイルへのパス (オプションのパラメーター)。extension
- 画像の拡張子 (オプション、デフォルトはjpg
)。
-
face_recognition_bin
- バイナリー形式で保存されている前処理された顔認識データセットをReidentificationClassificationAnnotation
に変換します。bin_file
- データセットを含むファイル。データセットの例はここにあります。images_dir
- 変換されたイメージを保存するディレクトリー (オプション、convert_images
が有効な場合にのみ使用されます。指定されていない場合は、<dataset_root>/converted_images
が使用されます)convert_images
- 画像をデコードして保存できます。
-
mars
- MARS の人物再識別データセットをReidentificationAnnotation
に変換します。data_dir
- データ・ディレクトリーへのパス。ギャラリー (bbox_test
) とquery
サブディレクトリーが配置されます。
-
market1501_reid
- Market1501 個人識別データセットをReidentificationAnnotation
に変換します。data_dir
- データ・ディレクトリーへのパス。ギャラリー (bounding_box_test
) とquery
サブディレクトリーが配置されます。
-
veri776_reid
- VeRi 776 車両再識別データセットをReidentificationAnnotation
に変換します。data_dir
- データ・ディレクトリーへのパス。ギャラリー (image_test
) とimage_query
サブディレクトリーが配置されます。
-
image_processing
- 一般的な単一画像処理タスク (画像ノイズ除去、スタイル転送など) のデータセットをImageProcessingAnnotation
に変換します。このコンバーターは、特定の入力画像に対して生成されたモデル出力をターゲット画像と比較するタスクに適しています。data_dir
- 低解像度および高解像度の画像が配置されているフォルダーへのパス。input_suffix
- 入力ファイル名のサフィックス (デフォルトはin
)。target_suffix
- ターゲットのグラウンド・トゥルース・ファイル名のサフィックス (デフォルトはout
)。recursive
-data_dir
サブカタログからデータセット・ファイルの取得を有効にします (デフォルトは false)。annotation_loader
- グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの:opencv
、pillow
(オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。
-
image_generation
- 画像生成用のデータセットをノイズからImageProcessingAnnotation
に変換します。data_dir
- データセットのルート・ディレクトリー。事前生成された入力シーケンスがサブディレクトリーに配置されます。input_subdirectories
- 入力データの相対パスのリスト。モデルに複数の入力がある場合、各入力のデータは個別のディレクトリーに配置される必要があります。-
reference_dir
- 参照データのあるディレクトリー。annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow (オプション、デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。
-
parametric_image_processing
- 結果を得るのに可変条件が必要な画像処理用のデータセットをImageProcessingAnnotation
に変換します。パラメーターは、_
区切り文字を使用し、参照イメージ名の浮動小数点値として提供されます。input_dir
- 入力画像のあるディレクトリー。reference_dir
- 参照イメージのあるディレクトリー。annotation_loader
- グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの:opencv
、pillow
(オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。param_scale
- パラメーターのマルチプレイヤー (オプション、デフォルトは0.001
)。
-
super_resolution
- 単一画像の超解像度タスクのデータセットをSuperResolutionAnnotation
に変換します。data_dir
- 低解像度および高解像度の画像が配置されているフォルダーへのパス。lr_dir
- 低解像度の画像が配置されているディレクトリーへのパス。hr_dir
- 高解像度の画像が配置されているディレクトリーへのパス。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスを提供するためadditional_data_source
を使用してください。upsampled_dir
- 2 つのストリームが使用されている場合、アップサンプリングされた画像が配置されるディレクトリーへのパス。ignore_suffixes
- 数値 ID (オプション、デフォルトは false) を使用して、サフィックスなしで、異なるディレクトリーにある低解像度画像と高解像度画像を照合します。lr_suffix
- 低解像度ファイル名のサフィックス (デフォルトは lr)。hr_suffix
- 高解像度ファイル名のサフィックス (デフォルトは hr)。annotation_loader
- グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの:opencv
、pillow
、pillow_rgb
(RGB 形式への明示的なデータ変換用)、dicom
、skimage
。(オプション、デフォルト値は pillow) 画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。two_streams
- 2 つの入力ストリームを有効にします。通常、最初は元の画像用、2 番目はアップサンプリングされた画像用です。(オプション、デフォルト値は False)。upsample_suffix
- アップサンプル画像ファイル名のサフィックス (デフォルトは upsample)。
-
super_resolution_dir_based
- 単一画像の超解像度タスクのデータセットを、ディレクトリー・ベースの構造を持つSuperResolutionAnnotation
に変換します (高解像度画像と低解像度画像は別々のディレクトリーに配置され、名前または数値 ID でマッチします)。このコンバーターとsuper_resolution
の主な違いは、データ構成です。super_resolution
すべての高解像度画像と低解像度画像が同じディレクトリーにあり、サフィックスが異なる場合は、コンバーターを使用する必要があります。annotation_loader
- グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの:opencv
、pillow
、pillow_rgb
(RGB 形式への明示的なデータ変換用)、dicom
、skimage
。(オプション、デフォルト値は pillow) 画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。two_streams
- 2 つの入力ストリームを有効にします。通常、最初は元の画像用、2 番目はアップサンプリングされた画像用です。(オプション、デフォルト値は False)。images_dir
- データセット・ルートへのパス。低解像度と高解像度のディレクトリーが配置されます。lr_dir
- 低解像度の画像が配置されているディレクトリーへのパス (オプション、デフォルトは<images_dir>/LR
)。hr_dir
- 高解像度の画像が配置されているディレクトリーへのパス (オプション、デフォルトは<images_dir>/HR
)。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスを提供するためadditional_data_source
を使用してください。upsampled_dir
- 2 つのストリームが使用されている場合、アップサンプリングされた画像が配置されるディレクトリーへのパス (オプション、デフォルトは<images_dir>/upsample
)。relaxed_names
- 数値 ID のみに一致する高解像度またはアップサンプリングされた画像の緩和された検索を使用できるようにします。オプション。デフォルトではフルネームの一致が必要です。hr_prefixed
- 低解像度のファイル名が高解像度のファイル名の一部である場合、部分的な名前一致を許可します。relaxed_names
が設定されている場合は適用されません。オプション。デフォルトではフルネームの一致が必要です。
-
multi_frame_super_resolution
- 複数の入力フレームを使用する超解像度タスク用にデータセットを変換します。data_dir
- 低解像度および高解像度の画像が配置されているフォルダーへのパス。lr_suffix
- 低解像度ファイル名のサフィックス (デフォルトは lr)。hr_suffix
- 高解像度ファイル名のサフィックス (デフォルトは hr)。annotation_loader
- グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの:opencv
、pillow
(オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。number_input_frames
- 推論ごとの入力フレームの数。reference_frame
- 高解像度でのマッチングに使用されるサンプル・フレーム・シーケンス内のフレームの ID。フレーム数を定義するか、事前定義された次のいずれかを選択できます:first
(参照として使用される最初のフレーム)、middle
(num_frames
/2)、last
(シーケンス内の最後のフレーム)。
-
multi_target_super_resolution
- 複数のターゲット解像度を持つ単一画像の超解像度タスクのデータセットを、各ターゲット解像度のSuperResolutionAnnotation
表現を持つContainerAnnotation
に変換します。data_dir
- データセット・ルートへのパス。低解像度と高解像度のディレクトリーが配置されます。lr_path
-data_dir
を基準とした低解像度画像ディレクトリーへのパス。hr_mapping
- ターゲット解像度と画像のあるディレクトリーの間のマッピングを表す辞書。キーはContainerAnnotation
のキーとしても使用されます。すべてのパスはdata_dir
に対する相対パスである必要があります。
-
icdar_detection
- テキスト検出チャレンジ用の ICDAR13 および ICDAR15 データセットをTextDetectionAnnotation
に変換します。data_dir
- txt 形式のアノテーション付きフォルダーへのパス。word_spotting
- true の場合、長さが 3 記号未満の転写、または英数字以外の記号を含む転写は難しいとマークされます。
-
icdar13_recognition
- テキスト認識タスク用の ICDAR13 データセットをCharacterRecognitionAnnotation
に変換します。annotation_file
- txt 形式のアノテーション・ファイルへのパス。delimeter
- 認識用の画像とテキストの間の区切り文字。サポートされる値 - それぞれスペースと表区切り文字の場合はspace
とtab
。
-
lmdb_text_recognition_database
- LMDB データベース形式のテキスト認識データセットのコンバーター。lower_case
- グラウンド・トゥルース・テキストを小文字に変換するか決定するパラメーター。
-
unicode_character_recognition
- 手書き日本語テキスト認識タスク用の Kondate データセットとNakayosi、および手書き簡体字テキスト認識タスク用の SCUT-EPT をCharacterRecognitionAnnotation
に変換します。annotation_file
- txt 形式のアノテーション・ファイルへのパス。decoding_char_file
- decoding_char_file へのパス。txt 形式で ‘\n’ で区切られたサポートされるすべての文字で構成されます。
-
bentham_lines
- 行レベルの文字認識用の Bentham データセットをCharacterRecognitionAnnotation
に変換します。transcription_dir
- ディレクトリーに保存された行の転写partition_file
- 検証向けに選択したサブセットを含むファイル。normalize_text
- テキストの Unicode 正規化を許可します (オプション、デフォルトはFalse
)。to_lower
- 転写テキストを小文字に変換します (オプション、デフォルトはFalse
)。
-
brats
- BraTS データセット形式をBrainTumorSegmentationAnnotation
形式に変換します。また、他の nifti ベースのデータセットの変換にも使用できます。-
data_dir
- データセットのルート・ディレクトリーには、検証データ (imagesTr
) とグラウンド・トゥルース・ラベル (labelsTr
) を含むサブディレクトリーが含まれます。必要に応じて、image_folder
とmask_folder
パラメーターをそれぞれ使用して、これらのサブディレクトリーの相対パスを指定できます (場所が異なる場合)。 mask_channels_first
- GT マスク nifti ファイルを読み取り、チャネルが最初の順序で転置できるようにします (オプション、デフォルトはFalse
)labels_file
- ラベルを含むファイルへのパス (オプション。省略した場合、ラベルは表示されません)relaxed_names
- 数値 ID のみに一致するラベルのより緩和された検索を使用できるようになります。オプション。デフォルトではフルネームの一致が必要です。multi_frame
- 3D 画像のアノテーションを 2D フレームのシーケンスとして変換できます (オプション、デフォルトはFalse
frame_separator
-multi_frame
内のファイル名とフレーム番号の間の文字列の区切り文字 (オプション、デフォルトは#
)frame_axis
- 3D 画像のフレーム軸の数 (オプション、デフォルトは-1
、最後の軸)as_regression
-NiftiRegressionAnnotation
アノテーションとしてデータセットの変換を許可します (オプション、デフォルトはFalse
)
-
-
k_space_mri
-k-spaced MRI
データセット形式をImageRepresentationAnnotation
形式に変換します。Calgary-Campinas
などの MRI データセットは、フーリエ画像形式 (いわゆる k 空間画像) でデータを提供します。コンバーターは、データセットのアノテーションと、グラウンドトゥルース画像とモデル入力の前処理を実行します。data_dir
- データセットのルートへのパスimage_folder
- ソース k-space ファイル・ディレクトリーへのパス、相対的なdata_dir
(オプション、デフォルトはimages
)reconstructed_folder
- 再構築された画像ディレクトリーへのパス、相対的にdata_dir
(オプション、デフォルトはreconstructed
)masked_folder
- マスクされた k-space ファイル・ディレクトリーへのパス、相対的なdata_dir
(オプション、デフォルトはmasked
)mask_file
- k-space マスクファイル名stats_file
- k-space 正規化係数ファイル名skip_dumps
- 前処理なしでデータセットにアノテーション追加することができます
-
movie_lens_converter
- ムービー・レンズ・データセット形式をHitRatioAnnotation
形式に変換します。rating_file
- 各ユーザー ID の最高スコアを持つ movieId を含むファイルへのパス (例: ml-1m-test-rateds.csv)negative_file
- 否定例を含むファイルへのパス。users_max_number
- 検証に使用されるユーザーの数 (オプション。ユーザーのリストを削除することができます。引数が指定されていない場合は、ユーザーの完全なリストが使用されます)。
-
brats_numpy
- 脳腫瘍セグメンテーション・データセットをBrainTumorSegmentationAnnotation
に変換します。このコンバーターは、BraTS データセットの Numpy 表現で動作します。data_dir
- データセットのルート・ディレクトリーへのパス。ids_file
- データセット内の画像の名前が含まれるファイルへのパスlabels_file
- ラベルを含むファイルへのパス (オプション。省略した場合、ラベルは表示されません)data_suffix
- データを含むファイルのサフィックス (デフォルトは_data_cropped
)label_suffix
- グラウンド・トゥルース・データを含むファイルのサフィックス (デフォルトは_label_cropped
で切り取られます)boxes_file
- Brain Box を使用したファイルへのパス (オプション)。このオプションは、ポストプロセッサーのsegmentation-prediction-resample
を含めて設定します (ポストプロセッサーを参照)。
-
wmt
- 機械翻訳タスクの WMT データセットをMachineTranslationAnnotation
に変換します。input_file
- 翻訳用の入力文トークンを含むファイルへのパス。reference_file
- 翻訳の参照を含むファイルへのパス。
-
common_semantic_segmentation
- セマンティックのセグメント化タスクのデータセットの一般的な形式をSegmentationAnnotation
に変換します。コンバーターは次のデータセット構造を想定しています。画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は
<dataset_root>/images
、マスクの場合は<dataset_root>/masks
)画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)
images_dir
- 画像のあるディレクトリーへのパス。masks_dir
- GT マスクを含むディレクトリーへのパス。image_prefix
- 画像ファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- 画像ファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_prefix
- マスクファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- マスクファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_loader
- GT マスクをロードする方法。サポートされているメソッド:pillow
、opencv
、nifti
、numpy
、scipy
。-
dataset_meta_file
- 準備されたデータセットのメタ情報を含む json ファイルへのパス。これには、class_id: class_name 形式の辞書を含むlabel_map
キーが含まれている必要があります。また、オプションでsegmentation_colors
(データセットがカラー・エンコーディングを使用している場合) も含まれている必要があります。セグメント化カラーは、各クラスのチャネルごとの値のリストです。(例: データセットに BGR カラーの 3 つのクラスがある場合、そのセグメント化カラーは[[255, 0, 0], [0, 255, 0], [0, 0, 255]]
のようになります)。(オプションで、作成したファイルを構成内にdataset_meta
として指定できます)。注: OpenVINO 2020.4 以降、コンバーターの動作が変更されました。データセットのdata_source
パラメーターには画像のみのディレクトリーを含める必要があります。セグメント化マスクが別の場所にある場合は、gt マスクの場所を指定するためsegmentation_masks_source
を使用してください。
-
background_matting
- バックグラウンド・マット・タスク用のデータセットの一般的な形式をBackgroundMattingAnnotation
に変換します。コンバーターは次のデータセット構造を想定しています。画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は
<dataset_root>/images
、マスクの場合は<dataset_root>/masks
)画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)
images_dir
- 画像のあるディレクトリーへのパス。masks_dir
- GT マスクを含むディレクトリーへのパス。image_prefix
- 画像ファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- 画像ファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_prefix
- マスクファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- マスクファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_to_gray
- マットマスクをグレースケールにキャストできます (オプション、デフォルトはFalse
)。
-
video_background_matting
- データセットの一般的な形式を変換します。背景マットタスクのためにビデオからフレームが抽出され、BackgroundMattingAnnotation
に変換されます。ビデオに属する画像は、その名前<video_name>.mp4.<image_name>.jpg
に反映される必要があります。コンバーターは次のデータセット構造を想定しています。画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は
<dataset_root>/images
、マスクの場合は<dataset_root>/masks
)。画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)
images_dir
- 画像のあるディレクトリーへのパス。masks_dir
- GT マスクを含むディレクトリーへのパス。image_prefix
- 画像ファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- 画像ファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_prefix
- マスクファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- マスクファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_to_gray
- マットマスクをグレースケールにキャストできます (オプション、デフォルトはFalse
)。
-
background_matting_sequential
- バックグラウンド・マット・タスク用のデータセットの一般的な形式をBackgroundMattingAnnotation
に変換します。画像と GT データはクリップごとにグループ化されています。コンバーターは次のデータセット構造を想定しています。画像、GT マスク、背景、必要に応じて前景は、別のディレクトリーに配置されます (例: 画像の場合は
<dataset_root>/images
、マスクの場合は<dataset_root>/masks
、背景の場合は<dataset_root>/backgrounds
、前景の場合は<dataset_root>/foregrounds
)。画像、GT マスク、背景、前景には名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名は clip_0/image0001.jpeg、そのマスクは clip_0/gt0001.png、背景は clip_0/bg0001.png、前景は、clip_0/fgr0001.png が受け入れられます。この場合 base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png、background_prefix - bg、background_postfix - .png、foreground_prefix - fgr、foreground_postfix - .png)
images_dir
- 画像のあるディレクトリーへのパス。masks_dir
- GT マスクを含むディレクトリーへのパス。image_prefix
- 画像ファイル名のプリフィクス。(オプション、デフォルトは空です)。image_postfix
- 画像ファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_prefix
- マスクファイル名のプリフィクス部分 (オプション、デフォルトは空)。mask_postfix
- マスクファイル名のポストフィックス (オプション、デフォルトは.png
)。mask_to_gray
- マットマスクをグレースケールにキャストできます (オプション、デフォルトはFalse
)。backgrounds_dir
- GT 背景ディレクトリーへのパス。background_prefix
- GT 背景のプリフィクス。background_postfix
- GT 背景のポストフィックス。with_background
- 背景をロードします。foregrounds_dir
- GT 前景ディレクトリーへのパス (オプション、デフォルトはNone
)。foreground_prefix
- GT 前景のプリフィクス。foreground_postfix
- GT 前景のポストフィックス。with_foreground
- 前景をロードします。with_alpha
- アルファチャネルを含むマスク付きの画像を読み込みます。
-
camvid
- 12 クラスの CamVid データセットをSegmentationAnnotation
に変換します。データセットは次のリポジトリーにありますannotation_file
- 検証ペアのリストを含む txt 形式のファイル (スペースで区切られた<path_to_image>
<path_to_annotation>
)dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
camvid_32
- 32 クラスの CamVid データセットをSegmentationAnnotation
に変換します。データセットはここにあります。labels_dir
- ラベル付きのグラウンドトゥルース画像を含むディレクトリー。images_dir
- 入力データのあるディレクトリー。val_subset_ratio
- サブセットの比率。検証に使用する必要があります。<total_dataset_size> * <subset_ratio>
として定義されるサブセットサイズの (0, 1] 範囲の float 値です。オプション、デフォルトは 1 (検証に使用される完全なデータセットを意味します)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
image_retrieval
- 画像取得タスクのデータセットをReidentificationAnnotation
に変換します。データセットは次の構造を持つ必要があります。データセットのルート・ディレクトリーには、
gallery
とqueries
いう名前の 2 つのサブディレクトリーが含まれており、それぞれギャラリーイメージとクエリイメージを照会します。これらの各サブディレクトリーには、次のペアのリストを含むテキストファイルが含まれている必要があります:
<path_to_image>
<image_ID>
(image_path と image_ID はスペースで区切る必要があります)。<path_to_image>
は画像関連データセットのルートへのパス、<image_ID>
はギャラリー内の画像 ID を表す番号です。
data_dir
- データセットのルート・ディレクトリーへのパス。gallery_annotation_file
- ギャラリー画像と ID が一致する txt 形式のファイル (オプション、デフォルト値は<data_dir>/gallery/list.txt
)queries_annotation_file
- クエリの画像と ID が一致する txt 形式のファイル (オプション、デフォルト値は<data_dir>/queries/list.txt
)
-
cvat_object_detection
- 画像の CVAT XML 注釈バージョン 1.1 形式をDetectionAnnotation
に変換します。annotation_file
- 適切な形式の XML ファイルへのパス。has_background
- 背景を表す特別なクラスを元のラベルの先頭に追加し、n ではなく n+1 クラスのデータセットを変換できます (デフォルト値は True)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。
-
cvat_attributes_recognition
- 画像の CVAT XML 注釈バージョン 1.1 形式を、ClassificationAnnotation
を値タイプとしておよび属性名をキーとして (複数の属性の場合)、ClassificationAnnotation
またはContainerAnnotation
に変換します。bbox 属性をアノテーション・クラスとして使用しました。annotation_file
- 適切な形式の XML ファイルへのパス。label
- 属性の収集に使用されるデータセットのラベル (例えば、データセットにface
とperson
の 2 つのラベルが含まれており、顔属性を認識したい場合は、このパラメーターの値としてface
を使用する必要があります)。
-
cvat_age_gender
- 年齢性別認識用のデータセットを表す画像の CVAT XML アノテーション・バージョン 1.1 形式を、性別認識用のClassificationAnnotation
、年齢分類用のClassificationAnnotation
、および年齢回帰用のRegeressionAnnotation
を備えたContainerAnnotation
に変換します。次の表現の識別子:gender_annotation
、age_class_annotation
、age_regression_annotation
。annotation_file
- 適切な形式の XML ファイルへのパス。
cvat_facial_landmarks
- 画像の CVAT XML 注釈バージョン 1.1 形式をFacialLandmarksAnnotation
に変換します。-
coco_facial_landmarks
- Coco 形式のランドマーク・データセットをFacialLandmarksHeatMapAnnotation
に変換します。annotation_file
- Coco 形式のデータセット・アノテーション・ファイルへのパス
-
cvat_facial_landmarks
- 画像の CVAT XML 注釈バージョン 1.1 形式をFacialLandmarksAnnotation
に変換します。annotation_file
- 適切な形式の XML ファイルへのパス。
-
cvat_pose_estimation
- 画像の CVAT XML 注釈バージョン 1.1 形式をPoseEstimationAnnotation
に変換します。annotation_file
- 適切な形式の XML ファイルへのパス。
-
cvat_text_recognition
- 画像の CVAT XML 注釈バージョン 1.1 形式をCharacterRecognitionAnnotation
に変換します。annotation_file
- 適切な形式の XML ファイルへのパス。
-
cvat_binary_multilabel_attributes_recognition
- 画像の CVAT XML 注釈バージョン 1.1 形式をMultiLabelRecognitionAnnotation
に変換します。bbox 属性をアノテーション・クラスとして使用しました。各属性フィールドには、画像上の属性の存在/非存在を表すT
値またはF
値がそれぞれ含まれている必要があります。annotation_file
- 適切な形式の XML ファイルへのパス。label
- 属性の収集に使用されるデータセットのラベル (例えば、データセットにface
とperson
の 2 つのラベルが含まれており、顔属性を認識したい場合は、このパラメーターの値としてface
を使用する必要があります)。
-
cvat_person_detection_action_recognition
人物検出および行動認識タスク用の CVAT XML アノテーション・バージョン 1.1 を含むデータセットを、person_annotation
という名前の人物検出品質推定用のDetectionAnnotation
と、action_annotation
という名前の行動認識用のActionDetectionAnnotation
を含むContainerAnnotation
に変換します。annotation_file
- グラウンドトゥルースを含む XML ファイルへのパス。-
use_case
- データセットのラベルマップを決定するユースケース。サポートされている範囲アクション:common_3_actions
(座る、立つ、手を上げる)common_6_actions
(座る、書く、手を上げる、立つ、振り向く、机の上に横になる)teacher
(立つ、書く、デモンストレーションする)raising_hand
(座る、手を上げる)
-
lpr_txt
- テキスト形式のナンバープレート認識タスクのアノテーションをCharacterRecognitionAnnotation
に変換します。annotation_file
- txt アノテーションへのパス。decoding_dictionary
- 出力デコード用の辞書を含むファイルへのパス。
-
squad_emb
- Stanford Question Answering Dataset (SQuAD) をQuestion Answering Embedding Annotation
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。testing_file
- テストファイルへのパス。vocab_file
- モデル co 語彙ファイルへのパス。class_token_first
- [CLS]トークンをシーケンスの先頭に追加します。False の場合、最後のトークンとして追加されます。enable_padding
- 入力シーケンスを最大長までパッドします。tokenizer_dir
- トランスフォーマー・トークナイザーに必要なボキャブラリー・ファイルを含むディレクトリーへのパスmodel_id
- Huggingface.co のモデル・リポジトリー内でホストされている事前定義されたトークナイザーのモデル ID。lower_case
- 出力を小文字に変換します。max_seq_length
- 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。max_query_length
- 質問のトークンの最大数 (オプション、デフォルト値は 64)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。enable_padding
- クエリーとシーケンスの最大長まで入力をパディングできるようにします。
-
squad
- Stanford Question Answering Dataset (SQuAD) をQuestion Answering Annotation
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。testing_file
- テストファイルへのパス。vocab_file
- モデル co 語彙ファイルへのパス。max_seq_length
- 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。max_query_length
- 質問のトークンの最大数 (オプション、デフォルト値は 64)。doc_stride
- 長いドキュメントを分割するチャンク間のストライドサイズ (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。enable_padding
- 最大シーケンス長のパディングを有効にします。
-
squad_bidaf
- Stanford Question Answering Dataset (SQuAD) をQuestionAnsweringBiDAFAnnotation
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、nltk.word_tokenize を使用して BiDAF の入力をトークン化し、エンコードします。testing_file
- テストファイルへのパス。
-
xnli
- クロスリンガル自然言語推論コーパス (XNLI) をTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。language_filter
- 特定の言語のみのレコードを選択するためアノテーション言語タグで使用されるカンマで区切ったリスト。(オプション。使用しない場合は完全なアノテーションが変換されます)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
mnli
- クロスリンガル自然言語推論コーパス (MNLI) をTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
mrpc
- マイクロソフトリサーチ言い換えコーパス (MRPC) をTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
cola
- 言語受容性のコーパス (CoLA) をTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
wnli
- Winograd NLI データセット (WNLI) をTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えばroberta-base
にトークナイザーを使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
qnli
- Question NLI データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えばroberta-base
にトークナイザーを使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
qqp
- Quora 質問ペア・データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、BERT の入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えばroberta-base
にトークナイザーを使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
sst-2
- Stanford Sentiment Treebank SST-2 データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えばroberta-base
にトークナイザーを使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
rte
- テキスト含意の認識 RTE データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えばroberta-base
にトークナイザーを使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
imdb
- IMDB 感情データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv 形式のデータセット・アノテーション・ファイルへのパスvocab_file
- WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
custom_text_classification
- カスタム・カラム・データセットをTextClassificationAnnotattion
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv または csv 形式のデータセット・アノテーション・ファイルへのパス。separator
- カラム区切り文字、サポートされる値: カンマ区切りデータの場合は code class="docutils literal notranslate">comma、表形式の区切りの場合はtab
。ファイル拡張子から派生したオプションのデフォルトの動作 - csv の場合は,
, tsv の場合 -\t
。text_1
- テキストのカラム ID (オプション、デフォルト - 0)。text_2
- 文のペア分類タスクのテキストのカラム ID (オプション、指定しない場合は使用されません)。label
- ラベルのカラム ID (オプション、デフォルト - 1)。labels_list
- ラベル名のリスト (オプション、dataset_meta_file
を使用することもできます)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map)。オプション。詳細については、データセット・メタのカスタマイズのセクションを参照してください。vocab_file
- WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
sentence_similarity
- 文の類似性評価用の列ベースのデータセットをSentenceSimilarityAnnotation
に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。annotation_file
- tsv または csv 形式のデータセット・アノテーション・ファイルへのパス。separator
- カラム区切り文字、サポートされる値: カンマ区切りデータの場合はcomma
、表形式の区切りの場合はtab
。ファイル拡張子から派生したオプションのデフォルトの動作 - csv の場合は,
, tsv の場合 -\t
。text_1
- テキストのカラム ID (オプション、デフォルト - 0)。text_2
- 文のペア分類タスクのテキストの列 ID (オプション、デフォルト - 1)。label
- ラベル・ゴールド・スコアのカラム ID (オプション、デフォルト - 2)。vocab_file
- WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。sentence_piece_model_file
- SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。max_seq_length
- 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。lower_case
- トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。-
enable_padding
- シーケンスを最大シーケンス長にパッドします (オプション、デフォルトはTrue
)。また、huggingface.co からトークナイザー・ファイルをダウンロードするためmodel_id
を指定することにより、トークン化に Hugging Face Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーにtokenizer_dir
を提供することもできます。例えば roberta-base に tokenizer を使用する必要がありますmodel_id: roberta-base
または
tokenizer_dir: <model_saving_path>/roberta-base
-
bert_xnli_tf_record
- tf レコード形式で保存されたクロスリンガル自然言語推論コーパス (XNLI) を変換します。このコンバーターを使用するには、TensorFlow のインストールが必要です。変換する前に TensorFlow がインストールされていることを確認してください。annotattion_file
- TF レコード形式のアノテーション・ファイルへのパス。
-
cmu_panoptic_keypoints
- CMU Panoptic データセットをPoseEstimation3dAnnotation
形式に変換します。data_dir
- データセットのルート・ディレクトリー。これには検証シーンデータを含むサブディレクトリーが含まれます。
-
clip_action_recognition
- アノテーション・ビデオ・ベースの行動認識データセットを変換します。変換前に、ここで説明するアプローチで検証セットを前処理する必要があります。annotation_file
- json 形式のアノテーション・ファイルへのパス。data_dir
- 準備されたデータが含まれるディレクトリーへのパス (例: data/kinetics/frames_data)。clips_per_video
- ビデオあたりのクリップ数 (オプション、デフォルトは 3)。clip_duration
- クリップの長さ (オプション、デフォルトは 16)temporal_stride
- フレーム選択の時間的ストライド (オプション、デフォルトは 2)。numpy_input
- 画像の代わりに numpy ファイルの使用を許可します。データに複雑な前処理ステップ (オプティカル・フローへの変換など)がある場合に便利です (オプション、デフォルトはFalse
)subset
- データセットの分割:train
、validation
またはtest
(オプション、デフォルトはvalidation
)。dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。num_samples
- データセットから最初の n 個のサンプルを選択します (オプション、指定されていない場合はサンプルの完全なサブセットが使用されます)。
-
continuous_clip_action_recognition
- ビデオベースの MS-ASL データセットのアノテーションをClassificationAnnotation
に変換します。annotation_file
- txt 形式のアノテーション・ファイルへのパス。data_dir
- データセットのルート・ディレクトリーには、抽出されたビデオフレームを含むサブディレクトリーが含まれます。out_fps
- 生成されたビデオクリップの出力フレームレート。clip_length
- 生成されたビデオクリップのフレーム数。img_prefix
- 使用された画像のプリフィクス。(オプション、デフォルト -img_
)。
-
redweb
- 単眼相対奥行き知覚用の ReDWeb データセットを次に変換します:DepthEstimationAnnotation
data_dir
- データセットのルート・ディレクトリー。imgs
- RGB 画像のあるディレクトリーとRD
- 相対深度マップのあるディレクトリーが配置されます (annotation_file
を指定する場合はオプション)annotation_file
- 画像ファイルと深度マップファイルのペアを含む txt 形式のファイル (オプション、指定しない場合は、data_dir
の完全なコンテンツがデータセットと見なされます)。
-
nyu_depth_v2
- 深度推定用の NYU Depth Dataset V2 をDepthEstimationAnnotation
に変換します。このコンバーターは、HDF5 形式で保存された前処理されたデータを受け入れます。データはこちらのページからダウンロードできます。data_dir
- HDF5 ファイルがあるディレクトリー (オプション、すでに変換された画像と深度マップがある場合は省略できます)。images_dir
- 画像用のディレクトリー。allow_convert_data
が True の場合、ディレクトリーは変換されたイメージの保存に使用され、それ以外はデータの読み取りに使用されます。(オプション、変換の場合は指定できません。デフォルト値は<data_dir>/converted/images
)。-
depth_map_dir
- 参照深度マップのディレクトリー。numpy 形式で保存されます。allow_convert_data
が True の場合、ディレクトリーは変換された深度マップの保存に使用され、それ以外はデータの読み取りに使用されます。(オプション、変換の場合は指定できません。デフォルト値は<data_dir>/converted/depth
)。評価中は、additional_data_source
パラメーターを使用して、深度マップを含むディレクトリーへのパスを指定する必要があることに注意してください。 allow_convert_data
- HDF5 形式からデータを変換できます (オプション、デフォルトは False)。
-
inpainting
- 画像をImageInpaintingAnnotation
に変換します。images_dir
- 画像ディレクトリーへのパス。masks_dir
- 修復に使用するマスク・データセットへのパス (オプション)。
-
aflw2000_3d
- 3D 顔ランドマーク回帰タスク用の AFLW2000-3D データセットをFacialLandmarks3DAnnotation
に変換します。data_dir
- MATLAB 形式の入力イメージとアノテーション・ファイルが保存されるディレクトリー。
-
style_transfer
- 画像をStyleTransferAnnotation
に変換します。images_dir
- 画像ディレクトリーへのパス。annotation_file
- アノテーションが 1 つある場合は[input_img1] [ref_img]
、2 つの入力がある場合は[input_img1] [input_img2] [ref_img]
という形式のアノテーションを含むファイルへのパス。
-
ade20k
- ADE20K データセットをSegmentationAnnotation
に変換します。images_dir
- 画像のあるディレクトリーへのパス (例:ADEChallengeData2016/images/validation
)。annotations_dir
- アノテーションのあるディレクトリーへのパス (例:ADEChallengeData2016/annotations/validation
)。object_categories_file
- ラベル付きのファイルへのパス (例:ADEChallengeData2016/objectInfo150.txt
)。num_classes
- 使用されたクラスの数。
-
criteo_kaggle_dac
- Criteo データセットをClassificationAnnotation
に変換します。testing_file
- 前処理された Criteo ファイルへのパス (例:criteo/terabyte/terabyte_preprocessed,npz
)。binary
- 入力ファイル・モード・ラグ。設定すると、入力ファイルは .npz モードではなくバイナリーモードになります。オプション、デフォルトFalse
batch
- モデルによって予想されるバッチサイズmax_ind_range
- カテゴリ特徴量の最大インデックス範囲。オプション、デフォルト0
subsample_size
- テスト専用データセット内のバッチの数。指定されている場合、レコードの総数はバッチ * subsample_size です。validation
- 指定された場合、データセット定義に従って、データセットの後半のみがアノテーションに変換されますpreprocessed_dir
- 前処理されたバッチファイルを保存するパス (例:criteo/terabyte/preprocessed
)。separator
- 機能識別子とバッチ・データ・ファイル名を区切る記号。dense_features
- モデルの密な特徴入力の名前。オプション、デフォルトinput.1
sparse_features
- モデルのスパース特徴入力の名前。複数の入力の場合は、[名前]:[インデックス] の形式でカンマで区切ったリストを使用します。オプション、デフォルトlS_i
lso_features
- モデルオフセット特徴入力の名前。オプション、デフォルトlS_o
save_preprocessed_features
- 前処理された入力特徴をpreprocessed_dir
に保存できるようにします (オプション、デフォルトは True)。
-
features_regression
- テキストファイル内の前処理済み入力数値データ (特徴量) と同じ形式の参照データを含むディレクトリー形式で保存されたデータセットを、FeatureRegressionAnnotation
に変換します。このアプローチにより、さまざまなフレームワークからのモデルの出力を比較できます (OpenVINO に変換されたモデルとソース・フレームワークの実現など)。input_dir
- 入力データファイルのあるディレクトリー。reference_dir
- 参照データのあるディレクトリー。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスは、additional_data_source
で定義してください。input_suffix
- 入力ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは.txt
。reference_suffix
- 参照ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは.txt
。use_bin_data
- このフラグは、入力データがバイナリー形式であることを指定します。オプション、デフォルト -False
bin_data_dtype
- バイナリーデータを読み取るためのデータタイプ。
-
multi_feature_regression
- 辞書形式の前処理済み入力数値データ (特徴) を含むディレクトリー形式で保存されたデータセットを変換します。キーはレイヤー名と値、つまり同じ形式の特徴とFeatureRegressionAnnotation
と同じ形式の参照データです。このアプローチにより、さまざまなフレームワークからのモデルの出力を比較できます (OpenVINO に変換されたモデルとソース・フレームワークの実現など)。入力と参照は dict のようなオブジェクトとして npy ファイルに保存する必要があることに注意してください。data_dir
- 入力ファイルと参照ファイルを含むディレクトリー。input_suffix
- 入力ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトはin.npy
。reference_suffix
- 参照ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトはout.npy
。prefix
- 入力ファイルを選択するプリフィクス (オプション、指定しない場合は無視されます)。
-
librispeech
- librispeech データセットをCharachterRecognitionAnnotation
に変換します。data_dir
- 変換された wav ファイルを含むデータセット・ディレクトリーへのパス。annotation_file
- 評価に使用するデータを記述するファイルへのパス (audio_filepath
、text
、duration
)。オプション、データのフィルタリングと継続時間によるオーディオサンプルの並べ替えにのみ使用されます。use_numpy
- オーディオの代わりに npy ファイルに保存された前処理されたデータを使用できるようにします (オプション、デフォルトは False)。-
top_n
- n 番目の最短のサンプルのみを取得するための数値 注:annotation_file
が提供されている場合にのみ適用されます。 max_duration
- アノテーションに含めるクリップの最大継続時間。デフォルトの 0 は、期間チェックを行わないことを意味します。
-
criteo
- Criteo データセットをClassificationAnnotation
に変換します。testing_file
- テストファイルへのパス、terabyte_preprocessed.npz (Criteo Terabyte) または day_6_processed.npz (Criteo Kaggle Dac)batch
- モデルのバッチ。subsample_size
- バッチ内のサブサンプル・サイズvalidation
- データセットの半分を検証目的に使用できるようにしますblock
- バッチ指向のアノテーションを作成しますseparator
- 入力識別子とファイル識別子の間の区切り文字preprocessed_dir
- 前処理されたデータセットの場所dense_features
- モデルの密な特徴入力の名前sparse_features
- モデルのスパース特徴入力の名前。複数の入力の場合は、フォームでカンマ区切りのリストを使用します[name]:[index]
lso_features
- lS_o に似た特徴入力の名前
-
im2latex_formula_recognition
- im2latex のようなデータセットをCharacterRecognitionAnnotation
に変換します。データセットの例images_dir
- 入力画像へのパス (レンダリングまたはスキャンされた式)formula_file
- 1 行に 1 つの数式を含むファイルへのパスsplit_file
-img_name
を含むファイルへのパスと、formula_file
内の対応する式index
を 1 行ごとにタブで区切って指定します。vocab_file
- トークンクラスのインデックスを可読可能なトークンにキャストする語彙を含むファイル
-
dna_sequence
- DNA シーケンス用のデータセットをDNASequenceAnnotation
に変換します。chunks_file
- 入力チャンクを含む npy ファイル。ref_file
- 参照配列を含む npy ファイル。num_chunks
- 検証で使用するサブセットサイズ。指定しないとデータセット全体が使用されます。alphabet
- シーケンスデコード用のアルファベット (オプション、デフォルト [“N”, “A”, “C”, “G”, “T”])。
-
place_recognition
- 画像ベースの翻訳タスク用にデータセットを変換します:PlaceRecognitionAnnotation
subset_file
- matlab ファイルには、検証で使用されるサブセットの情報が含まれています。
-
mpii
- MPII 人間の姿勢推定データセットをPoseEstimationAnnotation
に変換します。annotation_file
- アノテーション付きの json ファイル。headboxes_file
- 各画像の頭の座標を含むボックスを含む numpy ファイル。gt_pos_file
- グラウンド・トゥルース・キーポイントを含む numpy ファイル。オプション、指定しない場合は、アノテーションからのデフォルトのキーポイントが使用されます。joints_visibility_file
- グラウンド・トゥルース・キーポイントの可視性レベルを含む numpy ファイル。オプション、指定しない場合は、アノテーションからのデフォルトの可視性レベルが使用されます。
-
cluttered_mnist
- MNIST データセットを空間変換ネットワークの例からClassificationAnnotation
に変換します。data_file
- データセットを含む npz ファイル。split
- データセットの分割:train
- トレーニング・サブセット用、valid
- トレーニング検証サブセット用、test
- テストサブセット用 (オプション、デフォルトテスト)。convert_images
- npz に保存されている生データから画像を変換し、指定されたディレクトリーに保存できます (オプション、デフォルトは True)。images_dir
- 変換された画像を保存するディレクトリー (オプション、指定しない場合、画像は data_file が保存されている同じ場所の Converted_images ディレクトリーに保存されます)
-
antispoofing
- スプーフィング対策分類タスク用にデータセットを変換します:ClassificationAnnotation
data_dir
- データセットのルートフォルダーへのパスannotation_file
- データセットへのアノテーションを含む json ファイルへのパス ({index: {path:"…"、labels:[…]、bbox:[…] (オプション)、…})label_id
- スプーフィング/本物のラベルを表すアノテーション・ファイル内のラベルの数dataset_meta_file
- データセット・メタを含む json ファイルへのパス (例: label_map)
-
sound_classification
- サウンド分類用のデータセットをClassificationAnnotation
に変換します。データセットは、入力 wav ファイルと 2 列の csv 形式の注釈を含むディレクトリーで表す必要があります。最初のカラムはオーディオファイル名、2 番目のカラムはデータセットのラベル ID です。annotation_file
- 評価用に選択されたサブセットを含む csv ファイル。ファイル構造は上記で説明されています。audio_dir
- 入力データを含むディレクトリー (オプション。アノテーションの変換中にファイルの存在を確認する場合にのみ必須)。
-
ade20k_image_translation
-reference_file
に従って、ADE20K データセットをImageProcessingAnnotation
に変換します。annotations_dir
- アノテーションのあるディレクトリーへのパス (例:ADEChallengeData2016/annotations
)。reference_file
- キー (検証): 値 (トレイン) のペアを持つファイルへのパス。
-
salient_object_detection
- 顕著な物体検出用のデータセットをSalientRegionAnnotation
に変換します。データセットは次の構造を持つ必要があります。画像には、名前や
jpg
拡張子などの数値 ID が付いています (例: image/0.jpg、image/1.jpg、image/2.jpg、…)。salience マップは別のディレクトリーにあり、画像と
png
拡張子と同じ ID を持ちます (例: Mask/0.png、mask/1.png、mask/2.png)。
images_dir
- 入力画像のあるディレクトリー。masks_dir
- 参照顕著性マップを含むディレクトリー。annotation_file
- 選択した画像 ID を含む txt ファイル。
-
wflw
- 顔のランドマーク回帰タスクの WFLW データセットをFacialLandmarksAnnotation
に変換します。annotation_file
- WFLW データセット形式のグラウンド・トゥルース・データを含む txt ファイルへのパス。images_dir
- データセット画像へのパス。コンテンツの存在チェックにのみ使用されます (オプションのパラメーター)。
-
common_object_detection
- オブジェクト検出データセットをDetectionAnnotation
に変換します。データセットは次の形式で保存する必要があります。label_map はテキストファイルとして定義され、ラベルが 1 行ずつ定義されます。
各画像のアノテーションは別個のテキストファイルに保存されます。ボックスはスペースで区切られた情報で表されます: <label_id> <x_min> <y_min> <x_max> <y_max>。
画像名と同じアノテーション・ファイルの名前 (または、ファイルマッピングを持つ追加ファイルを定義する必要があります)。
annotation_dir
- アノテーション・ファイルのあるディレクトリーへのパス。images_dir
- 画像を含むディレクトリーへのパス (オプション、コンテンツのチェックステップでのみ使用されます)。labels_file
- ラベル付きのファイルへのパス。pairs_file
- 画像とアノテーション・ファイルのペアが記述されているファイルへのパス (オプション、指定されていない場合は、annotation_dir の内容に従ってリストが作成されます)。has_background
- 背景ラベルを label_map に追加する必要があることを示すフラグ (オプション、デフォルトは False)。add_background_to_label_id
-has_background
が有効な場合、アノテーションで定義された label_id をシフトする必要があることを示すフラグ。
-
see_in_the_dark
- 論文で説明されている See-in-the-Dark データセットをImageProcessingAnnotation
に変換します。annotation_file
- txt 形式の画像ペアファイルへのパス。
-
conll_ner
- 固有表現認識用の CONLL 2003 データセットをBERTNamedEntityRecognitionAnnotation
に変換します。annotation_file
- txt 形式のアノテーション・ファイル。vocab_file
- 単語部分のトークン化のための vocab ファイル。lower_case
- トークン化中にすべてのトークンを小文字に変換します (オプション、デフォルトはFalse
)。max_length
- 入力シーケンスの最大長 (オプション、デフォルトは 128)。pad_input
- 入力がmax_length
未満の場合、入力シーケンスのパディングを許可します (オプション、デフォルトはTrue
)。include_special_token_lables
- 特別なトークンラベル ([CLS'
,[SEP]
]) を使用した拡張元のデータセット・ラベルを許可します (オプション、デフォルトはFalse
)。-
labels_file
- json 形式のカスタムラベルを含むファイルへのパス (オプション)。
labels_file コンテンツの例:{"labels": ["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "B-MISC", "I-MISC"]}
-
tacotron2_data_converter
- カスタム tacotron2 パイプラインの入力データを変換します。annotation_file
- 位置入力データと参照を含む tsv ファイル。
-
noise_suppression_dataset
- オーディオノイズ除去用のデータセットを変換しますNoiseSuppressionAnnotation
annotation_file
- ファイルペア<clean_signal> <noisy_signal>
を含む txt ファイル。
-
vimeo90k
- ビデオ処理アルゴリズム評価のために Vimeo-90K データセットをSuperResolutionAnnotation
に変換します。annotation_file
- テストに含まれるデータセット・セットアップレットのリストを含むテキストファイルへのパス。add_flow
- フローデータのアノテーションを許可します (オプション、デフォルトはFalse
)。
-
vimeo90k_interp
- ビデオ処理アルゴリズムを評価するため Vimeo-90K 中間フレーム補間データセットをImageProcessingAnnotation
に変換します。annotation_file
- テストに含まれるデータセット・セットアップレットのリストを含むテキストファイルへのパス。
-
kaldi_asr_data
- 前処理された Kaldi* 特徴データセットをCharacterRecognitionAnnotation
に変換します。annotation_file
- gt 転写テーブルを含むファイル。data_dir
- ark ファイルがあるディレクトリー。features_subset_file
- ark ファイルをテストするリストを含むファイル。オプション。指定しない場合は、data_dir
ファイル内にあるすべてのファイルが使用されます。ivectors
- 入力する ivectors 特徴量をインクルードします。オプション、デフォルトはFalse
。
-
kaldi_feat_regression
- 前処理された Kaldi* 特徴量をRegressionAnnotation
に変換します。data_dir
- 入力 ark または npz ファイルのあるディレクトリー。features_subset_file
- ark または npz ファイルをテストするリストを含むファイル。オプションで、指定しない場合は、data_dir
ファイル内にあるすべてのファイルが使用されます。サブセットファイルの形式は次のとおりです。各行には入力サンプルに関する情報が格納されます。入力サンプルは、スペースで区切られた入力ファイルのリストで構成され、参照ファイル名で終わります。ivectors
- 入力する ivectors 特徴量をインクルードします。オプション、デフォルトはFalse
。ref_data_dir
- ark または npz ファイルを参照するディレクトリー (オプション、指定しない場合は代わりにdata_dir
が使用されます)。vectors_mode
- 発話内の各ベクトルを独立したデータとして使用できるようにします。ref_file_suffix
- 検索参照ファイルのサフィックス (オプション、デフォルトは_kaldi_score
)。utterance_name_agnostic
- 変換中に発話名を無視できるようにします。オプション、デフォルトで必須の発話キーの一致。use_numpy_data
- データ形式として、ark ファイルの代わりに npz に保存されたデータを使用できるようにします。
-
electricity
- Electricity データセットをTimeSeriesForecastingAnnotation
に変換します。data_path_file
- .csv 形式のデータセット・ファイルへのパス。num_encoder_steps
- モデルが使用する履歴タイムスタンプの最大数。
-
yolo_labeling
- YOLO ラベル形式のアノテーションを含む物体検出データセットをDetectionAnnotation
に変換します。annotations_dir
- txt 形式のアノテーション・ファイルを含むディレクトリーへのパス。images_dir
- 画像を含むディレクトリーへのパス (オプション)。labels_file
- txt 形式のラベルを含むファイルへのパス (オプション)。images_suffix
- 画像ファイル名のサフィックス (オプション、デフォルト:.jpg
)。
-
label_me_detection
- LabelMe アノテーション・ツールを使用して取得したデータセットをDetectionAnnotation
に変換します。annotations_dir
- XML 形式の注釈ファイルを含むディレクトリーへのパス。dataset_meta_file
- データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。詳細については、データセット・メタのカスタマイズのセクションを参照してください。images_dir
- 画像を含むディレクトリーへのパス (オプション)。has_background
- background_label を追加する/追加しないでデータセットを変換できます (オプション、デフォルト: False)。
-
label_me_segmentation
- LabelMe アノテーション・ツールを使用して取得したデータセットをSegmentationAnnotation
に変換します。annotations_dir
- XML 形式の注釈ファイルを含むディレクトリーへのパス。dataset_meta_file
- データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。詳細については、データセット・メタのカスタマイズのセクションを参照してください。images_dir
- 画像を含むディレクトリーへのパス (オプション)。masks_dir
- グラウンド・トゥルース・セグメント化マスクを使用したディレクトリーへのパス (オプション)。
-
cls_dataset_folder
- DatasetFolder 形式の汎用分類データセットをClassificationAnnotation
に変換します。-
data_dir
- 次の構造の入力画像を含むディレクトリー:data_dir/class_a/xxx.ext data_dir/class_a/xxy.ext data_dir/class_b/[...]/xxz.ext ... data_dir/class_y/123.ext data_dir/class_z/nsdf3.ext data_dir/class_z/[...]/asd932_.ext
-
-
rctw_preprocessed
- 前処理された Reading Chinese Text in the Wild (RCTW) データセットをTextDetectionAnnotation
に変換します。annotation_file
- txt ファイルにはアノテーションが含まれており、画像とそのアノテーションはタブで区切られています。画像のアノテーションは json-string として表現されます。
-
open_images_detection
- 物体検出タスクの Open Images データセットをDetectionAnnotation
に変換します。bbox_csv_file
- 境界ボックスの座標を含む csv ファイルへのパス。labels_file
- CSV 形式のクラスラベルを含むファイルへのパス。images_dir
- 画像フォルダーへのパス (オプション)。label_start
- ラベルマップ内のラベル・インデックスの開始を指定します。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます (オプション、デフォルト値は 1)。
-
amazon_product_data
- DIEN モデル用に前処理されたAmazon Product Data
(http://snap.stanford.edu/data/amazon/productGraph) データセットからの書評を、ClassificationAnnotation
に変換します。test_data
- ユーザーレビューを含むファイルへのパスuid_voc
- ユーザー識別語彙へのパスmid_voc
- 映画の識別語彙へのパスcat_voc
- カテゴリー語彙へのパスitem_info
-item-info
情報ファイルへのパスreviews_info
-reviews-info
情報ファイルへのパスpreprocessed_dir
- 前処理されたデータへのパスseparator
- 前処理されたデータファイル名の入力名とバッチ識別子の間の区切り文字。(オプション、デフォルト#
)mid_his_batch
- モデルmid_his_batch
入力の識別子cat_his_batch
- モデルcat_his_batch
入力の識別子uid_batch
- モデルuid_batch
入力の識別子mid_batch
- モデルmid_batch
入力の識別子cat_batch
- モデルcat_batch
入力の識別子mask
- モデルmask
入力の識別子seq_len
- モデルseq_len
入力の識別子skip_dump
- 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルトFalse
)batch
- データ前処理用のバッチ。(オプション、デフォルト1
)max_len
- 入力シーケンスの最大長。(オプション、デフォルト100
)subsample_size
- 前処理された文の数を制限します。(オプション、デフォルト0
、制限なし)
-
wgs_tf_records
-Deepvariant WGS
前処理データセット (https://github.com/google/deepvariant/blob/r0.10/docs/deepvariant-training-case-study.md) をClassificationAnnotation
に変換します。annotation_file
-Deepvariant WGS
前処理データセット・ファイルへのパスpreprocessed_dir
- 前処理されたデータへのパスskip_dump
- 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルトFalse
)
-
wgs_pickle_records
- pickle ファイルにダンプされたDeepvariant WGS
前処理データセット (https://github.com/google/deepvariant/blob/r0.10/docs/deepvariant-training-case-study.md) をClassificationAnnotation
に変換します。annotation_file
-Deepvariant WGS
前処理データセット・ファイルへのパスpreprocessed_dir
- 前処理されたデータへのパスskip_dump
- 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルトFalse
)
-
common_text_recognition
- テキスト認識タスク (光学式文字認識、自動音声認識など) の注釈をCharacterRecognitionAnnotation
に変換します。annotation_file
- アノテーション付きのファイルへのパス。各行は[input_file]
[reference]
として表されます。
-
speaker_reidentification
- 話者/音声再識別データセットのアノテーションをReidentificationClassificationAnnotation
に変換します。annotation_file
- 次の形式の再識別ペアを含むテキストファイル:[is_positive] [audio_1] [audio_2]
、is_positive
- ペアが正であることを示すインジケータ (話者が同じ場合は 1、話者が異なる場合は 0)、audio_1
とaudio_2
は最初と 2 番目のオーディオファイルへのパスです。max_pairs
- 各画像の選択ペアの制限 (オプション、デフォルトでは、アノテーションで確立されたすべてのペアを使用します)。
-
mvtec
- MVTec データセットをAnomalySegmentationAnnotation
またはClassificationAnnotation
に変換します。data_dir
- サブセットイメージを含むディレクトリー。classification_only
- ピクセルレベルの情報を保存せずにデータセットをClassificationAnnotation
に変換します (オプション、デフォルトはFalse
)。
-
kitti_2d_detection
- 2D オブジェクト検出タスクの KITTI アノテーションをDetectionAnnotation
に変換します。annotations_dir
- アノテーション・ファイルのあるディレクトリーへのパス。labels_file
- ラベル付きのファイルへのパス。images_dir
- 画像を含むディレクトリーへのパス (オプション、デフォルトは image_2)。label_start
- ラベルマップ内のラベル・インデックスの開始を指定します。オプション、デフォルト値は 1 です。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。images_suffix
- 画像ファイル名のサフィックス (オプション、デフォルト:.png
)。
-
malware_classification_converter
- マルウェア検出タスクのデータセットをClassificationAnnotation
に変換します。annotation_file
- データセット・アノテーション・ファイルへのパス。data_dir
- データセット・ルート・フォルダーへのパス。known_folder
- 既知のファイルを含むフォルダーの名前 (オプション、デフォルトはKNOWN_1000
)。malicious_folder
- 不正なファイルを含むフォルダーの名前 (オプション、デフォルトはMALICIOUS_1000
)。
-
cvat_palm_detection
- 手のひら検出タスク用のハンド・データセットをDetectionAnnotation
に変換します。annotation_file
- データセット・アノテーション・ファイルへのパス。images_dir
- 画像を含むディレクトリーへのパス (オプション、デフォルトはfinal
)。landmarks_file
- アノテーション画像の手のランドマーク座標を含むファイルへのパス (オプション)。指定されている場合、コンバーターはannotation_file
で提供されるデータの代わりにランドマーク・データから計算された GT ボックス座標を使用します。padding
- GT バウンディング・ボックスの周囲の追加のパディング (ピクセル単位) は、landmarks_file
から計算されます。
-
cvat_hand_landmarks
- 手の認識タスク用のハンド・データセットをHandLandmarksAnnotation
に変換します。annotation_file
- データセット・アノテーション・ファイルへのパス。bbox_file
- 手の境界ボックスのアノテーション付きのファイルへのパス。images_dir
- 画像を含むディレクトリーへのパス (オプション、デフォルトはfinal
)。from_landmarks
-bbox_file
で提供されるデータの代わりにランドマーク・データから手の境界ボックスの座標を計算できるようにします (オプション、デフォルトはFalse
)。padding
-from_landmarks
モードで計算された、手の境界ボックスの周囲のピクセル単位の追加パディング (オプション、デフォルトは10
)。num_keypoints
- モデルによって予期されるアノテーション内のキーポイントの数 (オプション、デフォルトは21
)。
-
parti_prompts
テキストから画像への生成ベンチマークの PartiPrompts をText2ImageGenerationAnnotation
に変換します。annotation_file
- csv 形式のアノテーション・ファイルへのパス。
データセット・メタのカスタマイズ¶
いくつかのデフォルトのデータセット・パラメーターをカスタマイズする必要がある場合があります (元のデータセットのラベルマップを独自のものに置き換えるなど)。dataset_meta_file
引数を使用して、label_map
、segmentation_colors
、background_label
などのパラメーターをオーバーロードできます。データセットのメタファイルは JSON ファイルであり、次のパラメーターを含めることができます。
label_map
は、<CLASS_ID>
がキー、<CLASS_NAME>
が値である辞書です。labels
はクラス名を表す文字列のリストです (順序は重要で、クラス id として使用されるクラス名のインデックス)。代わりにlabel_map
を使用できます。background_label
- データセット内の背景ラベルの id。-
segmentation_colors
(セマンティックのセグメント化タスクのデータセットでカラー・エンコーディングが使用されている場合)。セグメント化カラーは、各クラスのチャネルごとの値のリストです。(例: データセットに BGR カラーの 3 つのクラスがある場合、そのセグメント化カラーは[[255, 0, 0], [0, 255, 0], [0, 0, 255]]
のようになります)。
dataset_meta.json コンテンツの例:
{
"label_map": {"0": "background", "1": "cat", "2": "dog"},
"background_label": "0",
"segmentation_colors": [[0, 0, 0], [255, 0, 0], [0, 0, 255]]
}