データセットの準備ガイド

準備された構成を使用して精度チェッカーツールを実行する場合、検証データセットを含む <DATASET_DIR> フォルダーを整理する必要があります。ここでは、検証データを準備する手順について説明します。

各データセットの説明は次のセクションで構成されます。

  • データセットをダウンロードする手順

  • 既存のグローバル構成ファイル (<omz_dir>/data/dataset_definitions.yml) 内のデータセット定義と一致する <DATASET_DIR> の構造

  • グローバル構成ファイルのデータセットの使用および表示例

事前定義された構成ファイルの使用方法の詳細については、こちらを参照してください。

ImageNet

データセットのダウンロード

ImageNet から画像をダウンロードするには、アカウント作成し、アクセス条件に同意する必要があります。

  1. ImageNet ホームページに移動します。

  2. アカウントがある場合は、Login してください。それ以外の場合は、右上隅にある Signup をクリックしてデータを入力し、確認メールが届くのを待ちます。

  3. 確認メールを受信したらログインし、Download タブに移動します。

  4. Download Original Images を選択します。

  5. アクセス条件ページにリダイレクトされます。規約に同意する場合は、「同意して署名」をクリックして続行します。

  6. 1 つの tar ファイルとしてダウンロードセクションのリンクをクリックして選択します。

  7. アーカイブをアンパックします。

アノテーション・ファイルをダウンロードするには:

  • val.txt

    1. アーカイブをダウンロードします。

    2. アーカイブ caffe_ilsvrc12.tar.gz から val.txt をアンパックします。

  • val15.txt

    1. アノテーション・ファイルをダウンロードします。

    2. ILSVRC2017_val.txt を val15.txt にリネームします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • ILSVRC2012_img_val - ILSVRC 2012 検証イメージを含むディレクトリー

  • val.txt - ILSVRC 2012 で使用されるアノテーション・ファイル

  • val15.txt - ILSVRC 2015 で使用されるアノテーション・ファイル

dataset_definitions.yml のデータセット

  • imagenet_1000_classes は、1000 クラスの ILSVRC 2012 データセットでトレーニングされた評価モデルに使用されます (モデルの例: densenet-121-tf)。

  • imagenet_1000_classes_2015 は、1000 クラスの ILSVRC 2015 データセットでトレーニングされた評価モデルに使用されます。

  • imagenet_1001_classes は、1001 クラス (バックグラウンド・ラベル + 元のラベル) を含む ILSVRC 2012 データセットでトレーニングされた評価モデルに使用されます (モデルの例: googlenet-v2-tf、resnet-50-tf)。

コンテンツの共通オブジェクト (COCO)

データセットのダウンロード

  1. COCO ホームページに移動します。

  2. メニューで Dataset をクリックし、Download を選択します。

  3. 2017 Val 画像と 2017 Train/Val アノテーションをダウンロードします。

  4. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • val2017 - COCO 2017 検証イメージを含むディレクトリー

  • annotations - COCO 2017 アノテーション・ファイルを含むディレクトリー

    • instances_val2017.json - オブジェクト検出およびインスタンスのセグメント化タスクに使用されるアノテーション・ファイル

    • person_keypoints_val2017.json - 人物の姿勢推定タスクに使用されるアノテーション・ファイル

dataset_definitions.yml のデータセット

  • ms_coco_mask_rcnn は、オブジェクト検出およびインスタンスのセグメント化タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。80 個の公開されているオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます。アノテーションは画像 ID の昇順に保存されます。

  • ms_coco_detection_91_classes は、物体検出タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。80 個の公開されているオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます (このカテゴリーへの元のインデックス付けは保持されます。オブジェクト・カテゴリー・ラベルの詳細については、こちらをご覧ください)。アノテーションは画像 ID の昇順に保存されます。(モデルの例: faster_rcnn_resnet50_coco、ssd_mobilenet_v1_coco)

  • ms_coco_detection_80_class_with_background は、物体検出タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。80 個の公開されているオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます。アノテーションは画像 ID の昇順に保存されます (モデルの例: faster-rcnn-resnet101-coco-sparse-60-0001、ssd-resnet34-1200-onnx)。

  • ms_coco_detection_80_class_without_background は、物体検出タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。80 の公開されている利用可能なオブジェクト・カテゴリーを含むラベルマップが使用されます。アノテーションは画像 ID の昇順に保存されます (モデルの例: ctdet_coco_dlav0_512、yolo-v3-tf)。

  • ms_coco_keypoints は、人間の姿勢推定タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。各アノテーションには、1 つの画像の複数のキーポイントが保存されます (モデルの例: human-pose-estimation-0001)。

  • ms_coco_single_keypoints は、人間の姿勢推定タスク用の COCO データセットでトレーニングされた評価モデルに使用されます。各アノテーションは画像の単一のキーポイントを保存するため、複数のアノテーションを 1 つの画像に関連付けることができます (モデルの例: single-human-pose-estimation-0001)。

WIDER FACE

データセットのダウンロード

  1. WIDER FACE ホームページに移動します。

  2. Download セクションに移動します。

  3. WIDER Face Validation images を選択し、Google ドライブ または Tencent ドライブ からダウンロードします。

  4. Face annotations を選択してダウンロードします。

  5. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • WIDER_val - images ディレクトリーを含むディレクトリー

    • images - WIDER Face 検証画像を含むディレクトリー

  • wider_face_split - アノテーション・ファイルがあるディレクトリー

    • wider_face_val_bbx_gt.txt - アノテーション・ファイル

dataset_definitions.yml のデータセット

  • wider は、顔が最初のクラスである WIDER Face データセットの評価モデルに使用されます (モデルの例: faceboxes-pytorch)。

  • wider_without_bkgr は、顔がクラス 0 である WIDER Face データセットの評価モデルに使用されます (モデルの例: face-detection-0204)。

ビジュアル・オブジェクト・クラス・チャレンジ 2012 (VOC2012)

データセットのダウンロード

  1. VOC2012 website に移動します。

  2. Development Kit に移動します。

  3. Download the training/validation data をクリックしてアーカイブをダウンロードします。

  4. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • VOCdevkit/VOC2012 - アノテーション、画像、セグメント化マスク、画像セットをファイル含むディレクトリー

    • Annotations - VOC2012 アノテーション・ファイルを含むディレクトリー

    • JPEGImages - VOC2012 検証画像を含むディレクトリー

    • ImageSets - さまざまなタスクの画像のリストを指定する VOC2012 テキストファイルを含むディレクトリー

      • Main/val.txt - 検出タスク用の画像セットファイル

      • Segmentation/val.txt - セグメント化タスク用の画像セットファイル

    • SegmentationClass - VOC2012 セグメント化マスクを含むディレクトリー

dataset_definitions.yml のデータセット

  • VOC2012 は、物体検出タスクの VOC2012 データセットの評価モデルに使用されます。20 個のオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます。

  • VOC2012_without_background は、物体検出タスクの VOC2012 データセットの評価モデルに使用されます。20 個のオブジェクト・カテゴリーを持つラベルマップが使用されます (モデルの例: yolo-v2-ava-0001、yolo-v2-tiny-ava-0001)。

  • VOC2012_Segmentation は、セグメント化タスクの VOC2012 データセットの評価モデルに使用されます。20 個のオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます (モデルの例: deeplabv3)。

ビジュアル・オブジェクト・クラス・チャレンジ 2007 (VOC2007)

データセットのダウンロード

  1. VOC2007 website に移動します。

  2. Development Kit に移動します。

  3. Download the training/validation data をクリックしてアーカイブをダウンロードします。

  4. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • VOCdevkit/VOC2007 - アノテーション、画像、画像セットファイルを含むディレクトリー

    • Annotations - VOC2007 アノテーション・ファイルを含むディレクトリー

    • JPEGImages - VOC2007 画像を含むディレクトリー

    • ImageSets - さまざまなタスクの画像のリストを指定する VOC2007 テキストファイルを含むディレクトリー

      • Main/test.txt - 検出タスク用の画像セットファイル

dataset_definitions.yml のデータセット

  • VOC2007_detection は、物体検出タスクの VOC2007 データセットの評価モデルに使用されます。20 個のオブジェクト・カテゴリーを含む背景ラベル + ラベルマップが使用されます (モデルの例: yolo-v1-tiny-tf)。

  • VOC2007_detection_no_bkgr は、物体検出タスクの VOC2007 データセットの評価モデルに使用されます。20 個のオブジェクト・カテゴリーを持つラベルマップが使用されます (モデルの例: yolo-v1-tiny-tf)。

SYGData0829

データセットのダウンロード

  1. SYGData0829 GitHub リポジトリーに移動します。

  2. 以下を選択します。

  3. アーカイブをアンパックします。

ファイルレイアウト

  • SYGData0829/dataset_format_VOC2007 - アノテーション、画像、画像セットファイルを含むディレクトリー

    • Annotations - SYGData0829 アノテーション・ファイルを含むディレクトリー

    • JPEGImages - SYGData0829 画像を含むディレクトリー

    • ImageSets - さまざまなタスクの画像のリストを指定する SYGData0829 テキストファイルを含むディレクトリー

      • Main/val.txt - 検出タスクの検証用の画像セットファイル

dataset_definitions.yml のデータセット

  • SYGData0829 は、物体検出タスクの SYGData0829 データセットの評価モデルに使用されます。4 つのオブジェクト・カテゴリーを持つラベルマップが使用されます (モデルの例: mobilenet-yolo-v4-syg)。

erfnet_data

データセットのダウンロード方法

erfnet_data データセットをダウンロードするには、以下の手順に従う必要があります。

  1. github リポジトリーに移動します。

  2. Annotations.rar、‘JPEGImages.rar’、‘erfnet_meta_zxw.json’、‘val.txt’ を選択します。

  3. アーカイブをアンパックします。

ファイルレイアウト

  • erfnet_data - アノテーション、画像、画像セット、データセット・メタ・ファイルを含むディレクトリー

    • Annotations - erfnet_data アノテーション・ファイルを含むディレクトリー

    • JPEGImages - erfnet_data 画像を含むディレクトリー

    • erfnet_meta_zxw.json - さまざまなタスクの画像のリストを指定する erfnet_data テキストファイルを含むディレクトリー

    • val.txt - 検出タスクの検証用の画像セットファイル

dataset_definitions.yml のデータセット

  • erfnet_data は、オブジェクトのセグメント化タスクの erfnet_data データセットの評価モデルに使用されます (モデルの例: erfnet)。

PASCAL-S

データセットのダウンロード

  1. Salient Object のセグメント化の秘密のホームページに移動します。

  2. Download セクションに移動します。

  3. アーカイブをダウンロードするには、Dataset & Code をクリックします。

  4. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • PASCAL-S - 画像と顕著領域マスクのサブディレクトリーを含むディレクトリー

    • image - 解凍されたアーカイブ内のディレクトリー datasets/imgs/pascal からの PASCAL-S イメージを含むディレクトリー

    • mask - 解凍されたアーカイブ内のディレクトリー datasets/masks/pascal からの PASCAL-S 顕著領域マスクを含むディレクトリー

dataset_definitions.yml のデータセット

  • PASCAL-S は、物体検出タスクの PASCAL-S データセットの評価モデルに使用されます (モデルの例: f3net)。

CoNLL2003 固有表現の認識

CoNLL2003 固有表現認識ウェブサイトを参照してください。

データセットのダウンロード

  1. DeepAI データセットウェブサイトの CoNLL 2003 (英語) データセットページからアーカイブをダウンロードします。

  2. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • CONLL-2003 - アノテーション・ファイルがあるディレクトリー

    • valid.txt - CoNLL2003 で使用されるアノテーション・ファイル

dataset_definitions.yml のデータセット

  • CONLL2003_bert_cased は、固有表現認識タスクの CoNLL2003 データセットの評価モデルに使用されます (モデルの例: bert-base-ner)。

MRL Eye

データセットのダウンロード

  1. MRL Eye データセットのウェブサイトに移動します。

  2. アーカイブをダウンロードします。

  3. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • mrlEyes_2018_01 - データセット・イメージがあるサブディレクトリーを含むディレクトリー

dataset_definitions.yml のデータセット

  • mrlEyes_2018_01 は、目の状態を認識する MRL Eye データセットの評価モデルに使用されます (モデルの例: open-closed-eye-0001)。

野生のラベル付き顔 (LFW)

データセットのダウンロード

  1. Labeled Faces in the Wild のホームページに移動します。

  2. Download the database セクションに移動します。

  3. アーカイブをダウンロードするには、All images as gzipped tar file をクリックします。

  4. アーカイブをアンパックします。

  5. Training, Validation, and Testing セクションに移動します。

  6. pairs.txt を選択して、ペアのファイルをダウンロードします。

  7. lfw_landmark ファイルをダウンロードします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • LFW - 画像ディレクトリー、ペア、およびランドマーク・ファイルを含むディレクトリー

    • lfw - LFW 画像含むディレクトリー

    • annotation - ペアとランドマーク・ファイルを含むディレクトリー

      • pairs.txt - LFW データセットのアノテーションの正と負のペアを含むファイル

      • lfw_landmark.txt - LFW データセットのアノテーション画像用の顔のランドマーク座標を含むファイル

dataset_definitions.yml のデータセット

NYU Depth Dataset V2

NYU Depth Dataset V2 ウェブサイトを参照。

データセットのダウンロード

HDF5 形式で保存された NYU Depth Dataset V2 前処理データをダウンロードするには:

  1. ウェブサイトからアーカイブをダウンロードします。

  2. アーカイブをアンパックします。

ファイルレイアウト

このデータセットを OMZ ツールで使用するには、<DATASET_DIR> に以下が含まれていることを確認してください。

  • nyudepthv2/val - データセットの公式データと変換された画像と深度マップを含むディレクトリー

    • official - 元の HDF5 形式でデータが保存されたディレクトリー

    • converted - 変換されたデータが含まれるディレクトリー

      • images - 変換された画像が含まれるディレクトリー

      • depth - 深度マップを含むディレクトリー

注: データセットを初めて使用する場合は、dataset_definitions.yml 内のこのデータセットのアノテーション変換パラメーターで allow_convert_data: True を設定するか、convert_annotation コマンドライン・インターフェイスを使用します。

convert_annotation nyu_depth_v2 --data_dir <DATASET_DIR>/nyudepthv2/val/official --allow_convert_data True

dataset_definitions.yml のデータセット

  • NYU_Depth_V2 は、単眼深度推定タスクの NYU Depth Dataset V2 の評価モデルに使用されます (モデルの例: fcrn-dp-nyu-depth-v2-tf)。