メトリック

メトリックは、予測データとアノテーション付きデータを比較し、品質測定を実行するクラスです。ワークメトリックを正しくするには、特定の表現形式が必要です。(例: マップは評価のために検出アノテーションと検出予測を期待します)。

表現コンテナにある複雑な表現を使用する場合は、構成ファイルにオプション annotation_source および prediction_source を追加して、特定の表現を選択する必要があります。別の方法では、コンテナに適切な表現が 1 つしかなく、自動的に解決される場合にのみメトリックの計算が可能です。annotation_source と prediction_source には、それぞれアノテーション識別子と出力レイヤー名を 1 つだけ含めます。計算されたメトリックを特定の値 (つまり、正規に報告されたもの) に対してテストし、基準値から絶対および相対メトリック偏差としてそれぞれ許容可能な abs_threshold および rel_threshold をテストしたい場合は、オプションでメトリックの reference フィールドを提供できます。参照は単一の浮動小数点値として指定でき、ベクトルメトリック表現は平均値に適用されます (例えば、メトリックが各クラスの値を返す場合、平均値を参照と比較する必要があります)、またはキーが辞書として適用されます。キーはメトリック・コンポーネント名、値は参考値です。例えば、平均と標準の 2 つの値で構成される PSNR メトリックを使用する場合、次のように両方の値の参照を指定できます。

reference:
  mean: 42.56
  std: 0.89

注: すべての参照値は、スケーリングなしの生の形式で提供する必要があります (メトリック固有: -ignore_results_formatting True パラメーターを使用して生のメトリックを確認できます)。パーセントで表されるメトリックの参照を提供する場合は、参照値を scale = 100 で正規化する必要があります。例えば、分類モデルに精度メトリックを使用する場合は、次のように参照を指定します。

name: accuracy@top1
type: accuracy
top_k: 1
reference: 0.7464

すべてのメトリックには、構成に使用できるパラメーターがあります。メトリックとパラメーターは、構成ファイルを通じて設定されます。特定のメトリックを使用するには、構成ファイルの datasets セクションでメトリックを提供します。

サポートされるメトリック

精度チェッカーは、次の一連のメトリックをサポートしています。

• accuracy - 分類精度メトリックは、正しい予測数を予測総数で割ったものとして定義されます。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、TextClassificationAnnotation、ClassificationPrediction、ArgMaxClassificationPrediction。

  • top_k - 最も高い確率を持つクラスの数。予測が正しいか決定するために使用されます。

  • match - バッチ指向のバイナリー分類メトリック。レコードごとにバッチで計算されたメトリック値。このモードでは、パラメーター top_k は無視されます。

  • cast_to_int - match モードでは、予測はメトリック値を計算する前に最も近い整数に丸められます。

• accuracy_per_class - 各クラスの結果を表す分類精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、ClassificationPrediction。

  • top_k - 最も高い確率を持つクラスの数。予測が正しいか決定するために使用されます。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• character_recognition_accuracy - 文字認識タスクの精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

  • remove_spaces - 参照文字列と予測文字列からスペースを削除できるようにします (オプションであり、デフォルトは False)。

• label_level_recognition_accuracy - テキスト行文字認識タスクのラベルレベルの認識精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

• classification_f1-score - 分類タスクの F1 スコアメトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、TextClassificationAnnotation、ClassificationPrediction、ArgMaxClassificationPrediction、AnomalySegmentationAnnotation、AnomalySegmentationPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • pos_label - メトリック計算中にレポートするクラス (オプション)。引数が省略されると、各クラスのメトリックと平均がレポートされます。

  • pixel_level- 異常セグメント化のピクセルレベルでメトリックを評価します (オプションであり、デフォルトは False)。

• metthews_correlation_coef - 二値分類のマシューズ相関係数 (MCC)。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、TextClassificationAnnotation、ClassificationPrediction。

• roc_auc_score - 二項分類の ROC AUC スコア。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、TextClassificationAnnotation、ClassificationPrediction、ArgMaxClassificationPrediction、AnomalySegmentationAnnotation、AnomalySegmentationPrediction。

  • pixel_level- 異常セグメント化のピクセルレベルでメトリックを評価します (オプションであり、デフォルトは False)。

  • calculate_hot_label - 異常セグメント化のメトリック評価計算の前に、アノテーションと予測用の 1 つのホットラベルを計算します (オプションであり、デフォルトは False)。

• acer_score - 分類タスクのメトリック。次の式で求めることができます: ACER = (APCER + BPCER)/2 = ((fp / (tn + fp)) + (fn / (fn + tp)))/2。メトリックの詳細については、セクション 9.3 を参照してください。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど悪くなります。サポートされる表現: ClassificationAnnotation、TextClassificationAnnotation、ClassificationPrediction。

• clip_accuracy - 分類ビデオレベルの精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ClassificationAnnotation、ClassificationPrediction。

• map - 評価指標。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DetectionAnnotation、DetectionPrediction。

  • overlap_threshold - 予測境界ボックスが真陽性であると判断できる和集合上の最小値。

  • overlap_method - bbox オーバーラップの計算方法。アノテーションと予測ボックスの領域の和集合で割った交差の面積として定義される交差オーバーユニオン (iou) と、予測ボックスの ara で割った交差の面積として定義される交差オーバーエリア (ioa) のどちらかを選択できます。

  • include_boundaries - オーバーラップ計算プロセスに境界を含めることができます。True の場合、ボックスの幅と高さは (最大値 - 最小値 + 1) で計算されます。

  • ignore_difficult - メトリック計算で難しいアノテーション・ボックスを無視できるようになります。この場合、困難なボックスは後処理ステージでフィルタリングされたアノテーションです。

  • distinct_conf - 明確な信頼度の値のみを選択します。

  • allow_multiple_matches_per_ignored - 無視ごとに複数の一致が許可されます。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • integral - 平均精度計算用の整数タイプ。Pascal VOC 11point および max アプローチが利用可能です。

• miss_rate - 検出モデルのミス率メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DetectionAnnotation、DetectionPrediction。

  • overlap_threshold - 予測境界ボックスが真陽性であると判断できる和集合上の最小値。

  • overlap_method - bbox オーバーラップの計算方法。アノテーションと予測ボックスの領域の和集合で割った交差の面積として定義される交差オーバーユニオン (iou) と、予測ボックスの ara で割った交差の面積として定義される交差オーバーエリア (ioa) のどちらかを選択できます。

  • include_boundaries - オーバーラップ計算プロセスに境界を含めることができます。True の場合、ボックスの幅と高さは (最大値 - 最小値 + 1) で計算されます。

  • ignore_difficult - メトリック計算で難しいアノテーション・ボックスを無視できるようになります。この場合、困難なボックスは後処理ステージでフィルタリングされたアノテーションです。

  • distinct_conf - 明確な信頼度の値のみを選択します。

  • allow_multiple_matches_per_ignored - 無視ごとに複数の一致が許可されます。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • fppi_level - 画像レベルごとの誤検知。

• recall - 検出モデルの再現メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DetectionAnnotation、DetectionPrediction。

  • overlap_threshold - 予測境界ボックスが真陽性であると判断できる和集合上の最小値。

  • overlap_method - bbox オーバーラップの計算方法。アノテーションと予測ボックスの領域の和集合で割った交差の面積として定義される交差オーバーユニオン (iou) と、予測ボックスの ara で割った交差の面積として定義される交差オーバーエリア (ioa) のどちらかを選択できます。

  • include_boundaries - オーバーラップ計算プロセスに境界を含めることができます。True の場合、ボックスの幅と高さは (最大値 - 最小値 + 1) で計算されます。

  • ignore_difficult - メトリック計算で難しいアノテーション・ボックスを無視できるようになります。この場合、困難なボックスは後処理ステージでフィルタリングされたアノテーションです。

  • distinct_conf - 明確な信頼度の値のみを選択します。

  • allow_multiple_matches_per_ignored - 無視ごとに複数の一致が許可されます。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• detection_accuracy - 検出モデルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DetectionAnnotation、DetectionPrediction。

  • overlap_threshold - 予測境界ボックスが真陽性であると判断できる和集合上の最小値。

  • overlap_method - bbox オーバーラップの計算方法。アノテーションと予測ボックスの領域の和集合で割った交差の面積として定義される交差オーバーユニオン (iou) と、予測ボックスの ara で割った交差の面積として定義される交差オーバーエリア (ioa) のどちらかを選択できます。

  • include_boundaries - オーバーラップ計算プロセスに境界を含めることができます。True の場合、ボックスの幅と高さは (最大値 - 最小値 + 1) で計算されます。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • use_normalization - メトリック計算のため construction_matrix を正規化できます。

• segmentation_accuracy - セマンティック・セグメント化モデルのピクセル精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SegmentationAnnotation、SegmentationPrediction。

  • use_argmax - 予測マスクに argmax を使用できるようになります。

  • ignore_label - メトリック計算中にどの class_id 予測を無視するかを指定します。(オプション、指定しないとすべてのラベルが使用されます)。

• mean_iou - セマンティック・セグメント化モデルの和集合に対する平均交差。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SegmentationAnnotation、SegmentationPrediction。

  • use_argmax - 予測マスクに argmax を使用できるようになります。

  • ignore_label - メトリック計算中にどの class_id 予測を無視するかを指定します。(オプション、指定しないとすべてのラベルが使用されます)。

• mean_accuracy - セマンティック・セグメント化モデルの平均精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SegmentationAnnotation、SegmentationPrediction。

  • use_argmax - 予測マスクに argmax を使用できるようになります。

  • ignore_label - メトリック計算中にどの class_id 予測を無視するかを指定します。(オプション、指定しないとすべてのラベルが使用されます)。

• frequency_weighted_accuracy - セマンティック・セグメント化モデルの周波数重み付け精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SegmentationAnnotation、SegmentationPrediction。

  • use_argmax - 予測マスクに argmax を使用できるようになります。

  • ignore_label - メトリック計算中にどの class_id 予測を無視するかを指定します。(オプション、指定しないとすべてのラベルが使用されます)。計算セグメント化メトリックの詳細については、こちらをご覧ください。

• cmc - 累積一致特性 (CMC) スコア。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationAnnotation、ReIdentificationPrediction。

  • top_k - マッチング時に考慮する、k 番目の最高ランクのサンプルの数。

  • separate_camera_set - 同じカメラビューからのアイデンティティーをフィルタリングして除外する必要があります。

  • single_gallery_shot - 各アイデンティティーはギャラリー内にインスタンスを 1 つだけ持ちます。

  • number_single_shot_repeats - single_gallery_shot 設定の繰り返し回数 (CUHK に必要)。

  • first_match_break - 最初に一致したギャラリー・サンプルで中断します。

• reid_map - オブジェクト再識別の平均平均精度スコア。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationAnnotation、ReIdentificationPrediction。

  • uninterpolated_auc - 精度再現曲線の下の領域は、台形則を使用して計算するか、直接計算する必要があります。

• pairwise_accuracy - オブジェクト再識別のペアごとの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationClassificationAnnotation、ReIdentificationPrediction。

  • min_score - オブジェクトが異なると判断する最小スコア。値を指定するか、アノテーションにトレーニング・サブセットがある場合に計算される train_median 値または best_train_threshold 値を使用できます。

  • distance_method - 距離計算方法を選択できます (オプション、サポートされている方法は euclidian_distance と cosine_distance、デフォルトは euclidian_distance)。

  • subtract_mean - 距離を計算する前に、トレーニングされた埋め込みで計算された平均を減算できます (オプション、デフォルト - False)。

• pairwise_accuracy_subsets - 平均スコア計算のサブセットのテストおよびトレーニングにおける分割データセットを使用した物体再識別ペアワイズ精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationClassificationAnnotation、ReIdentificationPrediction。

  • subset_number - 分離するサブセットの数。

  • min_score - オブジェクトが異なると判断する最小スコア。値を指定するか、アノテーションにトレーニング・サブセットがある場合に計算される train_median 値または best_train_threshold 値を使用できます。

  • distance_method - 距離計算方法を選択できます (オプション、サポートされている方法は euclidian_distance と cosine_distance、デフォルトは euclidian_distance)。

  • subtract_mean - 距離を計算する前に、トレーニングされた埋め込みで計算された平均を減算できます (オプション、デフォルト - False)。

• localization_recall - 評価場所認識タスクに使用される再現メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PlaceRecognitionAnnotation、ReidentificationPrediction。

  • top_k - マッチング時に考慮する、k 番目の最高ランクのサンプルの数。

  • distance_threshold - クエリとギャラリー間の検索陽性一致ペアの距離のしきい値 (オプション、デフォルトは 25)。

• spearman_correlation_coef - ゴールド・スタンダード・ラベルと比較してスピアマン順位相関を計算することで、埋め込みの類似性を評価します。サポートされる表現: SentenceSimilarityAnnotation、ReidentificationPrediction。スピアマンの順位相関係数は、2 つの値セット間の関係の単調性を示すノンパラメトリックな尺度です。他の相関係数と同様に、この相関係数は -1 から +1 の間で変化し、0 は相関がないことを意味します。-1 または +1 の相関は、正確な単調関係を意味します。正の相関は、x が増加すると y も増加することを意味します。負の相関は、x が増加すると y が減少することを意味します。

  • similarity_distance - エンベディング間の距離を計算するためのアプローチ、サポートされている方法: cosine - コサイン距離、manhattan - マンハッタン距離、euclidian - ユークリッド距離、dot_product - エンベディング・ベクトル間のドット積。

• pearson_correlation_coef - ゴールド・スタンダード・ラベルと比較してピアソン順位相関を計算することにより、埋め込みの類似性を評価します。サポートされる表現: SentenceSimilarityAnnotation、ReidentificationPrediction。ピアソンの順位相関係数は、2 つの値セット間の線形関係のノンパラメトリックな尺度です。他の相関係数と同様に、この相関係数は -1 から +1 の間で変化し、0 は相関がないことを意味します。-1 または +1 の相関は、正確な単調関係を意味します。正の相関は、x が増加すると y も増加することを意味します。負の相関は、x が増加すると y が減少することを意味します。

  • similarity_distance - エンベディング間の距離を計算するためのアプローチ、サポートされている方法: cosine - コサイン距離、manhattan - マンハッタン距離、euclidian - ユークリッド距離、dot_product - エンベディング・ベクトル間のドット積。

• mae - 平均絶対誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction、FeatureRegressionAnnotation、DepthEstimationAnnotation、DepthEstimationPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、BackgroundMattingAnnotation、BackgroundMattingPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• mae_on_intervals - 特定の値範囲の平均絶対誤差推定大きさ。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction。

  • intervals - 間隔境界のカンマ区切りのリスト。

  • ignore_values_not_in_interval - 間隔の最小値より小さく、最大値より大きい値に対して追加の間隔を作成できます。

  • start 、step、end - 長さ step を使用して start から end までの間隔の範囲を生成する方法。

• mse - 平均二乗誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction、FeatureRegressionAnnotation、DepthEstimationAnnotation、DepthEstimationPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、BackgroundMattingAnnotation、BackgroundMattingPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• mse_on_intervals - 特定の値範囲について推定された大きさの平均二乗誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction。

  • intervals - 間隔境界のカンマ区切りのリスト。

  • ignore_values_not_in_interval - 間隔の最小値より小さく、最大値より大きい値に対して追加の間隔を作成できます。

  • start、step、end - 長さ step を使用して start から end までの間隔の範囲を生成します。

• rmse - 二乗平均平方根誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction、FeatureRegressionAnnotation、DepthEstimationAnnotation、DepthEstimationPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、BackgroundMattingAnnotation、BackgroundMattingPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• rmse_on_intervals - 特定の値範囲に対する二乗平均平方根誤差の推定大きさ。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction。

  • intervals - 間隔境界のカンマ区切りのリスト。

  • ignore_values_not_in_interval - 間隔の最小値より小さく、最大値より大きい値に対して追加の間隔を作成できます。

  • start、step、end - 長さ step を使用して start から end までの間隔の範囲を生成します。

• mape - 平均絶対パーセント誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction、FeatureRegressionAnnotation、DepthEstimationAnnotation、DepthEstimationPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、BackgroundMattingAnnotation、BackgroundMattingPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• log10_error - 対数平均絶対誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: RegressionAnnotation、RegressionPrediction、FeatureRegressionAnnotation、DepthEstimationAnnotation、DepthEstimationPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• per_point_normed_error - ランドマークの位置の品質を測定する標準誤差。各ポイントの結果を個別に推定します。メトリックの方向は高いほど悪くなります。サポートされる表現: FacialLandmarksAnnotation、FacialLandmarksPrediction、FacialLandmarks3DAnnotation、FacialLandmarks3DPrediction。

• normed_error - ランドマークの位置の品質を測定する標準誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: FacialLandmarksAnnotation、FacialLandmarksPrediction、FacialLandmarks3DAnnotation、FacialLandmarks3DPrediction。

  • calculate_std - 標準偏差を計算できます (デフォルト値: False)。

  • percentile - 指定されたパーセンタイルのエラー率を計算します。

• nme - ランドマーク位置の測定品質の平均正規誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: FacialLandmarks3DAnnotation、FacialLandwarks3DPrediction。

  • only_2d - 2D の場合のみメトリックを評価します。

• psnr - ピーク信号対雑音比。メトリックはデシベル (db) として計算されます。メトリックの方向は高いほど良くなります。メトリック std と max_error の方向は高いほど悪くなります。サポートされる表現: SuperResolutionAnnotation、SuperResolutionPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、ImageInpaintingAnnotation、ImageInpaintingPrediction。

  • color_order - メトリック計算中に使用される色の順序 BGR または RGB を指定するフィールド (オプション。デフォルト値は RGB)、3 チャネル画像がある場合にのみ使用されます。

  • normalized_images - 画像が [0, 1] の範囲で正規化されているかどうか。オプションであり、デフォルトは False。

  • scale_border - スケールボーダー - 画像の高さと幅から切り取るピクセル数。オプション、デフォルト値は 4 です。

  • unweighted_average - グレースケール画像と同様にメトリックが計算されるかどうか (3 チャネル画像はデフォルトで R、G、B チャネルの加重平均を使用します)。オプション、デフォルト値は ‘False’ です。

• psnr-b - ブロックされた効果係数によるピーク信号対雑音比。メトリックはデシベル (db) として計算されます。メトリックの方向は高いほど良くなります。メトリック std と max_error の方向は高いほど悪くなります。サポートされる表現: SuperResolutionAnnotation、SuperResolutionPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、ImageInpaintingAnnotation、ImageInpaintingPrediction。

  • color_order - メトリック計算中に使用される色の順序 BGR または RGB を指定するフィールド (オプション。デフォルト値は RGB)、3 チャネル画像がある場合にのみ使用されます。

  • normalized_images - 画像が [0, 1] の範囲で正規化されているかどうか。オプションであり、デフォルトは False。

  • block_size - ブロックされた効果係数のブロックサイズ。オプションであり、デフォルトは 8。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• vif - 視覚情報の忠実度。メトリックの方向は高いほど良くなります。メトリック std と max_error の方向は高いほど悪くなります。サポートされる表現: SuperResolutionAnnotation、ImageInpaintingAnnotation、ImageProcessingAnnotation、StyleTransferAnnotation、SuperResolutionPrediction、ImageInpaintingPrediction、ImageProcessingPrediction、StyleTransferPrediction。

  • sigma_nsq - 視覚的なノイズの分散 (デフォルト = 2)。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• lpips - 知覚画像パッチの類似性を学習しました。メトリックの方向は高いほど悪くなります。サポートされる表現: SuperResolutionAnnotation、SuperResolutionPrediction、ImageProcessingAnnotation、ImageProcessingPrediction、ImageInpaintingAnnotation、ImageInpaintingPrediction。** メトリックの計算には lpips パッケージのインストールが必要です。**

  • color_order - メトリック計算中に使用される色の順序 BGR または RGB を指定するフィールド (オプション。デフォルト値は RGB)、3 チャネル画像がある場合にのみ使用されます。

  • normalized_images - 画像が [0, 1] の範囲で正規化されているかどうか。オプションであり、デフォルトは False。

  • net - 知覚損失計算用のネットワーク。サポートされるモデル: alex - AlexNet 用、vgg - VGG16 用、squeeze - SqueezeNet1.1 用。オプションであり、デフォルトは alex。

  • distance_threshold - より長い距離で画像比率を取得する距離しきい値。オプションで、指定しない場合、この係数は計算されません。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• ssim - 構造の類似性。メトリックの方向は高いほど良くなります。メトリック std と max_error の方向は高いほど悪くなります。サポートされる表現: ImageProcessingAnnotation、ImageProcessingPrediction、ImageInpaintingAnnotation、ImageInpaintingPrediction、SuperResolutionAnnotation、SuperResolutionPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• angle_error - 視線推定のための平均角度誤差と角度誤差の標準偏差。メトリックの方向は高いほど悪くなります。サポートされる表現: GazeVectorAnnotation、GazeVectorPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• relative_l2_error - アノテーション値の L2 ノルムで正規化された、アノテーションと予測の差の L2 ノルムのように定義された平均相対誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: FeatureRegressionAnnotation、RegressionPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• multi_accuracy - マルチラベル認識タスクの精度。メトリックの方向は高いほど良くなります。サポートされる表現: MultiLabelRecognitionAnnotation、MultiLabelRecognitionPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • calculate_average - 平均精度を計算できます (デフォルト値: True)。

• multi_precision - マルチラベル認識の精度メトリック。メトリックの方向は高いほど良くなります。サポートされる表現: MultiLabelRecognitionAnnotation、MultiLabelRecognitionPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • calculate_average - 平均精度を計算 (デフォルト値: True)。

• multi_recall - マルチラベル認識のリコールメトリック。メトリックの方向は高いほど良くなります。サポートされる表現: MultiLabelRecognitionAnnotation、MultiLabelRecognitionPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • calculate_average - 平均再現率を計算 (デフォルト値: True)。

• f1_score - マルチラベル認識の F スコア メトリック。メトリックの方向は高いほど良くなります。サポートされる表現: MultiLabelRecognitionAnnotation、MultiLabelRecognitionPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

  • calculate_average - 平均 F スコアの計算を許可します (デフォルト値: True)。

• focused_text_hmean - ロバスト・リーディング・コンペティション・チャレンジ 2 で導入された、集中シーンのテキスト検出タスクの精度と再現率の調和平均。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction、DetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • area_precision_constrain - 予測ポリゴンがアノテーションと一致すると判断できる精度の最小値。

  • area_recall_constrain - 予測ポリゴンがアノテーションと一致すると判断できる再現率の最小値。

  • center_diff_threshold - 予測されたテキスト領域の中心とグランドトゥルースの間の許容可能な差。

  • one_to_one_match_score - 1 対 1 の一致結果の重み (オプション、デフォルトは 1)。

  • one_to_many_match_score - 1 対多の一致結果の重み (オプション、デフォルトは 0.8)。

  • many_to_one_match_score - 多対 1 の一致結果の重み (オプション、デフォルトは 1)。

• focused_text_precision - ロバスト・リーディング・コンペティション・チャレンジ 2 で導入された、集中シーンのテキスト検出タスクの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction、DetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • area_precision_constrain - 予測ポリゴンがアノテーションと一致すると判断できる精度の最小値。

  • area_recall_constrain - 予測ポリゴンがアノテーションと一致すると判断できる再現率の最小値。

  • center_diff_threshold - 予測されたテキスト領域の中心とグランドトゥルースの間の許容可能な差。

  • one_to_one_match_score - 1 対 1 の一致結果の重み (オプション、デフォルトは 1)。

  • one_to_many_match_score - 1 対多の一致結果の重み (オプション、デフォルトは 0.8)。

  • many_to_one_match_score - 多対 1 の一致結果の重み (オプション、デフォルトは 1)。

• focused_text_recall - ロバスト・リーディング・コンペティション・チャレンジ 2 で導入された、集中シーンのテキスト検出タスクのリコール。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction、DetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • area_precision_constrain - 予測ポリゴンがアノテーションと一致すると判断できる精度の最小値。

  • area_recall_constrain - 予測ポリゴンがアノテーションと一致すると判断できる再現率の最小値。

  • center_diff_threshold - 予測されたテキスト領域の中心とグランドトゥルースの間の許容可能な差。

  • one_to_one_match_score - 1 対 1 の一致結果の重み (オプション、デフォルトは 1)。

  • one_to_many_match_score - 1 対多の一致結果の重み (オプション、デフォルトは 0.8)。

  • many_to_one_match_score - 多対 1 の一致結果の重み (オプション、デフォルトは 1)。

• incidental_text_hmean - ロバスト・リーディング・コンペティション・チャレンジ 4 で導入された、付随シーンのテキスト検出タスクの精度と再現率の調和平均。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • iou_constrain - 予測ポリゴンが真陽性であるとの決定を可能にする和集合上の最小値。

  • area_precision_constrain - 予測ポリゴンが無視されたアノテーションと一致すると判断できる精度の最小値。

• incidental_text_precision - ロバスト・リーディング・コンペティション・チャレンジ 4 で導入された、付随シーンのテキスト検出タスクの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • iou_constrain - 予測ポリゴンが真陽性であるとの決定を可能にする和集合上の最小値。

  • area_precision_constrain - 予測ポリゴンが無視されたアノテーションと一致すると判断できる精度の最小値。

• incidental_text_recall - ロバスト・リーディング・コンペティション・チャレンジ 4 で導入された偶発的シーンのテキスト検出タスクのリコール。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: TextDetectionAnnotation、TextDetectionPrediction。

  • ignore_difficult - メトリック計算において、困難なグラウンド・トゥルース・テキスト・ポリゴンを無視できます。

  • iou_constrain - 予測ポリゴンが真陽性であるとの決定を可能にする和集合上の最小値。

  • area_precision_constrain - 予測ポリゴンが無視されたアノテーションと一致すると判断できる精度の最小値。

• coco_precision - MS COCO キーポイント認識およびオブジェクト検出タスクの平均精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PoseEstimationAnnotation、PoseEstimationPrediction、DetectionAnnotation、DetectionPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• coco_recall - MS COCO キーポイント認識およびオブジェクト検出タスクの平均再現率メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PoseEstimationAnnotation、PoseEstimationPrediction、DetectionAnnotation、DetectionPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• coco_keypoints_precision - MS COCO キーポイント認識タスクの平均精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PoseEstimationAnnotation、PoseEstimationPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• coco_keypoints_recall - MS COCO キーポイント認識タスクの平均再現率メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PoseEstimationAnnotation、PoseEstimationPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• coco_segm_precision - MS COCO インスタンスのセグメント化タスクの平均精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: CoCoInstanceSegmentationAnnotation、CoCoInstanceSegmentationPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• coco_segm_recall - MS COCO インスタンスのセグメント化タスクの平均再現率メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: CoCoInstanceSegmentationAnnotation、CoCoInstanceSegmentationPrediction。

  • max_detections - 画像ごとの予測結果の最大数。さらに多くの予測がある場合、信頼度が最小の結果は無視されます。

  • threshold - 交差が和集合のしきい値を超えています。単一の値、またはカンマで区切った値の範囲を指定できます。このパラメーターは、標準 COCO しきい値 (.5、.75、.5:.05:.95) の事前計算値をサポートします。

• hit_ratio - 推奨システムを評価するためのメトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: HitRatioAnnotation、HitRatioPrediction。

  • top_k ランクリスト内の数値要素の定義 (オプションであり、デフォルトは 10)。

• ndcg - 正規化された割引累積ゲイン。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: HitRatioAnnotation、HitRatioPrediction。

  • top_k ランクリスト内の数値要素の定義 (オプションであり、デフォルトは 10)。

• dice - ソーレンセン – サイコロ係数。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BrainTumorSegmentationAnnotation, BrainTumorSegmentationPrediction。

• dice_index - ソーレンセン – サイコロ係数。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BrainTumorSegmentationAnnotation, BrainTumorSegmentationPrediction、SegmentationAnnotation, SegmentationPrediction。複数のクラスの結果表現をサポートします。メトリックは、使用されたデータセットの label_map が提供されている場合は各クラスの結果を表し、それ以外は全体の結果を表します。labels_file タグにラベルが設定された brats_numpy コンバーターファイルの場合。

  • mean - 平均値の計算を許可します (デフォルト - True)。

  • median - 中央値の計算を許可します (デフォルト - False)。

• dice_unet3d - ソーレンセン – サイコロ係数。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BrainTumorSegmentationAnnotation, BrainTumorSegmentationPrediction。範囲 (0、1、2、3) のラベルを持つ brats データでトレーニングされたモデルに適用されます。このメトリックは dice_index と似ていますが、静的に定義された 3 つのラベルのデータを表す点が異なるだけです。1) whole tumor - データセットのラベル (1、2、3) の集計データ。2) tumor core - データセットのラベル (2、3) の集計データ。3) enhancing tumor - データセットのラベル (3) のデータ。

  • mean - 平均値の計算を許可します (デフォルト - True)。

  • median - 中央値の計算を許可します (デフォルト - False)。

• dice_oar3d - ソーレンセン – サイコロ係数。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: OAR3DTilingSegmentationAnnotation, SegmentationPrediction。

• bleu - バイリンガル評価アンダースタディー。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: MachineTranslationAnnotation、MachineTranslationPrediction。

  • smooth - Lin および他を適用するかどうか。2004 平滑化 (オプション、デフォルトは False)。

  • max_order - BLEU スコアの計算に使用する最大 n-gram 次数。(オプション、デフォルトは 4)。

  • smooth_method - 使用するスムージング方法。サポートされる値: exp、floor、add-k、none (オプション。デフォルト値は exp が smooth な場合は有効、そうでない場合は none)。

  • smooth_value - floor または add-k 平滑化メソッドの平滑化の値。(オプション。特定の平滑化方法が選択されている場合にのみ適用されます。デフォルト値は、floor 法と add-k 法でそれぞれ 0 または 1)。

  • lower_case - アノテーションと予測トークンを小文字に変換します (オプション、デフォルトは False)。

• f1 - 質問応答タスクの F1 スコア。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: QuestionAnsweringAnnotation、QuestionAnsweringPrediction。

• exact_match - 質問応答タスクの完全一致 (EM) メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: QuestionAnsweringAnnotation、QuestionAnsweringPrediction。

• qa_embedding_accuracy - 質問とコンテキストの埋め込みの比較によって解決される、質問応答タスクの適切なコンテキスト検出精度メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: QuestionAnsweringEmbeddingAnnotation、QuestionAnsweringEmbeddingPrediction。

• ner_accuracy - 固有表現認識タスクに使用されるトークンレベルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BERTNamedEntityRecognitionAnnotation、SequenceClassificationAnnotation、SequenceClassificationPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• ner_recall - 固有表現認識タスクに使用されるトークンレベルのリコール。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BERTNamedEntityRecognitionAnnotation、SequenceClassificationAnnotation、SequenceClassificationPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• ner_precision - 固有表現認識タスクのトークンレベルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BERTNamedEntityRecognitionAnnotation、SequenceClassificationAnnotation、SequenceClassificationPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• ner_f_score - 固有表現認識タスクに使用されるトークンレベルの F スコア。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: BERTNamedEntityRecognitionAnnotation、SequenceClassificationAnnotation、SequenceClassificationPrediction。

  • label_map - データセットのラベルマップを含むアノテーション・メタデータ内のフィールド (デフォルトと異なる場合はオプションとして指定する必要があります)。

• mpjpe_multiperson - 関節位置ごとの平均誤差が複数人に拡張されました。メトリックはミリメートル (mm) として計算されます。メトリックの方向は高いほど悪くなります。サポートされる表現: PoseEstimation3dAnnotation、PoseEstimation3dPrediction。最初のステップとして、グラウンドトゥルースと予測スケルトンの間の対応が各画像に対して確立されます。次に、MPJPE がグラウンドトゥルースと予測のペアごとに計算されます。誤差は各フレームのポーズで平均化され、次にすべてのフレームで平均化されます。

• face_recognition_tafa_pair_metric - 埋め込み値のドット積に基づく顔認識モデルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationAnnotation、ReIdentificationPrediction。

  • threshold - 一致する顔のペアとして識別する埋め込みの最小内積値。

• youtube_faces_accuracy - グラウンドトゥルース境界ボックスとモデル検出境界ボックスの IOU 値に基づいて計算された顔検出モデルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DetectionAnnotation、DetectionPrediction。

  • overlap - 真陽性の候補の顔として考慮される最小 IOU しきい値。

  • relative_size - 検出された顔候補の領域のサイズは、グラウンドトゥルースの顔サイズに比例します。この値は、IOU が高くても、顔のサイズがグラウンドトゥルースの顔サイズよりも相対的に小さい候補をフィルタリングするために設定されます。

• normalized_embedding_accuracy - 埋め込み値の正規化された内積に基づく再識別モデルの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: ReIdentificationAnnotation、ReIdentificationPrediction。

  • top_k - 最も確率が高い人の数。予測の正当性を判断するために使用されます。

• attribute_accuracy - 属性分類モデルにおける属性の精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされている表現: ClassificationAnnotation を使用した ContainerAnnotation と、ClassificationPrediction を使用した ContainerPrediction。

  • attributes: 属性の名前。

  • calculate_average - 平均精度を計算できます (デフォルト値: True)。

• attribute_recall - 属性分類モデルの属性を再現します。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされている表現: ClassificationAnnotation を使用した ContainerAnnotation と、ClassificationPrediction を使用した ContainerPrediction。

  • attributes: 属性の名前。

  • calculate_average - 平均再現率を計算 (デフォルト値: True)。

• attribute_precision - 属性分類モデルにおける属性の精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされている表現: ClassificationAnnotation を使用した ContainerAnnotation と、ClassificationPrediction を使用した ContainerPrediction。

  • attributes: 属性の名前。

  • calculate_average - 平均精度を計算 (デフォルト値: True)。

• wer - ワードエラー率 (WER)。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど悪くなります。サポートされる表現: CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

• cer - 文字エラー率。WER の文字レベルに相当します。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど悪くなります。サポートされる表現: CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

• ser - 文誤り率 (SER) は、翻訳が参照文と正確に一致していない文の割合を示します。メトリックの方向は高いほど悪くなります。サポートされる表現: CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

• score_class_comparison - 品質スコアクラス (低/標準/良好) の精度を計算できます。アノテーションと予測からのすべての品質スコアをソートし、k1 の最高スコアを高クラスとして設定し、k2 の最低スコアを低クラスとして設定します。ここで、k1 は num_high_quality 、k2 は num_low_quality です。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: QualityAssessmentAnnotation、QualityAssessmentPrediction。

  • num_high_quality - ハイクラスの合計数 (デフォルト値: 1)。

  • num_low_quality - ロークラスの合計数 (デフォルト値: 1)。

• im2latex_images_match - このメトリックは、CharacterRecognitionAnnotation および CharacterRecognitionPrediction 形式で式を取得し、指定されたテキストに基づいて、この式を使用して画像をレンダリングします。次に、対応する 2 つの式ごとに画像が比較されます。結果の精度は、同等の式のパーセントです。メトリックの方向は高いほど良くなります。

  注: このメトリックには、texlive および imagemagick パッケージがインストールされている必要があります。Linux* では次の方法で実行できます: sudo apt-get update && apt-get install texlive imagemagick

• pckh - ヘッドサイズによって正規化された正しいキーポイントの割合。予測されたジョイントと実際のジョイントの間の距離が特定のしきい値以内にある場合、検出されたジョイントは正しいと見なされます。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: PoseEstimationAnnotation、PoseEstimationPrediction。

  • threshold - 距離のしきい値 (オプションであり、デフォルトは 0.5)。

  • scale_bias - スケール・ヘッド・サイズのバイアス (オプションであり、デフォルトは 0.6)。

• dna_seq_accuracy - DNA シーケンスタスクの精度。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: DNASequenceAnnotation、DNASequencePrediction、CharacterRecognitionAnnotation、CharacterRecognitionPrediction。

  • min_coverage - 予測配列と陽性測定の基準との間の最小配列カバレッジ (オプション、デフォルトは 0.5)。

  • balansed - バランスの取れた精度メトリック (オプション、デフォルトは false)。

• inception_score - GAN モデルによって生成された画像のインセプション・スコア。メトリックの方向は高いほど悪くなります。サポートされる表現: ImageProcessingAnnotation、ImageProcessingPrediction。

  • eps - epsilon は、メトリックのログを計算する際に nan を回避します。

  • length - メトリックの入力特徴ベクトルの長さ。

• fid - フレシェ開始距離は、合成画像と実際の画像の分布間の距離を測定します。メトリックの方向は高いほど悪くなります。サポートされる表現: ImageProcessingAnnotation、ImageProcessingPrediction。

  • eps - epsilon は、メトリックの sqrtm を計算する際に nan を回避します。

  • length - メトリックの入力特徴ベクトルの長さ。

• epe - オプティカル・フロー推定タスクの平均エンド・ポイント・エラー (EPE) メトリック。グラウンドトゥルースと予測フローの間のユークリッド距離として定義されます。メトリックの方向は高いほど悪くなります。サポートされる表現: OpticalFlowAnnotation、OpticalFlowPrediction。

  • max_error - 範囲内の最大誤差を計算できます。オプションであり、デフォルトは False。

• salience_mae - 顕著な物体検出タスクの平均絶対誤差。メトリックの方向は高いほど悪くなります。サポートされる表現: SalientRegionAnnotation、SalientRegionPrediction。

• salience_f-measure - 顕著な物体検出タスクの f 測定メトリック。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SalientRegionAnnotation、SalientRegionPrediction。

• salience_e-measure - 顕著な物体検出タスクのための強化された位置合わせ測定。論文で定義されています。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SalientRegionAnnotation、SalientRegionPrediction。

• salience_s-measure - 顕著な物体検出タスクの類似性尺度。論文で定義されています。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど良くなります。サポートされる表現: SalientRegionAnnotation、SalientRegionPrediction。

• sisdr - スケール不変の信号対歪み比が論文で説明されています。メトリックはデシベル (db) として計算されます。メトリックの方向は高いほど良くなります。メトリック std の方向は高いほど悪くなります。サポートされる表現: NoiseSuppressionAnnotation、NoiseSuppressionPrediction。

  • delay - リファレンスとの位置合わせのため遅延によって出力をシフトします (オプションであり、デフォルトは 0)。

• normalised_quantile_loss - 時系列予測モデルを評価するための q-risk 正規化分位損失。メトリックの方向は高いほど悪くなります。サポートされる表現: TimeSeriesForecastingAnnotation、TimeSeriesForecastingQuantilesPrediction。

• log_loss - 確率に基づく分類メトリック。メトリックの方向は高いほど悪くなります。サポートされる表現: HitRatioAnnotation、HitRatioPrediction。

• perplexity - 確率分布または確率モデルがサンプルをどの程度正確に予測するかを示す測定値。メトリックはパーセンテージとして計算されます。メトリックの方向は高いほど悪くなります。サポートされる表現: LanguageModelingAnnotation、LanguageModelingPrediction。

• clip_score - テキストと画像の類似性の指標である CLIP スコアを計算します。スコアは 0 ～ 100 の間であり、100 に近いほど優れています。

  • clip_model_name - 使用する CLIP モデルのバージョンを示す文字列 (デフォルトは openai/clip-vit-base-patch16)。以下のモデルが利用できます。

    • openai/clip-vit-base-patch16

    • openai/clip-vit-base-patch32

    • openai/clip-vit-large-patch14-336

    • openai/clip-vit-large-patch14

  • normalized_image - 正規化された [0, 1] の範囲で画像を生成した識別子。

  • channel_order - 生成された画像がどのチャネルの順序で持つかを示す識別子 (RGB または BGR)。

メトリックのプロファイル

精度チェッカーは、各データ・オブジェクトのメトリック計算を理解するのに必要な詳細情報の提供をサポートします。この機能はデバッグに役立ちます。この動作を有効にするには、精度チェッカーのコマンドラインで --profile True を指定する必要があります。さらに、プロファイル結果を保存するディレクトリー --profiler_logs_dir を指定し、--profile_report_type でデータ形式を csv (概要) と json(詳細) の間で選択できます。

サポートされるプロファイル・メトリック:

• 分類:

  • accuracy

  • accuracy_per_class

  • classification_f1-score

  • metthews_correlation_coef

  • multi_accuracy

  • multi_recall

  • multi_precision

  • f1-score

• 回帰:

  • mae

  • mse

  • rmse

  • mae_on_interval

  • mse_on_interval

  • rmse_on_interval

  • angle_error

  • psnr

  • ssim

  • normed_error

  • per_point_normed_error

• オブジェクト検出:

  • map

  • recall

  • miss_rate

  • coco_precision

  • coco_recall

• セマンティックのセグメント化:

  • segmentation_accuracy

  • mean_iou

  • mean_accuracy

  • frequency_weighted_accuracy

• インスタンス・セグメント化モデル:

  • coco_orig_segm_precision

• GAN:

  • inception_score

  • fid

• 背景マット:

  • mad

  • spatial_gradient

  • mse_with_mask