smartlab-sequence-modelling-0002

ユースケースと概要説明

これは、インテルのデータセットでトレーニングされた 13 クラスのオンライン・アクション・セグメント化ネットワークです。MSTCN++ のオンラインバージョンです。オンラインの MSTCN++ と MSTCN++ の違いは、前者はストリームビデオを入力として受け入れるのに対し、後者はビデオ全体が与えられることを想定していることです。

オリジナルの MSTCN++ モデルの詳細については、論文を参照してください。

仕様

メトリック

値

GOPs

0.048915

MParams

1.018179

ソース・フレームワーク

PyTorch*

精度

Accuracy noise/background remove_support_sleeve adjust_rider adjust_nut adjust_balancing open_box close_box choose_weight put_left put_right take_left take_right install support_sleeve mean mPR (P+R)/2
frame-level precision 0.44 0.68 0.82 0.56 0.7 0.74 0.79 0.63 0.59 0.66 0.74 0.82 0.91 0.7 0.68
recall 0.63 0.94 0.88 0.07 0.64 0.91 0.62 0.54 0.61 0.65 0.67 0.51 0.95 0.66

注: 精度レポートでは、特徴抽出ネットワークは mobilenet-v3 (smartlab-sequence-modelling-0001) であり、このモデルは omz_models_model_smartlab_sequence_modelling_0001.md から取得できます。トレーニングとテストのデータセットは内部のものです。

入力

ネットワークへの入力は、各ビデオフレームの特徴ベクトルです。これは、特徴抽出ネットワークの 2 つのビュー (上面図と側面図) の出力 (例えば、smartlab-sequence-modelling-0001) と、前のフレームの特徴出力の組み合わせである必要があります。

Smartlab-sequence-modelling-0001 と Smartlab-sequence-modelling-0002 の使用状況は、demos/smartlab_demo で確認できます。

  1. 入力特徴、名前: input、形状: 1, 1152, 24、形式: B, W, H。

    説明:

    • B - バッチサイズ

    • W - 特徴マップの幅

    • H - 特徴マップの高さ

  2. 履歴特徴 1、名前: fhis_in_0、形状: 12, 64, 2048、形式: C, H', W。

  3. 履歴特徴 2、名前: fhis_in_1、形状: 11, 64, 2048、形式: C, H', W。

  4. 履歴特徴 3、名前: fhis_in_2、形状: 11, 64, 2048、形式: C, H', W。

  5. 履歴特徴 4、名前: fhis_in_3、形状: 11, 64, 2048、形式: C, H', W。

    • C - 特徴ベクトルのチャネル番号

    • H - 特徴マップの高さ

    • W - 特徴マップの幅

出力

出力には 2 つの部分も含まれます: 予測と 4 つの特徴出力。予測は、アクションの分類と予測結果です。4 つの特徴マップは、過去のフレームのモデルレイヤーの特徴です。

  1. 精度、名前: output、形状: 4, 1, 56, 24、形式: C, B, H, W。

    • C - 特徴ベクトルのチャネル番号

    • B - バッチサイズ

    • H - 特徴マップの高さ

    • W - 特徴マップの幅 argmax() 関数による後処理の後、予測結果を使用して現在のフレームのアクションタイプを決定できます。

  2. 履歴特徴 1、名前: fhis_out_0、形状: 12, 64, 2048、形式: C, H, W。

  3. 履歴特徴 2、名前: fhis_out_1、形状: 11, 64, 2048、形式: C, H, W。

  4. 履歴特徴 3、名前: fhis_out_2、形状: 11, 64, 2048、形式: C, H, W。

  5. 履歴特徴 4、名前: fhis_out_3、形状: 11, 64, 2048、形式: C, H, W。

    • C - 特徴ベクトルのチャネル番号

    • H - 特徴マップの高さ

    • W - 特徴マップの幅