bert-small-uncased-whole-word-masking-squad-0001¶
ユースケースと概要説明¶
これは、Transformers ライブラリーによって提供されるオリジナルの bert-large-uncased-whole-word-masking-finetuned-squad から SQuAD v1.1 トレーニング・セットに基づいて抽出された、小規模な BERT-large に類似したモデルです。このモデルは英語の質問応答を実行します。入力は、前提とその前提に対する質問を連結したもので、出力は前提内の質問に対する回答の場所です。元のモデルの詳細については、BERT: 言語理解のためのディープ双方向トランスフォーマーの事前トレーニング、Hugging Face の トランスフォーマー: 最先端の自然言語処理を参照してください。
トークン化は、BERT トークナイザー (実装の詳細についてはデモコードを参照) と同梱されている vocab.txt
辞書ファイルを使用して行われます。入力はトークン化する前に小文字にする必要があります。
仕様¶
メトリック |
値 |
---|---|
GOps |
23.9 |
MParams |
57.94 |
ソース・フレームワーク |
PyTorch* |
精度¶
品質メトリックは、SQuAD v1.1 データセット (dev
分割) に基づいて計算されました。シーケンスの最大長は 384 で、入力は小文字です。
メトリック |
値 |
---|---|
F1 |
91.57% |
完全一致 (EM) |
85.04% |
入力¶
-
トークン ID、名前:
input_ids
、形状:1, 384
。トークン ID は、トークン化された前提と質問を表す一連の整数値です。シーケンス構造は次のとおりです ([CLS]
、[SEP]
および[PAD]
は、辞書で指定されている対応するトークン ID に置き換える必要があります):[CLS]
+ トークン化された質問 +[SEP]
+ トークン化された質問の前提 +[SEP]
+ (最大シーケンス長 384 までパディングする[PAD]
トークン)。 -
入力マスク、名前:
attention_mask
、形状:1, 384
。入力マスクは、入力内の有効な値のマスクを表す整数値です。入力の値は次と等しくなります。1
は、[CLS]
+ トークン化された質問 +[SEP]
+ トークン化された質問の前提 +input_ids
の[SEP]
部分に対応する位置 (つまり、[PAD]
トークンを含む位置を除くすべての位置)0
は、それ以外の位置
-
トークンタイプ、名前:
token_type_ids
、形状:1, 384
。トークンタイプは、input_ids
を質問と前提に分割することを表す整数値です。値は次のとおりです。1
は、質問のトークン化された前提に対応する位置 +input_ids
の[SEP]
部分0
は、それ以外の位置
[CLS]
は、質問の前に追加される特殊記号です。[SEP]
は、質問と質問の前提の間に挿入される特殊な区切り文字トークンです。[PAD]
は、指定された入力長 (384) を取得するために入力の残りを埋める特殊トークンです。
出力¶
最終出力は 2 つの 1, 384
浮動小数点値のロジットのスコアベクトルであり、ソフトマックス操作後の質問の前提における回答の開始位置と終了位置の確率になります。
-
開始位置: 名前:
output_s
、形状:1, 384
。開始位置は、開始位置の浮動小数点値のロジットスコアです。 -
終了位置: 名前:
output_e
、形状:1, 384
。終了位置は、終了位置の浮動小数点値のロジットスコアです。
デモの使い方¶
Open Model Zoo が提供する次のデモでこのモデルを使用して、その機能を確認できます。
法務上の注意書き¶
* その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。
元の bert-large-uncased-whole-word-masking-finetuned-squad
モデルは 、Apache License バージョン 2.0 に基づいて配布されている Transformers ライブラリーから取得されています。