OpenVINO™ を使用した手書き中国語と日本語の OCR#

from collections import namedtuple 
from itertools import groupby 

import cv2 
import matplotlib.pyplot as plt 
import numpy as np 
import openvino as ov 

# `notebook_utils` モジュールを取得 
import requests 

r = requests.get( 

url="https://raw.githubusercontent.com/openvinotoolkit/openvino_notebooks/latest/utils/notebook_utils.py", 
) 

open("notebook_utils.py", "w").write(r.text) 
from notebook_utils import download_file

# データが配置されるディレクトリー 
base_models_dir = "models" 
data_folder = "data" 
charlist_folder = f"{data_folder}/text" 

# モデルで使用される精度 
precision = "FP16"

Language = namedtuple(typename="Language", field_names=["model_name", "charlist_name", "demo_image_name"]) 
chinese_files = Language( 
    model_name="handwritten-simplified-chinese-recognition-0001", 
    charlist_name="chinese_charlist.txt", 
    demo_image_name="handwritten_chinese_test.jpg", 
) 
japanese_files = Language( 
    model_name="handwritten-japanese-recognition-0001", 
    charlist_name="japanese_charlist.txt", 
    demo_image_name="handwritten_japanese_test.png", 
)

# language="chinese" または language="japanese" のいずれかをの言語を選択 
language = "chinese" 

languages = {"chinese": chinese_files, "japanese": japanese_files} 

selected_language = languages.get(language)

path_to_model = download_file( 

url=f"https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/{selected_language.model_name}/{precision}/{selected_language.model_name}.xml", 
    directory=base_models_dir, 
) 
_ = download_file( 

url=f"https://storage.openvinotoolkit.org/repositories/open_model_zoo/2023.0/models_bin/1/{selected_language.model_name}/{precision}/{selected_language.model_name}.bin", 
    directory=base_models_dir, 
)

core = ov.Core() 
model = core.read_model(model=path_to_model)

import ipywidgets as widgets 

device = widgets.Dropdown( 
    options=core.available_devices + ["AUTO"], 
    value="AUTO", 
    description="Device:", 
    disabled=False, 
) 

device

compiled_model = core.compile_model(model=model, device_name=device.value)

recognition_output_layer = compiled_model.output(0) 
recognition_input_layer = compiled_model.input(0)

# 選択したモデルに基づいて、openvino_notebooks ストレージからイメージをダウンロード 
file_name = download_file( 
    "https://storage.openvinotoolkit.org/repositories/openvino_notebooks/data/data/image/" + selected_language.demo_image_name, 
    directory=data_folder, 
) 

# テキスト検出モデルでは、グレースケール形式の画像が必要
# 重要: このモデルでは、一度に 1 行のみを読み取ることができます

# 画像を読み取り 
image = cv2.imread(filename=str(file_name), flags=cv2.IMREAD_GRAYSCALE) 

# 形状を取得 
image_height, _ = image.shape 

# B,C,H,W = バッチサイズ、チャネル数、高さ、幅。_, _, H, W = recognition_input_layer.shape 

# 入力された画像の高さと高さの間のスケール比を計算して、画像のサイズを変更 
scale_ratio = H / image_height 

# 予想される入力サイズに合わせて画像のサイズを変更 
resized_image = cv2.resize(image, None, fx=scale_ratio, fy=scale_ratio, interpolation=cv2.INTER_AREA) 

# アスペクト比を変更せずに、入力サイズに合わせて画像をパディング 
resized_image = np.pad(resized_image, ((0, 0), (0, W - resized_image.shape[1])), mode="edge") 

# ネットワーク入力に合わせて形状を変更 
input_image = resized_image[None, None, :, :]

plt.figure(figsize=(20, 1)) 
plt.axis("off") 
plt.imshow(resized_image, cmap="gray", vmin=0, vmax=255);

# 選択したモデルに基づいて、openvino_notebooks ストレージからイメージをダウンロード 
used_charlist_file = download_file( 
    "https://storage.openvinotoolkit.org/repositories/openvino_notebooks/data/data/text/" + selected_language.charlist_name, 
    directory=charlist_folder, 
)

# モデルのドキュメントに基づいて、出力をエンコードする辞書を取得 
used_charlist = selected_language.charlist_name 

# どちらのモデルでも、各文字リストのインデックス 0 に空白記号が追加される必要があります 
blank_char = "~" 

with used_charlist_file.open(mode="r", encoding="utf-8") as charlist: 
    letters = blank_char + "".join(line.strip() for line in charlist)

# モデルで推論を実行 
predictions = compiled_model([input_image])[recognition_output_layer]

# 次元を削除 
predictions = np.squeeze(predictions) 

# `argmax` 関数を実行して、最も確率の高いシンボルを選択 
predictions_indexes = np.argmax(predictions, axis=1)

# CTC 貪欲デコードに必要な同時文字を削除するには、`groupby` 関数を使用 
output_text_indexes = list(groupby(predictions_indexes)) 

# グループ化オブジェクトを削除 
output_text_indexes, _ = np.transpose(output_text_indexes, (1, 0)) 

# 空白の記号を削除 
output_text_indexes = output_text_indexes[output_text_indexes != 0] 

# 出力配列のインデックスに文字を割り当て 
output_text = [letters[letter_index] for letter_index in output_text_indexes]

plt.figure(figsize=(20, 1)) 
plt.axis("off") 
plt.imshow(resized_image, cmap="gray", vmin=0, vmax=255) 

print("".join(output_text))