クライアント・アプリケーションを記述#

OpenVINO™ モデルサーバーは、TensorFlow サービスと互換性のある API セット、推論用の KServe API とテキスト生成用の OpenAPI API と互換性のある API セットの 3 つを公開します。TFS と KServe API は、どちらも gRPC インターフェイスと REST インターフェイスで動作します。OpenAI API チャット/補完エンドポイントは、ストリーミング応答の有無にかかわらず REST API 呼び出しをサポートします。複数の API をサポートすることで、推論でこれらの API の 1 つをすでに利用している OpenVINO モデルサーバーを既存のシステムに簡単に接続できるようになります。サポートされている API の詳細は以下をご覧ください:

• TensorFlow サービング gRPC API

• KServe gRPC API

• TensorFlow サービング REST API

• KServe REST API

• OpenAI チャット補完 API

• OpenAI 補完 API

このセクションでは、以下を介して OpenVINO モデルサーバーのエンドポイントと対話する短いコードサンプルを見つけることができます:

• TensorFlow サービング API

• KServe API

• OpenAI API