この記事は、インテルの The Parallel Universe Magazine 24 号に収録されている、インテル® IPP を利用した画像識別の最適化に関する章を抜粋翻訳したものです。
Tencent, Inc. は、中国におけるインターネット・サービス・ポータルの最大手です。中国最大のオンライン・ゲーム・コミュニティーと Web ポータル (qq.com) に加え、トップ 2 つのアプリケーション (WeChat*、QQ*) を所有しています。
毎日、Tencent* では WeChat*、QQ*、QQ Album* でユーザーにより生成された数十億もの画像を処理しています。人気の高いアプリケーションでは、1 日で数億もの画像がアップロード、格納、処理、そしてダウンロードされます―そのため、大量の計算リソースを必要とします。
これらの画像を管理、格納、処理するため、Tencent* は Tencent File System (TFS) を開発しました。しかし、画像サイズは圧縮しても数百ペタバイトに達します。また、爆発的な成長が続いており、クラスターは 20,000 を超えるサーバーにより構成されています。
技術背景
TFS ベースの画像処理システムは、アップロード、エンコード、ダウンロード・サービスを提供します。画像アップロードでは、異なる解像度にスケーリングし、メッセージ・ダイジェスト・アルゴリズム 5 (MD5) を用いて関連 ID を生成します。1 そして、格納用に画像を WebP* 形式に変換します。画像のダウンロード中、システムは画像の正しい読み取り位置を特定し、ユーザーが要求する形式と解像度に変換する必要があります (図 1)。
図 1. Tencent File System* の画像処理
毎秒、膨大な数の訪問者が Web サイトを訪れるため、ダウンロード・コンポーネントが誤った画像を読み取る可能性がわずかですがあります。このようなエラーを回避するには、MD5 による計算とチェックが必要です。ただし、これは非常に大きな計算ワークロードであるため、Tencent* は MD5 の計算パフォーマンスを最大限に高める必要がありました。
元々、Tencent* は Operator* OS と md5sum* ユーティリティー・ツールを使用して、各画像ファイルの MD5 値を計算していました。インテルは Tencent* のエンジニアと協力して、インテル® インテグレーテッド・パフォーマンス・プリミティブ (インテル® IPP) を利用してパフォーマンスの最適化に取り組みました。その結果、Tencent* はインテル® アーキテクチャー・ベースのプラットフォームで 2 倍のパフォーマンス向上を達成しました。
続きはこちら (PDF) からご覧いただけます。
