2015 年は、8 月の第一週に夏休みをとることにしました。が、急遽 Xeon Phi のマシンが必要になり、オフィスというか自宅用に一台工作をしてみました。Xeon Phi のマシンといえば、サーバーやワークステーション筐体の重くてうるさいやつが大半ですが、自宅用にはまったく不向きなので、古い ATX フォームファクターのデスクトップマシン用のケースを流用することにしました。
使ったケース Abee の 430T は、すでに生産中止ですが、ATX ケースとしてはまだまだ流用できます。もともとこのケースに入っていたマザーボードは、micro-ATX の SandyBridge 用 ASUS P8P67-M ですが、このマザーボードをはじめとしてデスクトップ用のマザーボードには Xeon Phi を装着できないので、新たなボードを導入しました（追記参照）。
Xeon Phi を装着するには、マザーボードと BIOS が以下の条件を満たしている必要があります。
- システム上の各コプロセッサーに対する Double-wide x16 PCI Express スロット
- BIOS による ４GB 以上のメモリーマップド I/O アドレス範囲のサポート
要求事項 (1) にはほとんどのマザーボードが対応していますが、(2) が最も重要な機能です。デスクトップ用のマザーボードの BIOS にある、「32ビット OS で 4G バイト以上のアドレス空間を使用する」という機能とは別ですので注意が必要です。「Above 4G Decoding」という機能が備わっていなければいけません。で、この機能をサポートするマザーボードを各社の Web サイトにあるマニュアルで探したところ、Socket 2011 系のマザーボードしか見つかりませんでした。
そこで今回選択したマザーボードは、ASUS の X99 Pro USB3.1 という Socket 2011-v3 対応の製品です。フォームファクターは ATX ですので前述のケースにぴったり収まります。
古いケースを流用する時点で判明していたことは、
- 「Above 4G Decoding」に対応するマザーボードに交換
- デスクトップ用の 450W 電源では容量不足なので、1000W クラスの電源に交換
- ケース内部の冷却風量が足りないので工夫が必要
電源は、ENERMAX PLATIMAX 1350W EPM1350EWT にしました。これは水冷の CPU クーラーがバンドルされているので好都合 (Socket 2011-v3 用の Core i7 5820K にはヒートシンクが付属していないので、別途導入する必要があります)。
対応するプロセッサーとメモリーを装着して、ケースに収め動作確認します。240G バイトの SSD を 2 台装着し、それぞれ CentOS 7.0 と Windows 7 SP1 64 ビットをインストールします。ブートマネージャを使ったデュアルブートは、後々 SSD を入れ替えるのが大変なので、BIOS のクイックブートで切り替えるようにしています。Xeon Phi を装着する前に、マザーボードの BIOS を最新のものに書き換えて、BIOS 設定で「Above 4G Decoding」を「有効」にします。この機能を「有効」にしないで、Xeon Phi を装着するとシステムが起動しません。また、Xeon Phi 装着後 BIOS をアップデートすると「Above 4G Decoding」の設定が「無効」に戻ってしまい、同様に起動できなくなることがあります。
Xeon Phi を入れてみたところ、2 スロットのグラフィックカード (古い ATI RADEON HD4850 180W) の冷却ファンとぴったりくっついてしまい、冷却に悪そう。
急遽、1 スロットのロープロファイルのグラフィックカード、ELSA NVIDIA Quadro K420 (41W) に入れ替えました。
これで Xeon Phi の表と裏に隙間ができた。写真右にある吸入 FAN は、もともとケースについていた風量 43.8CFM のものでは追いつかないので、オウルテックの PWM ファン (最大風量 99CFM) に入れ替えてあります。また、左下にある銀色の箱はグラフィックカード冷却用の排気 FAN で、こちらもオウルテックの FAN に交換しています。冷却対策後は、Xeon Phi がアイドル状態の温度が 5 – 6 度低くなりました。
後は、Linux 環境と Windows 環境で MPSS のインストールを行い、Xeon Phi カードをセットアップします。セットアップ後カードの動作を確認します。ちなみに Xeon Phi は Intel® Xeon Phi™ Coprocessor 3120A (6GB, 1.10GHz, 57 core) です。この製品はアクティブ FAN が付いたものですが、今回組み上げたマシン環境ではパッシブ型の 7100 や 5100 ファミリーではもっと冷却を工夫しないと動作は難しいかもしれません。
今回導入したマザーボードは、Windows 環境から FAN コントロールができるので Xeon Phi の負荷が少ないときは手動で、FAN を静音モードにできます (上図の画面右下のアイコン)。
カードに負荷を駆けて、175 ワットの電力消費時に Xeon Phi コプロセッサーの温度を 68℃ 程度に保つことができました。あくまで自宅環境ですので周辺温度に影響されます…。これで、デスクトップ用の ATX ケースでも Xeon Phi を十分に評価できることが分かりました。あ、もちろん軽いので、一人で腰も傷めず持ち上げられます。
現在の推定される大雑把な最大消費電力：
Core i7 5820K 140WELSA NVIDIA Quadro K420 41W
Xeon Phi 3120A 300W
SSD 165mW x 2
FAN 類 15W
マザーボード 不明 (100W ～ 200W)
電力にはまだ余裕があるので、次のステップはもう一枚 Xeon Phi カードを装着することです！！
注) Linux 環境では OS から FAN コントロールできないのでうるさいかもしれません。ASUS の X99 Pro USB3.1 には、温度センサー端子が装備されているので、Xeon Phi の温度をセンスして FAN を制御することもできるでしょう。
追記：ASUS の Devil’s Canyon 用マザーボード H97I-PLUS を最新の BIOS (2604) に更新したところ、Above 4G decoging (4G 以上のアドレスをでコード) がサポートされていました。これならデスクトップ用のマザーボードでも行けるかもしれません。Haswell 用の H87I-PLUS ではサポートされていません。
同じく ASUS の最新マザーボード Z170-M PLUS などでは、初期リリースの BIOS でサポートされているようです。表記が Above 4G MMIO BIOS assigment に変更されています。この項目は、通常 BIOS の [Boot menu] にあります。
追記の追記：ASUS の Z170-M PLUS を入手してみたところ、マニュアルには「Above 4G MMIO BIOS assigment 」が記載されているのですが、実際の BIOS を起動してみると表示されませんでした。BIOS のレビジョンは、0219 と 0223 で試しました。ASUS 様に問い合わせ中です。
