理想的なインターコネクト規格を探る：オープンコンピューティング向けインターコネクト［後編］（1/5 ページ）

理想的なシステムインターコネクトの特性まとめ

　前編では、オープンな高性能コンピューティングのための「理想的な」効率の高いインターコネクトの特性とその基準を紹介しました。今回は、それらを踏まえて、既存のインターコネクトテクノロジを詳しく見ていきます。

　下の表は、RapidIO、Infiniband、Ethernet、PCIe（PCI Express）、独自規格の理想的なインターコネクトの特性を示しています。

　それでは、各規格について詳しく見ていきましょう。

PCI Express

　何年もの間、PCI Express（PCIe）とその前身がデバイス接続の主力規格の1つでした。自由に使用可能なPCI Ex-press仕様とPCI Special Interest Groupの相互運用性へのコミットメントによって、デバイスやソフトウェアの大規模なエコシステムが歴史的に可能となりました。定義上、PCIeはコンポーネントに組み込まれ、それは電力効率の高いインターコネクトソリューションをもたらしました。

　PCIeとその前身の長所は、リード／ライト命令への対応です。最近では、PCIeは相互排他のためアトミックトランザクションを追加しました。PCIeのフロー制御メカニズムによって、利用可能な帯域幅の高グッドプットが可能になります。PCIeは、プロセッサをオフロードするDMAエンジンの使用/不使用にかかわらず、コネクション型の通信に対応できます。

スマートなプロセッサと処理能力の低い周辺デバイスの接続

　PCIeとその前身の当初の目的は、インテリジェントなプロセッサを一緒に接続することではなく、非常にスマートなプロセッサと非常に処理能力が低い周辺デバイスを接続することでした。この使用モデルにおいて、メッセージング対応の必要はありませんでした。現在、メッセージング命令の不足により、PCIeを介してインテリジェントなプロセッサ間で、コネクションレス通信を実行することが難しくなっています。それでもPCIeを使用して、RDMA命令に対応できますが、メッセージングに対応する二次側のインターコネクトも使用できない限り、RDMAの規模は制限される可能性があります。

　メッセージング命令の不足は、一般的に、PCIeを使用してシステムを拡張できないことを示しています。標準のPCIeデバイスは、ツリールーティングトポロジを使用する、グローバルメモリマップの一部となっています。Non-transparent bridging（NTB）など、PCIeデバイスをツリー以外のトポロジで使用可能にするプロプライエタリな拡張があります。ただし、対応可能なトポロジのタイプには、依然として制限があります。例えば、超立方体や3DトーラストポロジでPCIeを使用することはなかなか想像できません。同様に、プロセッサ間のキャッシュコヒーレンシにはPCIeを使用できません。PCIeは、マルチプロセッサへのデータ配布を迅速にする、書込み用マルチキャストには対応しています。

　歴史的に、PCIeとその前身はフォールトトレラントではなく、それは期待されていませんでした。重要な周辺機器がトランザクションに応答しなかった場合、システムが「ブルースクリーン」の通知とともにリセットされるのが妥当な結果でした。システムのコンポーネント数が数千または数百万に拡大するにつれ、システムのリセットは妥当とはいえなくなり、これらのコンポーネントが周辺機器ではなく他のインテリジェントプロセッサの場合、特に悲惨な結果となります。PCIeは、オペレーティングソフトウェアに事前に通知することなく、システムをクラッシュさせずに、ボードを取り外し、PCIeシステムに挿入するレベルまで、基本仕様にフォールトトレランス能力を加えてきました。しかしながら、これらのメカニズムはNTBオペレーションに自動的に翻訳されません。これは大規模にシステムで作動する場合としない場合があることを意味します。独自のフォールトトレランスの追加ソリューションが必要な場合もあります。

グッドプットは優れているものの……

　PCIeは各実効帯域幅オプションについて、優れたグッドプットに対応しますが、最高のグッドプットを提供するわけではありません。PCIeリンクは8Gbpsレーンおよび、最大16レーンのワイドポートに対応しますが、これらの接続はボード上のデバイス間、またはボード間でショートケーブルを使用してのみ、可能です。PCIe 4.0ロードマップでは、エクサスケールシステムを実現するために必要なボードとシャーシ間で、密集した100Gbpsリンクを提供していません。

　プロセッサチップセットに統合されるPCIeポートの数が増加するにつれ、PCIeスイッチベンダーの機会が低下してきました。ディスクドライブなどの周辺機器をプロセッサに直接接続することで、アグリゲーションスイッチのコストが削減されます。当然、プロセッサチップセットのポート間でスイッチングに対応する要件がなく、周辺機器間のピア・トゥ・ピアのスケーラビリティの可能性が除かれます。キャッシュコヒーレンシを使用してノードサイズを拡張できないこと、そしてコネクションレスメッセージングやオープンなフォールトトレランスの不足によって生じるトポロジとノード数の制限があるため、大規模システムにおける高性能の演算において、PCIeはリスクのある選択肢となります。将来的に、異なるインターコネクトへのフォークリフトシステム・アップグレードが必要な場合があります。