iDataCool

iDataCoolは、 IBM System x iDataPlexを改造した高性能コンピュータクラスターです。このクラスターは、温水によるIT機器の冷却と廃熱の効率的な再利用を目的とした研究プラットフォームとして機能します。このプロジェクトは、レーゲンスブルク大学物理学部が、 IBMベーブリンゲン研究開発研究所およびInvenSorと共同で実施しています。このプロジェクトは、ドイツ研究振興協会(DFG)、ドイツ・バイエルン州、そしてIBMの資金提供を受けています。

概要

iDataCool高性能コンピューティングクラスターは、データセンターにおける温水冷却とエネルギー再利用に関する研究プロジェクトです。iDataCoolの廃熱は、冷水を生成する吸着式冷凍機の駆動に利用されます。[ 1 ]このプロジェクトは、以下の目標を追求しています。

iDataCoolクラスターは2011年から温水冷却方式で運用されています。エネルギー再利用のためのインフラサポートは2012年に完了しました。プロジェクトメンバーは、QCDOCQPACEといった他のスーパーコンピュータプロジェクトにも積極的に参加しています。SuperMUCは、 QPACEAquasar、iDataCool向けに開発された冷却技術に基づいています。 [ 2 ]

iDataCool研究プロジェクトは、 2013年にドイツのライプツィヒで開催された国際スーパーコンピューティング会議で発表され、[ 1 ]いくつかの論文で取り上げられました。[ 3 ] [ 4 ]

背景と設計目標

IT機器の電力と冷却は、現代のデータセンターにとって大きな懸念事項です。1996年以降、 ITインフラの電力と冷却にかかる世界全体のコストは5倍以上に増加しています。[ 5 ] 従来、データセンターではIT機器の主な冷却媒体として空気が使用されています。空冷はシンプルで柔軟性がありますが、実装密度が限られていることやエネルギー再利用の選択肢が限られているなど、いくつかの欠点もあります。[ 6 ]水を冷却剤として使用する液冷も別の選択肢です。水は熱容量が非常に高いため、中程度の流量でシステムから大量の熱を取り除くことができ、実装密度を高めることができ、結果として床面積を削減できます。液冷は最近、高性能コンピューティングの分野で再浮上しています。2009年以降、最もエネルギー効率の高いスーパーコンピュータのGreen500リストは、液冷設計が占めています。[ 7 ]

液体冷却システムの設計で高い冷媒温度が許容されれば、気候条件や現地のインフラに応じてエネルギーを節約したり、再利用したりすることも可能です。たとえば、冷媒温度が周囲温度よりも高い場合はフリークーリングが可能です。その場合、チラーのエネルギーを節約できます。冷媒温度がさらに高い場合は、コンピューティング機器からの廃熱を暖房に使用したり、吸着式チラーを駆動して冷水を生成するのに使用したりできます。前者のオプションは、たとえば ドイツのライプニッツ・レヒェンツェントルムによって実装されており、そこではSuperMUC がコンピューティング機器から回収した約 1 MW を使用して、冬季のデータセンターの暖房を駆動しています。iDataCool の設計目標である後者のオプションでは、高品質の熱が求められ、これは直接温水冷却によってのみ実現できます。直接温水冷却の一例として、約 60 °C の冷媒温度で稼働するETH チューリッヒAquasarプロジェクトが挙げられます。 iDataCool の目的は、市販の吸着式冷凍機が効率よく稼働する傾向にある 65°C を超える冷媒温度を実現し、この条件下での大型生産機械の長期安定性を実証することです。

建築

レーゲンスブルク大学のiDataCoolシステムは、3台のIBM System x iDataPlex [ 8 ]ラックで構成されています。各ラックには72台の計算ノードが搭載されています。計算ノードは2基のIntel Xeon Westmereサーバープロセッサで構成され、24GBのDDR3-SDRAMを搭載した分散共有メモリシステムとして構成されています。ノード間の通信にはスイッチドInfinibandが使用されています。ディスクI/O、システム操作、および監視には ギガビットイーサネットが使用されています。

オリジナルのiDataPlexシステムは、完全に空冷式です。データセンター内の外気は、穴あきの前面ドアから取り込まれ、熱気は背面からデータセンター内へ送り返されます。冷却が必要なコンポーネントは、電源ネットワークスイッチ、そしてコンピューティングノードです。電源とスイッチは内蔵ファンによって必要な気流を発生させ、ファンブロックは、パッシブヒートシンクを備えたコンピューティングノードに空気を送り込みます。

レーゲンスブルク大学の素粒子物理学グループとドイツのIBM研究開発研究所ベーブリンゲン校の共同研究により、従来のファンとヒートシンクを完全に置き換える計算ノード用の水冷ソリューションが開発されました。プロセッサは、水が直接流れるカスタム設計の銅製ヒートシンクによって冷却されます。これにより、計算コアと冷却水の温度差が最小限に抑えられます。銅製のパイプラインが水の流れを確保し、メモリ、チップセット、電圧コンバータなどの他のコンポーネントのパッシブヒートシンクとも熱的に結合されています。

オリジナルのiDataPlexクラスタの改造はすべてレーゲンスブルク大学で行われました。新開発の部品は、同大学物理学部の機械工場で製造されました。同大学のデータセンターは、液冷インフラを提供するために拡張されました。システムは2011年から、最大70℃の冷却液温度で安定した本番稼働を続けています。

エネルギーの再利用

iDataCoolは、最高70℃の温水による冷却を可能にします。[ 1 ] iDataCoolの廃熱は、低温吸着式冷凍機(InvenSor社製LTC 09)を駆動します。この冷凍機は、約65℃の温度でも効率的に動作します。この冷凍機は、データセンター内の他のコンピューティング機器の冷却に使用される冷水を生成します。この設置は2012年夏に完了しました。

参照

参考文献