液冷とラック密度：熱設計はインターフェースの問題である

密度は界面を越える熱である

ラック電力密度が上がると、電気入力を熱として運ぶ問題になる。熱はチップからパッケージ、コールドプレートまたはヒートシンク、空気・液体ループ、施設の放熱境界へ渡る。直接液冷、リアドア熱交換器、浸漬、冷水、温水ループは、接続、保守、漏えい、制御、冗長性の要求が異なる。ワークロード、気候、供給温度、水境界を定めずに「効率がよい」とは言えない。

DOEの需要資料は消費電力を考える国全体の理由を示すが、ラック密度の設計値を決めない（DOE）。現地には熱設計と試運転記録が必要である。

熱を計算し仮定を列挙する

IT入力の大半は施設内で熱になる。教材用の80 kWラックはほぼその率の除熱経路を要するが、流量、温度差、ポンプ動力、チラー使用は決めない。冷却材特性、入口出口温度、圧力、配管、制御応答が必要である。ベンダーの最大定格を実負荷に置き換えない。

サーバーからCDU、CDUから建物水、建物ループから放熱、制御からワークロードを別界面にする。各界面に漏えい検知、隔離、水質、保守計画が要る。液冷はファン動力を減らし高密度にできるが、ポンプ、熱交換器、水処理、冗長性も負荷と故障様式である。

演習

10ラックの仮想ポッドで、チップ、ラック、CDU、建物ループ、放熱の境界と計器を描く。ポンプ停止、漏えい、センサー故障、負荷急増を試験状態に入れる。

熱設計はチップから外気まで連続している

液冷では、チップのコールドプレート、ラック内ホース、CDU、建物側の水ループ、熱交換器、冷却塔または空冷放熱の全てが一つの経路になる。どこか一つの温度・圧力・流量の上限に当たれば、ラック定格が高くても実際のIT負荷は上げられない。液体があることだけで高密度を支えられるわけではなく、接続規格、漏えい検知、隔離弁、水質、ポンプの冗長性、保守手順が必要になる。

80 kWのラックを教材上の例にすると、ほぼ80 kW相当の熱を連続して移さなければならない。しかしこの数字だけから必要流量やポンプ動力は決まらない。冷却液、許容温度差、コールドプレートの圧力損失、CDU能力、建物側供給温度、外気条件を指定する必要がある。サーバーの最大定格を使うのか、実際の平均利用率を使うのかでも結果が変わる。設計値と運転値を同じ列に置かない。

水と電力のコストを分ける

液冷はファン電力を減らす場合がある一方、ポンプ、熱交換器、制御、水処理の電力と保守を加える。水の議論も、取水、蒸発、排水、再利用水のどれを指すかで意味が変わる。PUEが下がっても、現地の水制約や温水ループの材料制約が解消するとは限らない。評価表にはIT電力、冷却電力、水量の定義、外気条件、熱の再利用の有無を別々に記録する。

小さな実験

仮想ポッドの各ラックを50 kW、80 kW、100 kWの三条件で置き、CDU、建物ループ、放熱設備のどれが先に上限へ達するかを表にする。次に一台のポンプ停止、漏えい検知、供給水温上昇、ワークロード急増の四ケースで、隔離、負荷低減、警報、復帰試験の順序を書く。最高密度だけでなく、安全に戻れる運転限界を得るための実験である。

サービス性は密度設計の一部である。ホース接続、クイックディスコネクト、ドリップレス作業、フィルター交換、CDU保守時に、隣接ラックを止めずに作業できるかを確認する。漏えいを検知しても隔離弁が正しく閉じず、負荷が下がらなければ、検知器だけでは保護にならない。保守訓練と復帰試験を運転手順へ入れる。

1. 1チップ熱
2. 2コールドプレートまたは空気
3. 3ラック/CDU
4. 4建物ループ
5. 5放熱

1. 1センサーと弁
2. 2警報
3. 3隔離または負荷低減

1. 1ラック密度
2. 2熱設計の仮定
3. 3試運転済み運転限界

冷却の能力は、熱をどこへ逃がすかで決まる

冷却板へ液体を流すと、チップ付近の熱を液体へ移せる。しかし液体が温まった後、その熱を施設の外へ出す経路が必要になる。冷却板、配管、ポンプ、熱交換器、施設側の放熱を一続きに描く。冷却板だけが十分でも、ポンプの流量や熱交換器が足りなければ全体の能力は増えない。液体が漏れた場合の検知、隔離、保守も、単なる付属品ではなく運用の条件だ。

教材用に、熱10kWを運び、液体の比熱を水に近い4.2kJ毎kg毎度、温度差を10度と仮定する。必要な質量流量は10÷(4.2×10)で約0.238kg毎秒になる。圧力損失や液体の違い、部分負荷を省いた熱収支の例である。入口温度と出口温度の差を広げれば必要流量は減るが、部品の温度条件や制御の許容範囲を守る必要がある。計算だけで実際のラックに適合すると判断しない。

施設全体のPUEが良くなっても、IT側の仕事量や品質を比較しなければ、一つの推論や学習の総エネルギーは分からない。熱の移動、補機の消費、ITの利用率を別々に測る。水の使用についても、閉じた冷却回路の液量と、施設全体で消費する水を混同しない。冷却技術の採用は、性能だけでなく保守の技術、設備の寿命、停止の許容条件に依存する。

保守の場面も図へ入れる。ラックを停止せずに部品交換できるか、漏れた回路だけを分離できるか、ポンプの予備を切り替えられるかを確認する。稼働中の温度だけでなく、立ち上げと負荷の急変も観測条件になる。実測値を比較するなら入口温度、流量、負荷、周囲条件を同時に残す。一つの温度を下げたことが、一つの仕事を完了する総エネルギーを下げた証拠にはならない。

熱収支の実験では、入口と出口の温度差だけでなく流量を記録する。温度差が小さくても流量が大きければ、運んだ熱は大きい場合がある。測定位置とセンサーの精度を揃え、負荷が一定になった時点で比較する。写真だけでは冷却能力を判定できない。