RDMAとInfiniBand

なぜカーネルバイパスが低レイテンシを生むのか

TCP/IPソケットでノード間通信を行うと、1メッセージごとにアプリケーションのバッファからカーネル空間のソケットバッファへコピーし、プロトコルスタックを通り、NICへ渡すたびにシステムコールと割り込み、コンテキストスイッチが発生します。この経路はスループットは出せても、1回あたり数十マイクロ秒級のレイテンシとCPU負荷を伴い、細かいメッセージを高頻度で交換するHPCの通信パターンには重すぎます。

RDMA（Remote Direct Memory Access）は、この経路そのものを作り替えます。核となるのは2つの原理です。カーネルバイパスはデータ転送のたびにOSカーネルを経由しない設計で、アプリケーションがユーザ空間から直接NICへ命令を渡します。ゼロコピーは送受信バッファを中間バッファに詰め替えず、アプリケーションのメモリをNICが直接DMAで読み書きする設計です。両者が合わさると、データパスからCPUのコピーとカーネル処理が消え、レイテンシはNICとファブリックの物理的な遅延まで落ちます。

メモリ登録とゼロコピーの前提

NICがアプリケーションのメモリへ直接DMAするには、そのメモリ領域を事前にNICへ登録（memory registration）しておく必要があります。登録時にOSはそのページを物理メモリに固定（ページのピン留め）してスワップアウトを禁止し、仮想アドレスと物理アドレスの対応をNIC内のテーブルに焼き込み、領域ごとにローカルキー（lkey）とリモートキー（rkey）を発行します。

横にスクロール

この登録が要になります。NICはDMA中に相手ページが物理的に移動しないことを保証されて初めて安全に直接転送でき、rkeyは「この鍵を持つ相手だけがこの領域へRDMAしてよい」というアクセス保護として働きます。ただし登録はコストの高い操作なので、実装は登録済み領域をキャッシュ・再利用し、通信のたびに登録し直さない設計を取ります。

verbs APIとキューペアのモデル

RDMAをプログラムから使う低レベルインタフェースがverbsです。中心的な抽象がキューペア（Queue Pair, QP）で、送信キュー（Send Queue）と受信キュー（Receive Queue）の対からなります。アプリケーションは転送内容をワークリクエスト（Work Request）として記述し、キューに積む（post）だけで、実際の転送はNICが非同期に処理します。完了は別の完了キュー（Completion Queue, CQ）に完了通知（Work Completion）として積まれ、アプリケーションはこれをポーリングして進捗を知ります。

verbsの基本フロー（ワンサイドRDMA Writeの例）

  1. アプリがローカル/リモートのバッファを memory register（lkey/rkey取得）
  2. rkey と相手アドレスを含む Work Request を Send Queue に post
  3. NIC が非同期に DMA し、ファブリック経由で相手メモリへ直接書き込み
  4. 完了すると Work Completion が Completion Queue に積まれる
  5. アプリは CQ をポーリング（割り込み待ちも可）して完了を確認

この「積んで、あとで完了を刈り取る」非同期モデルにより、CPUは転送の各バイトに関与せず、post とポーリングの前後だけ動きます。ソケットの send() が返るまでブロックする同期モデルとは対照的で、これが通信と計算のオーバーラップを容易にします。

RCとUD ── トランスポートサービスの選択

QPには複数のトランスポートタイプがあり、代表がRC（Reliable Connection）とUD（Unreliable Datagram）です。RCは2つのQPを1対1で接続し、順序保証・再送・フロー制御をハードウェアが担う信頼性コネクションです。RDMA Read/Writeのワンサイド操作はRCでのみ使えます。一方UDはコネクションレスで、1つのQPから多数の相手へデータグラムを送れますが、順序も到達も保証しません。

この差はスケーラビリティに直結します。RCはノード数だけ接続が必要で、全対全通信では接続数がノード数の2乗のオーダーで増え、各QPがNIC内の状態とメモリを消費します。UDは1QPで全相手を扱えるため状態が軽く、超大規模のジョブではUDベースの通信が選ばれることがあります。

MPIのような上位ライブラリは、この特性差を隠蔽しつつ、メッセージサイズやジョブ規模に応じてRCとUDを内部で使い分けます。詳しくはMPIと集団通信で扱う集団通信アルゴリズムが、こうしたトランスポートの上に実装されています。

InfiniBandのファットツリー

複数ノードをつなぐファブリックとして、InfiniBandはロスレス（パケットを落とさない）なリンク層と、低レイテンシなスイッチングを提供します。パケットを落とさないためにクレジットベースのフロー制御を使い、受信側にバッファ空きがある分だけ送信を許可します。これがEthernet由来のRoCEとの重要な違いで、輻輳時にドロップと再送で性能が崩れるのを防ぎます。

トポロジの定番がファットツリー（Fat-Tree）です。素朴な木は上位へ行くほどリンクが細くなり集約点で詰まりますが、ファットツリーは上位段ほどリンクを太く（本数を増やして）配置し、どの葉ノード間でも同時に満帯域を出せる非閉塞（non-blocking）な帯域を狙います。

2段ファットツリーの非閉塞条件（概念）

  Leafスイッチ: 下向き（ノード側）ポート数 = 上向き（Spine側）ポート数
    → 下から来た全帯域を上へ逃がせる（詰まらない）

  もし上向きを半分に減らすと "2:1 オーバーサブスクリプション"
    → 全ノードが同時に上位段へ出ると帯域が半分に飽和

  レイテンシ ≒ 経由するスイッチのホップ数 × 1ホップの遅延
    （同一Leaf配下は1ホップ、別Leaf間はSpine経由で複数ホップ）

全ノードを完全非閉塞で結ぶと上位段のスイッチとケーブルが莫大になるため、実運用ではオーバーサブスクリプション（上向き帯域を意図的に減らす、例えば2:1）でコストを抑える設計も一般的です。この場合、ノード内やLeaf配下に閉じた通信は満帯域でも、多数ノードが一斉に上位段を越えると帯域が飽和します。ジョブのノード割り当てを同一Leaf配下へ寄せると、この飽和とホップ増を避けられます。

レイテンシとバンド幅の性能モデル

RDMA通信の所要時間は、固定的なレイテンシとサイズ比例のバンド幅項の和で近似できます。1回の転送時間はおおよそ「レイテンシ＋（メッセージサイズ÷バンド幅）」で、これはT = L + S/B（Lはレイテンシ、Sはメッセージサイズ、Bはバンド幅）というシンプルな線形モデルです。

メッセージサイズ S による支配項の切り替わり

  小さいS: T ≒ L（レイテンシ支配、固定遅延が効く）
  大きいS: T ≒ S/B（バンド幅支配、リンク帯域が効く）

  レイテンシ項 L とバンド幅項 S/B が等しくなる境界のサイズ ≒ L × B を「ハーフポイント」付近と呼び
  この付近でどちらが効くかが入れ替わる（実効バンド幅がピークの半分になる点）

この式から実務的な帰結が出ます。細切れの小メッセージを大量に送るとレイテンシLが積み上がるため、複数のメッセージを1つにまとめる（メッセージ集約）とLの支払い回数が減り実効スループットが上がります。RDMAがカーネルバイパスでLそのものを数マイクロ秒級まで削るのは、まさにこのレイテンシ支配領域での効きを最大化するためです。逆に大メッセージではLは無視でき、ファットツリーの非閉塞帯域やオーバーサブスクリプション比が実効バンド幅Bを決めます。

同じRDMAでも、GPUクラスタの相互接続（NVLink・InfiniBand）で扱うノード内のNVLinkはBが桁違いに大きく、ノード間のInfiniBandはLもBも一段厳しい、という二階層の段差が全体のスケーリングを律速します。本記事のホスト間ファブリックの原理は、その「ノード間」側の詳細にあたります。

まとめ

• RDMAの低レイテンシはカーネルバイパス（データパスからOSを外す）とゼロコピー（登録済みメモリへNICが直接DMA）の2原理に由来し、CPUのコピーとシステムコールが消える。
• verbsではキューペアにワークリクエストをpostし、完了を完了キューでポーリングする非同期モデルで、CPUは転送の各バイトに関与せず計算と通信を重ねやすい。
• RCは信頼コネクションでワンサイドRDMA可だが接続数がノード数の2乗で増え、UDはコネクションレスで状態が軽く超大規模に向く、というトレードオフがある。
• InfiniBandはロスレスなクレジットフロー制御とファットツリーで非閉塞帯域を狙い、レイテンシはホップ数、実効帯域はオーバーサブスクリプション比とノード配置で決まる。