HPC・科学技術計算
HPC・科学技術計算
MPI・有限要素法・反復法・マルチグリッド・Roofline・エクサスケール… HPCの仕組みを、まず TL;DR でつかみ、そこから数理・原理まで。
解説記事
原理・深掘り
HPCと科学技術計算の仕組みを、まず TL;DR で要点をつかみ、そこから数理・原理まで。
CUDA-aware MPIとGPUDirect
マルチGPUのMPI通信が遅い正体はホスト経由の隠れコピーにあり、CUDA-aware MPIとGPUDirectでデバイスポインタを直接渡す原理を押さえれば取り除けます。
GPUクラスタの相互接続（NVLink・InfiniBand）
GPUを何百枚束ねても性能が伸びない原因は演算ではなく通信にあることが多く、その律速構造をNVLinkとInfiniBandの階層から理解できます。
HPCジョブスケジューリング（Slurm）
計算ノードが空くのを待つだけの人と、待ち時間を読んで先回りできる人の差はスケジューラの内部動作を知っているかどうかにある。
MPIと集団通信
並列プログラムが遅い原因の大半は通信設計にある。MPIの集団通信アルゴリズムと計算量を押さえれば、ノード数を増やしても性能が伸びない理由が原理から見抜けるようになる。
OpenMPと共有メモリ並列
スレッドを増やしても速くならない原因の多くはメモリの共有構造にあり、fork-joinとfalse sharing、NUMA配置を原理から押さえれば、ノード内の性能を引き出せるようになります。
RDMAとInfiniBand
HPCで数マイクロ秒のノード間通信が成立する理由は、OSカーネルとCPUコピーを外したRDMAにあります。verbs・キューペア・ファットツリーまで原理から押さえられます。
Roofline性能モデル
コードがメモリ律速か演算律速かを見誤ると最適化は空振りします。Rooflineモデルで到達可能性能の天井を事前に見積もれます。
アウトオブコアと外部メモリアルゴリズム
メモリに収まらない巨大データも、転送回数を最小化する設計に切り替えれば実用速度で処理できます。外部メモリモデルで何が律速かを見抜き、外部ソートやタイル化で桁違いに速くする原理が分かります。
エクサスケール計算の課題
電力・信頼性・並列度の壁を理解すると、なぜスパコンが単純な性能競争から脱却したのかが分かります。
グラフ分割とメッシュ分割
メッシュ分割の質が並列性能を丸ごと固定してしまう理由を、エッジカット最小化と多層グラフ分割の原理から理解でき、METISが速く高品質な分割を出せる仕組みまで説明できる。
スペクトル法によるPDE解法
微分を波数空間の掛け算に置き換え、少ない格子点で誤差が急減するスペクトル法の原理と、擬スペクトル法のエイリアシング対策までを押さえます。
チェックポイント・リスタート（HPCシミュレーション）
数日〜数週間かかるシミュレーションが障害で全損しなくなる。最適なチェックポイント間隔をMTBFから逆算する式まで押さえます。
テンソル縮約と縮約順序最適化
多テンソルの縮約は順番ひとつで計算量が桁違いに変わります。einsum記法から縮約順序最適化・GEMM帰着までを原理から押さえ、無駄な演算を消せます。
マルチグリッド法
偏微分方程式の連立一次方程式を解く反復法が格子を細かくするほど遅くなる問題を、複数解像度を往復してO(N)近くまで高速化する原理を解説します。
モンテカルロ法（HPC・科学計算）
収束が遅い数値積分でも次元の呪いを回避でき、分散低減と並列乱数設計を押さえれば実用精度に届く理由が分かります。
科学シミュレーションの負荷分散
AMRや粒子法で計算量が刻々と偏る問題を、空間充填曲線と動的再分割の原理から理解すると、なぜ性能が突然落ちるのか説明できるようになる。
格子ボルツマン法と粒子法
複雑形状の流体解析やメッシュ生成の手間を減らしたい人向けに、格子ボルツマン法とSPH法の内部動作と並列化の勘所を原理から整理します。
強スケーリングと弱スケーリング
プロセス数を増やしても速くならない原因を、Amdahlの法則とGustafsonの法則の使い分けで切り分けられるようになります。
高速多重極法（FMM）とN体問題
百万粒子の重力・静電相互作用が総当たりでは終わらない理由と、FMMがなぜO(N)まで落とせるのかを、多重極展開と木構造の原理から解き明かします。
混合精度計算
テンソルコアの桁違いのスループットを、精度を落とさず取り込む方法が分かります。FP16／BF16／TF32の使い分けと反復改良の原理を押さえれば、倍精度並みの解を数倍速く得られます。
再現性と決定的並列リダクション
同じ入力・同じコードなのに実行のたびに答えが変わる。原因は並列リダクションの加算順序にあります。原理を押さえればビット単位で再現する結果を設計できます。
数値安定性と浮動小数点誤差（HPC文脈）
大規模シミュレーションが「動くのに答えが違う」原因の多くは丸め誤差の蓄積です。原理を押さえれば精度と速度の両取りができます。
前処理（プリコンディショニング）
反復法が収束しない・遅い原因は行列の条件数にあり、前処理を選び直すだけで反復回数を桁違いに減らせます。原理から選定基準まで整理。
疎行列の格納形式と演算
偏微分方程式や大規模線形代数を密行列のまま扱うと破綻する理由と、CSR/CSC/COOで何がどれだけ削減できるかが分かります。
適応格子細分化（AMR）
衝撃波や燃焼面だけを細かく解く適応格子の内部動作を、木構造・細分化基準・フラックス整合の原理から理解すると、精度を落とさず計算量を桁で削れる理由が説明できるようになる。
反復法による連立一次方程式の求解(CG・GMRES)
数百万元の連立一次方程式でも、行列を保持せず掛け算だけで解ける理由と、CG・GMRESの使い分け・収束の勘所が分かります。
並列FFTアルゴリズム
1兆点規模のフーリエ変換がなぜ通信律速になるのかを、分散転置とall-to-allの原理から解き明かします。
並列I/OとHDF5
計算は速いのに書き出しで詰まる。MPI-IOの集団I/OとHDF5並列書き込み、Lustreのストライピングを原理から押さえれば、I/O律速を設計段階でほどけます。
有限差分法と有限要素法
偏微分方程式を解く2大数値解法の内部原理を比較し、複雑形状や精度要求に応じてどちらを選ぶべきかが明確になります。
領域分割法（並列PDE計算）
偏微分方程式の数値計算がなぜプロセッサ台数を増やしても素直に速くならないのか、通信とアルゴリズムの両面から原理的に理解できる。