LLM推論における非決定性の克服
2025-09-11
大規模言語モデル（LLM）の推論結果の再現性の低さは、長年の課題です。この記事では、その根本原因が単純な浮動小数点演算の非結合性や並列実行ではなく、カーネル実装における「バッチ不変性」の欠如にあることを明らかにしています。個々のカーネルが決定論的であっても、バッチサイズの非決定論的な変化（サーバーの負荷による）が最終的な出力に影響を与えます。著者らは、RMSNorm、行列乗算、アテンションメカニズムにおけるバッチ不変性の達成における課題を分析し、カーネル実装の修正によって非決定性を排除する方法を提案しています。これにより、LLM推論の完全な再現性と、強化学習トレーニングへのプラスの影響が得られます。
続きを読む
AI