深層学習演算の統合：一般化ウィンドウ演算
2025-09-13
本論文は、行列乗算や畳み込みなどの深層学習の中核となる演算を統合する理論的枠組みである一般化ウィンドウ演算（GWO）を紹介しています。GWOはこれらの演算を、パス（演算の局所性）、形状（幾何学的構造と対称性）、ウェイト（特徴の重要性）という3つの直交成分に分解します。本論文では、構造整合の原則を提案し、GWOの構成がデータの本質的な構造を反映する際に最適な汎化が達成されると示唆しています。この原則は、情報ボトルネック（IB）原理に由来します。Kolmogorov複雑度に基づいた演算複雑度メトリックが定義され、この複雑性の性質（適応的正則化か総当たり能力か）が汎化を決定すると主張されています。GWOは、データ構造に適応的に整合する演算において優れた汎化を予測します。この枠組みは、ニューラル演算を作成するための文法と、データのプロパティから汎化可能なアーキテクチャ設計への原理に基づいた経路を提供します。
続きを読む
AI