深度学习算子的统一理论：广义窗口运算

这篇论文提出了一个名为广义窗口运算（GWO）的理论框架，它统一了深度学习中主要的运算，例如矩阵乘法和卷积。GWO 将这些运算分解成三个正交的组成部分：路径（Path）、形状（Shape）和权重（Weight），分别定义了运算的局部性、几何结构和特征重要性。论文引入了结构对齐原则，认为当GWO的配置与数据的内在结构相匹配时，泛化能力最佳。这个原则源于信息瓶颈（IB）原理。论文还定义了一个基于Kolmogorov复杂度的运算复杂度度量，并指出复杂度的性质（是增强蛮力能力还是自适应正则化）决定了泛化能力。GWO理论为创建神经网络运算提供了一种语法，也为从数据属性到可泛化架构设计提供了一条有原则的途径。