심층 학습 연산의 통합: 일반화된 윈도우 연산

본 논문은 행렬 곱셈이나 합성곱과 같은 심층 학습의 핵심 연산을 통합하는 이론적 프레임워크인 일반화된 윈도우 연산(GWO)을 소개합니다. GWO는 이러한 연산을 경로(연산의 지역성), 형태(기하학적 구조와 대칭성), 가중치(특징의 중요성)라는 세 가지 직교 구성 요소로 분해합니다. 본 논문에서는 구조 정렬 원칙을 제안하고 GWO의 구성이 데이터의 본질적인 구조를 반영할 때 최적의 일반화가 달성된다는 것을 시사합니다. 이 원칙은 정보 병목 현상(IB) 원리에서 비롯됩니다. Kolmogorov 복잡도를 기반으로 하는 연산 복잡도 메트릭이 정의되며, 이 복잡성의 특성(적응적 정규화 또는 무차별 대입 용량)이 일반화를 결정한다고 주장합니다. GWO는 데이터 구조에 적응적으로 정렬하는 연산에서 뛰어난 일반화를 예측합니다. 이 프레임워크는 뉴럴 연산을 생성하기 위한 문법과 데이터 속성에서 일반화 가능한 아키텍처 설계에 이르는 원칙 기반 경로를 제공합니다.