Vereinheitlichung von Deep-Learning-Operationen: Die generalisierte Fensteroperation
Dieser Artikel stellt die generalisierte Fensteroperation (GWO) vor, ein theoretisches Framework, das die wichtigsten Operationen des Deep Learnings wie Matrixmultiplikation und Faltung vereinheitlicht. GWO zerlegt diese Operationen in drei orthogonale Komponenten: Pfad (operationale Lokalität), Form (geometrische Struktur und Symmetrie) und Gewicht (Merkmalsbedeutung). Der Artikel schlägt das Prinzip der strukturellen Ausrichtung vor, das besagt, dass eine optimale Generalisierung erreicht wird, wenn die Konfiguration der GWO die intrinsische Struktur der Daten widerspiegelt. Dieses Prinzip leitet sich vom Prinzip des Informationsengpasses (IB) ab. Eine Metrik für die operationale Komplexität basierend auf der Kolmogorov-Komplexität wird definiert, wobei argumentiert wird, dass die Art dieser Komplexität – adaptive Regularisierung im Gegensatz zu Brute-Force-Kapazität – die Generalisierung bestimmt. GWO sagt eine bessere Generalisierung für Operationen voraus, die sich adaptiv an die Datenstruktur anpassen. Das Framework bietet eine Grammatik zum Erstellen neuronaler Operationen und einen prinzipiellen Weg von den Dateneigenschaften zum Design generalisierbarer Architekturen.
Mehr lesen