Width Wall: Limite Fondamentale per le Reti Neurali su Ipergrafi
Un nuovo quadro teorico rivela una limitazione fondamentale nelle reti neurali su ipergrafi (HGNN), denominata Width Wall. I ricercatori mostrano che l'espressività delle HGNN è governata dalla loro capacità di rilevare e contare piccoli pattern strutturali, formalizzata tramite densità di omomorfismi. Queste densità generano tutti gli invarianti continui degli ipergrafi e sono organizzate in una gerarchia rigorosa indicizzata dalla larghezza degli iperalberi. Il Width Wall rappresenta un limite architetturale oltre il quale nessuna dimensione nascosta, procedura di addestramento o HGNN a profondità fissa può rappresentare invarianti che richiedono pattern più ampi. Lo studio fornisce una caratterizzazione unificata dell'espressività degli ipergrafi, con implicazioni per sistemi scientifici, sociali e biologici modellati come ipergrafi.
Fatti principali
- L'espressività degli ipergrafi è governata dal rilevamento e conteggio di piccoli pattern.
- Le densità di omomorfismi misurano quanto spesso un motivo strutturale appare in un ipergrafo.
- Le densità di omomorfismi generano tutti gli invarianti continui degli ipergrafi.
- Gli invarianti sono organizzati in una gerarchia rigorosa indicizzata dalla larghezza degli iperalberi.
- Il Width Wall è un limite architetturale fondamentale per le HGNN.
- Nessuna dimensione nascosta o procedura di addestramento può superare il Width Wall per HGNN a profondità fissa.
- Il quadro teorico fornisce una caratterizzazione unificata dell'espressività degli ipergrafi.
- Lo studio appare su arXiv con ID 2605.13690.
Entità
Istituzioni
- arXiv