Ipotesi di Convergenza delle Capacità: Struttura di Accesso, Non Scala
Uno studio recente pubblicato su arXiv introduce l'Ipotesi di Convergenza delle Capacità (CCH), che mette in discussione l'Ipotesi della Rappresentazione Platonica (PRH) secondo cui rappresentazioni simili dell'IA portano a capacità identiche. I ricercatori indicano che le capacità si riferiscono a una categoria 'ibrida accesso-completo', che richiede un canale compressivo a stati O(1) insieme a un canale indice verbatim scalabile. Usando il problema della mela di Newton come caso di studio, gli autori identificano tre barriere significative—muro di Shannon, muro dell'orizzonte e muro circuitale—che influenzano varie architetture di IA. Sostengono che affrontare queste barriere attraverso strutture ibride può migliorare le capacità, evidenziando l'importanza critica delle scelte di progettazione rispetto al semplice ridimensionamento nello sviluppo dell'IA.
Fatti principali
- L'articolo è intitolato 'The Capability Convergence Hypothesis: Capability from Access Structure, Not Scale' ed è disponibile su arXiv con ID 2607.14144.
- Propone l'Ipotesi di Convergenza delle Capacità (CCH) come seguito dell'Ipotesi della Rappresentazione Platonica (PRH).
- La CCH afferma che, sotto un budget di inferenza fisso per token, la convergenza rappresentazionale non implica la convergenza delle capacità.
- La capacità converge verso una classe chiamata ibrido accesso-completo, che richiede sia un canale compressivo a stati O(1) sia un canale indice verbatim scalabile.
- L'ipotesi è ancorata a un compito testimone: il problema della mela di Newton in un flusso infinito.
- Sono identificate tre barriere di risorse: un muro di Shannon, un muro dell'orizzonte e un muro circuitale.
- Il muro di Shannon blocca qualsiasi architettura a stati o(Nb), il muro dell'orizzonte blocca qualsiasi finestra fissa, e il muro circuitale blocca la composizione di sola attenzione a profondità fissa (condizionata a TC0 != NC1).
- Sotto un'esplicita assunzione di separabilità, un'architettura ibrida può attraversare tutti e tre i muri pagando il prezzo di ciascun muro, indicando che la capacità è rigorosa.
Entità
Istituzioni
- arXiv