Teoremi di impossibilità come regole di progettazione per un'IA affidabile
Una recente tesi pubblicata su arXiv (2605.23024) reinterpreta i principali risultati di impossibilità dei teoremi di Turing, Arrow e No Free Lunch come linee guida essenziali per lo sviluppo di sistemi di IA affidabili. La conclusione principale identifica un limite di prestazioni dettato esclusivamente dall'architettura: oltre una certa profondità di ragionamento, nessun livello di addestramento—indipendentemente dal rango dell'adattatore, dalla dimensione del campione o dalla funzione di perdita—può migliorare i risultati. Questo Orizzonte Deterministico, calcolabile prima del deployment in base al numero di layer e all'ampiezza dell'embedding, varia tra 19 e 31 in dodici architetture transformer. Il fine-tuning con tracce di lunghezza ottimale produce un miglioramento inferiore a quattro punti percentuali. Inoltre, viene stabilito un limite inferiore per la complessità circuitale nel ragionamento modulare, rivelando un declino super-esponenziale dell'accuratezza oltre l'orizzonte.
Fatti principali
- La tesi trasforma i risultati di impossibilità in regole di progettazione per un'IA affidabile.
- Il tetto di accuratezza è determinato esclusivamente dall'architettura, indipendentemente dai dati di addestramento o dalla potenza di calcolo.
- L'Orizzonte Deterministico misurato tra 19 e 31 in 12 architetture transformer.
- Il fine-tuning su tracce di lunghezza ottimale recupera meno di 4 punti percentuali.
- Il meccanismo è un'invariante di capacità del flusso residuo.
- La conversione informativo-teorica produce un decadimento super-esponenziale dell'accuratezza oltre l'orizzonte.
- Limite inferiore incondizionato della complessità circuitale per il ragionamento modulare.
- L'orizzonte è calcolabile prima del deployment dal numero di layer e dall'ampiezza dell'embedding.
Entità
Istituzioni
- arXiv