LLM non induzione di Solomonoff: limiti dell'IA auto-migliorante

Uno studio recente pubblicato su arXiv (2601.05280) indaga se i modelli linguistici di grandi dimensioni (LLM) possano essere classificati come stimatori dell'induzione di Solomonoff, collegando i campi della Teoria dell'Informazione Algoritmica (AIT) e dell'Apprendimento Automatico (ML). Gli autori collegano questa indagine alla nozione di Singolarità dell'IA, che richiede un meccanismo affidabile di feedback positivo che consenta a un sistema di creare, valutare e preservare miglioramenti autentici. Sostengono che gli obiettivi attuali basati sul token successivo, inclusi l'entropia incrociata e la log-verosimiglianza negativa, non realizzano l'induzione di Solomonoff, poiché si concentrano sull'adattamento a una distribuzione condizionale data invece che su una miscela universale pesata per programmi. L'articolo ipotizza che la singolarità sia lontana senza la sintesi di modelli simbolici ed evidenzia i limiti teorici dell'IA auto-migliorante basata sulle assunzioni attuali e sui futuri sviluppi nel ML neurosimbólico.