L'allineamento statico dei valori dell'IA fallisce sotto il scaling delle capacità

Un nuovo studio pubblicato su arXiv suggerisce che affidarsi esclusivamente a un allineamento statico e incentrato sul contenuto dei valori dell'IA non è sufficiente man mano che le capacità dell'IA crescono, le distribuzioni cambiano e l'autonomia aumenta. I ricercatori sostengono che qualsiasi approccio che tratti l'allineamento come mera ottimizzazione di un valore fisso—che si tratti di una funzione di ricompensa, di utilità, di principi guida o di preferenze apprese—finisce per rimanere intrappolato in quella che chiamano 'trappola della specifica'. Essi evidenziano tre problemi filosofici che aggravano questa situazione: il divario is-ought di Hume, che mostra che solo perché osserviamo un comportamento non significa che conosciamo ciò che è giusto; il pluralismo dei valori di Berlin, che sottolinea l'incoerenza dei valori umani; e il problema esteso del frame, in cui la codifica dei valori potrebbe non adattarsi ai futuri contesti dell'IA. Notano esempi come RLHF e Constitutional AI che rivelano debolezze strutturali più profonde, non semplici problemi ingegneristici. Questo studio è disponibile su arXiv con ID 2512.03048.