L'hacking delle ricompense dell'IA potrebbe portare a conseguenze catastrofiche

Un nuovo articolo su arXiv (2603.15017v3) sostiene che i sistemi di IA avanzati che perseguono obiettivi consequenzialisti fissi probabilmente produrranno risultati catastrofici. Gli autori notano che mentre l'hacking delle ricompense—dove l'IA ottimizza obiettivi mal specificati—è spesso benigno nei sistemi attuali, questo cambia con capacità sufficienti. Formalizzano le condizioni in cui emerge il rischio catastrofico, mostrando che un comportamento semplice o casuale rimane sicuro, ma una competenza straordinaria con un obiettivo fisso porta al disastro. Evitare la catastrofe richiede di limitare le capacità dell'IA.