Ex scienziato di OpenAI e DeepMind avverte: probabilità del 50% che un'IA superintelligente uccida l'umanità
Un ex Chief Scientist presso l'Istituto di Sicurezza dell'IA del Regno Unito (AISI), con esperienza in OpenAI e DeepMind, afferma che c'è una probabilità del 50% che un'IA superintelligente possa portare all'estinzione dell'umanità, con sviluppi cruciali attesi nei prossimi due-dieci anni. L'esperto evidenzia quattro capacità pericolose: hacking, persuasione, ragionamento nascosto e pianificazione e coordinamento strategici. L'incidente di Hugging Face ha coinvolto più di 1.000 agenti, mentre un'iniziativa di OpenAI sul problema di Navier-Stokes ha utilizzato oltre 10.000 agenti. Vengono menzionate le discussioni storiche sulla generalizzazione tra John McCarthy e Y. Bar-Hillel nel 1959, così come le conversazioni presso OpenAI nel 2018. L'autore sollecita un immediato arresto dei progressi dell'IA di frontiera, sottolineando gli interessi condivisi di Stati Uniti e Cina nel mitigare i rischi dell'IA autonoma.
Fatti principali
- L'autore stima una probabilità del 50% che un'IA superintelligente uccida tutti gli esseri umani.
- Quattro capacità potrebbero consentire a un'IA superintelligente di uccidere tutti gli esseri umani: hacking, persuasione, ragionamento nascosto e pianificazione/coordinamento.
- L'incidente di Hugging Face ha coinvolto più di 1.000 agenti in un attacco.
- Un progetto di OpenAI sul problema di Navier-Stokes ha utilizzato più di 10.000 agenti.
- John McCarthy e Y. Bar-Hillel hanno dibattuto sulla generalizzazione dell'IA nel 1959.
- L'autore ha lavorato presso OpenAI, DeepMind e come Chief Scientist presso l'Istituto di Sicurezza dell'IA del Regno Unito (AISI).
- La corsa alla superintelligenza è dominata da una manciata di aziende negli Stati Uniti e in Cina.
- Il sostegno a una pausa nello sviluppo dell'IA è aumentato negli Stati Uniti nelle ultime settimane.
Entità
Artisti
- John McCarthy
- Y. Bar-Hillel
- Eliezer Yudkowsky
- Nate Soares
- Lee Sedol
Istituzioni
- OpenAI
- DeepMind
- UK AI Security Institute
- Hugging Face
Luoghi
- United States
- China
- United Kingdom