GPT-4.5 supera il test di Turing in uno studio storico dell'UC San Diego
Un recente studio dell'UC San Diego, pubblicato negli Atti dell'Accademia Nazionale delle Scienze, dimostra che un'IA moderna può effettivamente superare il test di Turing. Nei loro esperimenti, GPT-4.5 è stato giudicato umano nel 73% dei casi quando imitava le stranezze, il tono e l'umorismo umani. D'altra parte, LLaMa-3.1-405B di Meta è stato considerato umano nel 56% dei casi, un risultato paragonabile a quello delle persone reali. Modelli più vecchi come ELIZA e GPT-4o hanno ottenuto valutazioni umane rispettivamente solo del 23% e del 21%. Senza prompt specifici, la valutazione di GPT-4.5 è scesa al 36%. Lo studio, che ha coinvolto quasi 500 partecipanti, è stato guidato da Cameron Jones della Stony Brook University e coautore Ben Bergen dell'UC San Diego.
Fatti principali
- GPT-4.5 è stato giudicato umano nel 73% dei casi con prompt di personalità.
- LLaMa-3.1-405B ha raggiunto una valutazione umana del 56%, statisticamente indistinguibile dagli umani.
- Senza prompt di personalità, GPT-4.5 è sceso al 36% e LLaMa-3.1 al 38%.
- ELIZA e GPT-4o sono stati selezionati come umani solo nel 23% e 21% dei casi.
- Lo studio è stato pubblicato negli Atti dell'Accademia Nazionale delle Scienze.
- Quasi 500 partecipanti hanno preso parte agli esperimenti.
- Le conversazioni duravano 5 minuti nello studio principale e 15 minuti in una replica.
- I ricercatori hanno creato un'interfaccia online su turingtest.live.
Entità
Istituzioni
- University of California San Diego
- Proceedings of the National Academy of Sciences
- Stony Brook University
- Meta
- Prolific
- SONA system
Luoghi
- San Diego
- United States