In the Weights ti permette di verificare se i chatbot AI ti ricordano
Thomas Dimson e Joey Flynn, ex designer di OpenAI, hanno lanciato In the Weights, un sito web che interroga più modelli di intelligenza artificiale per misurare quanto bene ricordano una persona senza utilizzare la ricerca web. Il sito interroga modelli tra cui Grok, Gemini, versioni di GPT, Claude, Llama e altri meno noti, chiedendo 'Chi è <nome>?' e raggruppando descrizioni simili in un punteggio di forza. Macaulay Culkin è attualmente in cima alla classifica con un punteggio di 988, in pareggio con Luciano Pavarotti. Dimson ha affermato che il progetto è stato ispirato dalla sensazione che le ricerche vanitose su Google siano obsolete poiché il traffico si sposta verso i LLM, e da un post sul blog che scherzava sui pesi dell'IA e sul racconto di Terry Bisson 'They're Made Out of Meat.' Il sito presenta un design retrò ispirato a Nintendo e mette in evidenza potenziali allucinazioni, come GPT-5.4 Mini che descrive Anthony Ha come un nome ambiguo. Dimson prevede di esplorare perché diversi modelli restituiscono risultati differenti e quali persone dovrebbero avere articoli su Wikipedia ma non li hanno.
Fatti principali
- In the Weights interroga modelli di IA per misurare la memoria di una persona senza ricerca web.
- Creato da Thomas Dimson e Joey Flynn, entrambi ex designer di OpenAI.
- I modelli interrogati includono Grok, Gemini, versioni di GPT, Claude, Llama e altri.
- I risultati sono raggruppati in un punteggio di forza e una classifica.
- Macaulay Culkin e Luciano Pavarotti condividono il punteggio massimo di 988.
- Il sito evidenzia allucinazioni, ad esempio GPT-5.4 Mini su Anthony Ha.
- Dimson cita le ricerche vanitose su Google come obsolete per il 2026.
- Il design è retrò ispirato a Nintendo.
- Dimson prevede ulteriori analisi sui bias dei modelli e sugli articoli Wikipedia mancanti.
Entità
Artisti
- Macaulay Culkin
- Luciano Pavarotti
- Anthony Ha
- Anthony Moser
- Terry Bisson
Istituzioni
- OpenAI
- Global Illumination
- TechCrunch