Chatbot AI ingannati da una falsa malattia inventata dai ricercatori

Ricercatori guidati da Almira Osmanovic Thunström all'Università di Göteborg hanno inventato una falsa malattia chiamata bixonimania per testare se i modelli linguistici di grandi dimensioni (LLM) potessero rilevare disinformazione. All'inizio del 2024, hanno pubblicato post su Medium e due rapporti di ricerca fabbricati su un server di preprint, con evidenti indizi come un autore principale di nome Lazljiv Izgubljenovic (che significa 'perdente bugiardo') e riferimenti a 'Triade Galattica' e 'Il Signore degli Anelli'. Nonostante questi segnali d'allarme, chatbot tra cui Microsoft Bing Copilot, Google Gemini e OpenAI ChatGPT hanno iniziato a citare la condizione come reale. Il progetto ha rivelato come gli LLM assimilano i dati web in modo acritico, e alcuni scienziati hanno citato i preprint fasulli senza leggerli. Osmanovic Thunström, anche stratega dell'IA presso Chalmers Industriteknik, mirava a dimostrare come vengono elaborati i dati di addestramento. La falsa malattia ora ha una propria pagina Wikipedia. L'esperimento evidenzia la vulnerabilità dei sistemi di IA alla disinformazione e la necessità del pensiero critico umano.