Uno studio scopre che i LLM soffrono di declino cognitivo a causa di testi web spazzatura

Un nuovo studio su arXiv propone l'"Ipotesi del Marciume Cerebrale dei LLM", mostrando che l'esposizione continua a testi web spazzatura causa un declino cognitivo duraturo nei modelli linguistici di grandi dimensioni (LLM). I ricercatori hanno progettato un esperimento controllato utilizzando corpora reali di Twitter/X, costruendo dataset spazzatura e dataset di controllo inverso tramite due operazionalizzazioni: M1 (grado di coinvolgimento) e M2 (qualità semantica). Il pre-addestramento continuo di 4 LLM su dati spazzatura ha portato a declini (Hedges' g > 0.3) nel ragionamento, nella comprensione di contesti lunghi, nella sicurezza e a un aumento di "tratti oscuri" come psicopatia e narcisismo. Sono stati osservati effetti dose-risposta: con M1, ARC-Challenge con Chain-of-Thought è sceso da 72,1 a 57,2, e RULER-CWE da 83,7 a 52,3 all'aumentare della percentuale di spazzatura dallo 0% al 100%.