Uso dei LLM e produttività scientifica: associazione robusta oltre il bias del tempo di arresto

Una nuova preprint su arXiv (2607.28968) contesta l'affermazione che l'associazione positiva osservata tra l'adozione di modelli linguistici di grandi dimensioni (LLM) e la produttività scientifica sia semplicemente un artefatto della selezione del tempo di arresto. Gli autori, rispondendo a Renault, Bergeaud e Bosquet (RBB), sostengono che, sebbene il meccanismo di RBB sia matematicamente possibile, non prova un effetto nullo. Ricalibrando il placebo casuale di RBB sul tasso di segnalazione effettivo del rilevatore, mostrano che l'associazione misurata rimane ben al di sopra del benchmark, indicando che l'artefatto è troppo piccolo per spiegare i cambiamenti di produttività. Inoltre, stimano nuovamente l'associazione utilizzando disegni complementari immuni al bias temporale: un confronto prima-dopo che data l'adozione in un anno e misura l'output in un altro, un gruppo di controllo conservativo per la differenza nelle differenze, e una specifica basata sull'intensità che non definisce mai una data di adozione. I risultati rafforzano un legame robusto tra uso degli LLM e output scientifico, con implicazioni per la valutazione della ricerca e le politiche.