L'IA fallisce nel prevedere il progresso scientifico in un nuovo studio di benchmark

Ehi, c'è un nuovo studio appena pubblicato su arXiv che introduce qualcosa chiamato CUSP, che sta per Cutoff-conditioned Unseen Scientific Progress. Questo benchmark valuta quanto bene l'IA possa prevedere le scoperte scientifiche in diversi campi. Hanno testato i migliori modelli di IA su 4.760 eventi scientifici, concentrandosi su aspetti come fattibilità, ragionamento e previsione delle tempistiche. I risultati hanno mostrato che, mentre questi modelli possono identificare percorsi di ricerca promettenti, faticano molto a prevedere se e quando le scoperte avverranno effettivamente. Inoltre, le loro prestazioni variano significativamente tra diverse discipline, evidenziando notevoli limitazioni. In generale, ciò suggerisce che l'IA non è ancora affidabile per prevedere il progresso scientifico, nonostante stia diventando una parte sempre più importante del processo di scoperta.