La disomogeneità degli LLM sblocca la creatività scientifica

Un nuovo studio su arXiv introduce SciAidanBench, un benchmark che misura la creatività scientifica nei modelli linguistici di grandi dimensioni (LLM). I ricercatori hanno valutato 19 modelli base di 8 fornitori (30 varianti totali) su domande scientifiche aperte, contando le idee uniche e coerenti come proxy del potenziale creativo. Lo studio rileva che il progresso nelle capacità degli LLM è disomogeneo: irregolare tra compiti, domini e scale dei modelli. I miglioramenti nella creatività generale non si traducono uniformemente in creatività scientifica, rivelando disomogeneità sia tra i modelli che all'interno di essi. Il lavoro evidenzia la natura irregolare del progresso dell'IA e le sue implicazioni per la scoperta scientifica.