Valutazione Science Edge: Nuovo Benchmark Rivela i Limiti dei LLM nella Scienza di Laboratorio

È stato lanciato un nuovo standard chiamato Science Edge Evaluation (SEE) per valutare l'efficacia dei grandi modelli linguistici (LLM) nel facilitare la scienza di laboratorio reale. Questo benchmark, descritto in un articolo su arXiv (arXiv:2608.06931), presenta domande curate da esperti basate su studi peer-reviewed e pratiche sperimentali in chimica, biologia e scienza dei materiali. Una valutazione di 19 modelli linguistici multimodali di grandi dimensioni (MLLM) ha mostrato che il modello con le migliori prestazioni ha raggiunto solo il 48,7% di accuratezza, evidenziando un notevole potenziale di miglioramento. Interessante notare che i modelli di uso generale hanno superato in media quelli specializzati in scienza. Nella valutazione dell'agente visivo, l'uso di strumenti ha elevato l'accuratezza massima al 52,7%, ma l'articolo sottolinea che informazioni aggiuntive non garantiscono un ragionamento scientifico affidabile. La sfida principale è se i modelli possano gestire efficacemente i dati generati dagli strumenti nel contesto dei risultati sperimentali originali. Questi risultati rivelano i limiti attuali dei LLM nella ricerca scientifica complessa e indicano la necessità di un'indagine continua.