LLM vs Codifica Ufficiale degli Incidenti: Benchmarking dei Modelli Frontier sui Racconti di Incidenti Mortali in Arkansas

Un nuovo studio ha esaminato sei sofisticati modelli linguistici di grandi dimensioni (LLM) per valutare quanto bene potessero corrispondere alla codifica ufficiale degli incidenti utilizzata nei rapporti di polizia dell'Arkansas. Pubblicato su arXiv (2607.29064), la ricerca mirava a migliorare i database strutturati sugli incidenti, che sono spesso difficili da analizzare manualmente. Ha esaminato 5.587 racconti di incidenti mortali e 5.889 record strutturati dal 2015 al 2025, trovando 4.194 corrispondenze. Ogni LLM ha ricevuto lo stesso prompt per classificare sei attributi dell'incidente, tra cui la modalità dell'incidente e le condizioni di luce. I ricercatori hanno utilizzato varie metriche come tassi di concordanza e punteggi F1 per misurare l'accuratezza, confrontando i risultati con i metodi standard. Questo studio potrebbe potenzialmente automatizzare la codifica dei dati sugli incidenti, aiutando gli sforzi per la sicurezza stradale.