I LLM superano i modelli ottimizzati nell'estrazione di circostanze rare di suicidio

Uno studio recente pubblicato su arXiv presenta un algoritmo 'Complexity Score' progettato per valutare quando prompt elaborati migliorano le prestazioni dei grandi modelli linguistici (LLM) rispetto a semplici prompt basati solo sul nome per estrarre dati strutturati da narrazioni di indagini sulla morte. Questa ricerca esamina 25 scenari inferenziali complessi tratti dal National Violent Death Reporting System (NVDRS), valutando gli LLM rispetto a una versione ottimizzata di RoBERTa. I risultati indicano che gli LLM eccellono significativamente in situazioni a bassa prevalenza con dati di addestramento limitati. Il framework proposto è applicabile a LLM all'avanguardia, tra cui GPT-5.2, Gemini 2.5 Pro e Llama-3 70B. È importante notare che il suicidio continua a essere una delle principali cause di morte negli Stati Uniti, con molti scenari che richiedono inferenze semantiche che vanno oltre la semplice corrispondenza di parole chiave.