I LLM migliorano l'efficienza dell'annotazione umana ma non raggiungono l'affidabilità degli esperti

Un nuovo studio di arXiv valuta l'uso di modelli linguistici di grandi dimensioni (LLM) nei flussi di lavoro di annotazione di eventi, scoprendo che, sebbene gli LLM non siano affidabili come annotatori indipendenti rispetto agli esperti umani, migliorano significativamente l'efficienza degli esperti. La ricerca, presentata il 10 marzo 2025, testa un flusso di lavoro olistico che filtra documenti irrilevanti, fonde report di eventi correlati e annota variabili di evento. Le annotazioni automatiche basate su LLM superano i metodi tradizionali TF-IDF e Event Set Curation, ma sono ancora in ritardo rispetto ai codificatori umani. Tuttavia, quando gli LLM assistono gli esperti nell'Annotazione di Variabili, riducono tempo e carico cognitivo, con un accordo maggiore sulle variabili estratte rispetto ai sistemi completamente automatizzati. Lo studio evidenzia il potenziale degli LLM come strumenti collaborativi piuttosto che sostituti in compiti come analisi di mercato, monitoraggio di notizie e ricerca sociologica.