LLM come Annotatori di Credibilità nelle Decisioni di Asilo Danesi
Un nuovo studio indaga l'uso di modelli linguistici di grandi dimensioni (LLM) per automatizzare l'annotazione testuale in un dominio legale specializzato: l'identificazione delle valutazioni di credibilità nei testi delle decisioni di asilo danesi. I ricercatori introducono RAB-Cred, un dataset danese di classificazione testuale con annotazioni esperte, confidenza dell'annotatore ed esiti dei casi. Valutano 21 modelli a pesi aperti e 30 combinazioni di prompt per la classificazione zero-shot e few-shot, analizzando pattern di errore, confusione tra classi e correlazione con le annotazioni umane. Il lavoro evidenzia le sfide per le lingue sottorappresentate e i domini che richiedono una sottile comprensione esperta.
Fatti principali
- Lo studio valuta gli LLM per l'annotazione delle valutazioni di credibilità nelle decisioni di asilo danesi.
- Introduce il dataset RAB-Cred con annotazioni esperte e metadati.
- Valuta 21 modelli a pesi aperti e 30 combinazioni di prompt.
- Si concentra sulla classificazione zero-shot e few-shot.
- Analizza la coerenza degli errori e la confusione tra classi.
- Affronta le lingue sottorappresentate e i domini specializzati.
- Pubblicato su arXiv con ID 2605.13412.
- Il compito prevede l'identificazione della presenza e del sentiment delle valutazioni di credibilità.
Entità
Istituzioni
- arXiv
Luoghi
- Denmark