Rilevamento Inganni Legali: Benchmarking di Modelli NLP contro lo Stato dell'Arte nel Dominio Generale
Un recente preprint su arXiv (2607.29066) offre un'ampia rassegna e uno studio comparativo del Rilevamento Automatico dell'Inganno (ADD) basato su NLP, in particolare nel settore legale. La ricerca traccia la transizione dal machine learning basato su caratteristiche alle metodologie basate su Large Language Model (LLM) e svolge una valutazione empirica consolidata su sette dataset—due del campo legale e cinque di domini generali. L'analisi confronta sei modelli transformer fine-tuned insieme a sette LLM utilizzando quattro tecniche di prompting. I risultati rivelano una significativa sensibilità al dominio: i modelli fine-tuned performano meglio nei domini generali ricchi di dati, mentre gli LLM few-shot sono efficaci nei contesti legali con scarse risorse. È importante notare che il prompting Chain-of-Thought spesso fallisce rispetto alla classificazione diretta. Questi risultati evidenziano la necessità di strategie specifiche per dominio nel rilevamento dell'inganno, che è vitale per i contesti legali, le forze dell'ordine e la sicurezza online. Lo studio è scritto da un team di ricercatori ed è accessibile su arXiv.
Fatti principali
- L'articolo è intitolato 'Semantica del sotterfugio: benchmarking del rilevamento dell'inganno legale contro lo stato dell'arte nel dominio generale'.
- È pubblicato su arXiv con identificatore 2607.29066.
- Lo studio esamina e confronta i metodi di Rilevamento Automatico dell'Inganno (ADD) basati su NLP.
- Valuta sei modelli transformer fine-tuned e sette LLM.
- Sono utilizzati sette dataset: due legali e cinque di dominio generale.
- Vengono testate quattro strategie di prompting.
- I modelli fine-tuned performano meglio nei domini generali, mentre gli LLM few-shot sono competitivi in contesti legali.
- Il prompting Chain-of-Thought spesso performa peggio della classificazione diretta.
Entità
Istituzioni
- arXiv