Benchmark Legali NLP Intertemporali Mostrano un Grave Degrado delle Prestazioni

Uno studio recente mette in discussione l'ipotesi di stazionarietà nel NLP legale esaminando modelli transformer su sentenze dei tribunali ucraini provenienti da tre distinti periodi geopolitici: pre-guerra (2008–2013), guerra ibrida (2014–2021) e invasione su larga scala (2022–2026). I ricercatori hanno messo a punto quattro encoder transformer—XLM-RoBERTa base e large, insieme ai loro adattamenti al dominio legale—su un periodo e li hanno valutati su tutti e tre, ottenendo una matrice di generalizzazione intertemporale 3×3. I risultati rivelano un significativo degrado in avanti, con modelli addestrati su dati pre-guerra che subiscono un calo fino a 27,2 punti percentuali nel macro-F1 quando utilizzati su sentenze dell'invasione su larga scala. Al contrario, il trasferimento all'indietro dall'invasione su larga scala al pre-guerra è notevolmente più forte, supportando l'idea che il linguaggio legale si costruisca su se stesso. Il miglioramento derivante dal pre-addestramento nel dominio legale è stato minimo rispetto ai modelli di dominio generale, evidenziando la necessità di consapevolezza temporale nei sistemi di IA legale.