I modelli di rilevamento di testi AI faticano con lo shift distributivo

Uno studio recente pubblicato su arXiv (2605.03969) valuta l'efficacia dei rilevatori basati su transformer progettati per identificare testi generati dall'IA, utilizzando HC3 PLUS per l'addestramento e la valutazione in vari domini e generatori. I rilevatori raggiungono una notevole accuratezza bilanciata del 99,5% all'interno del dominio di addestramento; tuttavia, le loro prestazioni diminuiscono quando si trasferiscono a M4 e AI-Text-Detection-Pile a causa di shift distributivi. Il miglioramento delle caratteristiche attraverso la fusione di caratteristiche linguistiche basata sull'attenzione porta a una maggiore trasferibilità, con DeBERTa-v3-base+FeatAttn che produce i migliori risultati di prestazione.