Analisi del bias basata su CAV estesa ai sistemi neurali di valutazione dell'inglese come seconda lingua (L2)

Un recente preprint su arXiv (2608.06300) estende l'uso dei vettori di attivazione del concetto (CAV) per indagare i bias in due sistemi automatizzati di valutazione della produzione orale: un valutatore testuale basato su BERT e un valutatore multimodale che integra parlato e testo, utilizzando Whisper. Questa ricerca si basa su studi precedenti che impiegavano i CAV per scoprire bias legati ad attributi indesiderati nei sistemi di valutazione basati su caratteristiche. I CAV funzionano rappresentando concetti umani comprensibili come vettori nello spazio di attivazione del modello, consentendo di identificare se un concetto è presente nelle rappresentazioni del modello. L'obiettivo è garantire che i punteggi di valutazione riflettano le abilità di produzione orale piuttosto che fattori irrilevanti come la prima lingua (L1) o l'età, soprattutto perché questi sistemi sono sempre più utilizzati in contesti ad alto rischio. Lo studio affronta i problemi di interpretabilità ed equità nei modelli basati su Transformer, che, pur migliorando l'accuratezza, rimangono ancora scatole nere. L'articolo è disponibile come nuova sottomissione su arXiv, identificata come arXiv:2608.06300v1.