LEX-EC: Un nuovo quadro per la verifica della classificazione della personalità degli LLM
Un nuovo quadro di verifica black-box chiamato LEX-EC è stato sviluppato da ricercatori per valutare la classificazione della personalità degli LLM a zero-shot. Questo quadro integra diagnostiche di prevalenza e accordo insieme ad ablazione lessicale controllata, consentendo di differenziare gli effetti di distribuzione marginale dai segnali legati ai tratti che possono essere recuperati con prove limitate. Attraverso LEX-EC, i ricercatori hanno dimostrato che vari generi testuali presentano profili nettamente diversi: i saggi a forma libera mostrano il segnale più ampio ma debole; nelle presentazioni di studenti laureati, il legame con l'Estroversione si è attenuato dopo il mascheramento; e i singoli stati di Facebook forniscono prove stabili minime, suggerendo una possibile soglia di contenuto o lunghezza. Il mascheramento di elementi demografici e tematici ha ridotto alcune associazioni mantenendone altre tramite parole funzionali e termini emotivi. Questo quadro mira a colmare il divario di interpretabilità nella classificazione della personalità degli LLM, fornendo un mezzo per verificare i modelli in ambienti black-box. L'articolo è disponibile su arXiv con ID 2607.24435.
Fatti principali
- LEX-EC è un quadro di verifica black-box riutilizzabile per la classificazione della personalità degli LLM.
- Combina diagnostiche di prevalenza e accordo con ablazione lessicale controllata.
- Il quadro distingue gli effetti di distribuzione marginale dal segnale associato ai tratti.
- Il testo di saggi a forma libera contiene il segnale più ampio ma ancora debole.
- Nelle presentazioni di studenti laureati, una associazione osservabile con l'Estroversione si è indebolita dopo il mascheramento.
- I singoli stati di Facebook producono poche prove stabili anche in un campione bilanciato per tratti.
- Il mascheramento di contenuti tematici e demografici ha indebolito alcune associazioni lasciandone altre rilevabili da parole funzionali e termini affettivi.
- L'articolo è disponibile su arXiv con ID 2607.24435.
Entità
Istituzioni
- arXiv