I giudizi morali degli LLM divergono dalle motivazioni umane nonostante l'accordo sulle etichette
Un nuovo preprint su arXiv (2608.12368) mette in discussione l'approccio comune di valutare i grandi modelli linguistici (LLM) in base a quanto si allineano con i giudizi umani. Gli autori sostengono che raggiungere semplicemente le stesse conclusioni non significa che sia gli LLM che gli esseri umani condividano le stesse convinzioni etiche, poiché contesti o interpretazioni diversi possono portare a risultati simili. Per esplorare questa idea, hanno creato un benchmark con 500 elementi dal dataset ETHICS in cinque aree morali e hanno ottenuto annotazioni sia da umani che da LLM, includendo etichette finali e giustificazioni. Mentre spesso c'era un forte accordo sulle etichette, il ragionamento dietro queste etichette ha rivelato differenze significative nel ragionamento morale tra umani e modelli. Questo evidenzia la necessità di metodi di valutazione migliori che vadano oltre la semplice corrispondenza delle etichette.
Fatti principali
- Preprint arXiv:2608.12368
- Titolo: 'L'accordo non è allineamento: fondamenti morali divergenti nei giudizi etici umani e degli LLM'
- Utilizza un benchmark curato di 500 elementi derivato da ETHICS
- Copre cinque domini del giudizio morale
- Include nuove annotazioni di annotatori umani e LLM di etichette finali e motivazioni
- Trova un alto accordo con le etichette di maggioranza umane attraverso famiglie di modelli all'avanguardia e open source
- Rivela una divergenza sistematica nei fondamenti morali a livello di motivazione
- I modelli ridistribuiscono l'attenzione su categorie come danno, rispetto, mantenimento delle promesse, giustizia, merito e rilevanza delle scuse
Entità
Istituzioni
- arXiv