Contesto e conoscenza morale nel rilevamento dei valori di Schwartz
Una recente indagine pubblicata su arXiv esplora l'influenza del contesto e della comprensione morale esplicita sull'identificazione dei valori di Schwartz nei testi politici. I ricercatori hanno utilizzato il framework ValuesML/Touché ValueEval per analizzare input a livello di frase, finestra e documento completo, insieme a configurazioni no-RAG e retrieval-augmented con un database di conoscenza morale curato. Hanno impiegato encoder supervisionati DeBERTa-v3-base/large e LLM zero-shot da 12B a 123B parametri. I risultati indicano che un contesto maggiore non sempre produce risultati migliori: mentre il contesto a livello di documento completo migliora gli encoder DeBERTa supervisionati di 3,8–4,8 punti macro-F1 rispetto all'input solo frase, non avvantaggia costantemente gli LLM zero-shot. Inoltre, la conoscenza morale recuperata si rivela più efficace in confronti appaiati, migliorando tutte le famiglie di modelli e condizioni di contesto testate in caso di fusione anticipata, sebbene i modelli più grandi mostrino rendimenti decrescenti.
Fatti principali
- Studio sul rilevamento dei valori di Schwartz in testi politici
- Utilizza il formato ValuesML/Touché ValueEval
- Confronta input a livello di frase, finestra e documento completo
- Testa impostazioni no-RAG e retrieval-augmented con base di conoscenza morale
- Utilizza encoder supervisionati DeBERTa-v3-base/large
- Testa LLM zero-shot da 12B a 123B parametri
- Il contesto a livello di documento completo migliora DeBERTa di 3,8–4,8 macro-F1
- La conoscenza morale recuperata migliora tutti i modelli in caso di fusione anticipata
Entità
Istituzioni
- arXiv
- ValuesML
- Touché