MANTA: framework multi-turn per l'allineamento LLM al benessere animale

Un nuovo framework di valutazione chiamato MANTA (Multi-turn Assessment for Nonhuman Thinking and Alignment) è stato sviluppato da ricercatori, utilizzando la piattaforma Inspect AI. A differenza dei tradizionali benchmark a turno singolo come AnimalHarmBench (AHB), MANTA testa rigorosamente LLM avanzati sia in contesti professionali che quotidiani attraverso l'uso di domande di follow-up generate in modo avversariale. Questo framework innovativo crea dinamicamente turni di pressione basati sulle risposte effettive di ciascun modello, generando così sfide avversariali specifiche. Valuta i modelli attraverso un massimo di 13 dimensioni di punteggio derivate da AHB, utilizzando una scala continua da 0 a 1. I risultati preliminari sono dettagliati in arXiv:2605.16301.