ChildEval: un benchmark per testare i LLM sulle preferenze dei bambini

ChildEval è stato lanciato da ricercatori come benchmark per valutare la capacità dei grandi modelli linguistici di comprendere e rispettare le preferenze incentrate sui bambini durante conversazioni estese. Presenta 29.000 profili di persona sintetizzati che rappresentano bambini di età compresa tra 3 e 6 anni, con dettagli di base fissi. Ogni persona è collegata a una preferenza che può coincidere, contraddire o essere indipendente dalla persona stessa. Le preferenze possono essere espresse esplicitamente in una singola frase o implicitamente attraverso dialoghi composti da 6-10 turni. Sebbene entrambe le forme riflettano la stessa preferenza di base, differiscono nell'espressione, evidenziando la natura dinamica dell'articolazione delle preferenze. Il benchmark include cinque categorie principali e quattordici sottocategorie, rispondendo alla necessità di una valutazione sistematica delle preferenze specifiche dei bambini nei LLM, essenziale per lo sviluppo di chatbot personalizzati per giovani utenti.