CRAFT Benchmark Testa la Comunicazione Pragmatica dell'IA in Condizioni di Informazione Parziale

I ricercatori hanno introdotto CRAFT, un nuovo benchmark progettato per valutare quanto bene i modelli linguistici di grandi dimensioni comunicano in modo pragmatico quando dispongono solo di informazioni parziali. Questa configurazione include vari agenti, ciascuno con punti di vista distinti ma incompleti, che devono collaborare usando il linguaggio naturale per costruire una struttura 3D condivisa che nessuno di loro può vedere completamente. Si tratta essenzialmente di un problema di Parlante Pragmatico Limitato multi-mittente. Hanno sviluppato un quadro diagnostico per identificare fallimenti legati alla comprensione spaziale, alla modellazione delle credenze e ai problemi di comunicazione, classificando anche i fallimenti comportamentali sia nei modelli frontier che in quelli open-weight. Testando 8 modelli open-weight e 7 frontier è emerso che un miglior ragionamento non sempre migliora il lavoro di squadra; a volte, modelli più piccoli performano altrettanto bene o meglio di quelli frontier, e le capacità comunicative individuali non garantiscono il successo di gruppo.