Valutazione della ricerca di informazioni multi-turno nei LLM

Un nuovo articolo di ricerca su arXiv (2608.14808) introduce MT-InfoSeek, una suite di valutazione controllata per la ricerca di informazioni multi-turno nei modelli linguistici di grandi dimensioni (LLM). Lo studio formalizza il compito come risoluzione di un problema di soddisfacimento di vincoli con specifica incompleta di grado k, dove k misura il grado di informazioni mancanti. MT-InfoSeek comprende 5.251 problemi e 9.006 istanze di compiti in matematica, logica, biologia, medicina e conoscenze generali. Gli autori valutano i modelli su cosa chiedono, quando lo chiedono e come le informazioni acquisite influenzano la risposta finale. I risultati mostrano che le prestazioni degradano all'aumentare della sottospecificazione e che i modelli spesso sottostimano la quantità di informazioni aggiuntive necessarie. L'articolo è disponibile su https://arxiv.org/abs/2608.14808.