Introduzione del Benchmark BAGEL per Valutare la Conoscenza Animale nei Modelli Linguistici

È stato lanciato un nuovo benchmark chiamato BAGEL per testare quanto bene i modelli linguistici comprendono le conoscenze specifiche sugli animali. Il benchmark estrae informazioni da varie fonti scientifiche, tra cui bioRxiv, Global Biotic Interactions, Xeno-canto e Wikipedia. BAGEL utilizza un formato a libro chiuso, il che significa che i modelli devono fare affidamento esclusivamente sulla loro conoscenza interna senza consultare alcuna fonte durante la valutazione. Copre una gamma di argomenti relativi agli animali, come la loro classificazione, caratteristiche fisiche, habitat, comportamenti, suoni, distribuzione e interazioni con altre specie. Questo studio, presente nella preprint arXiv 2604.16241v1, dimostra quanto efficacemente i grandi modelli linguistici possano gestire informazioni biologiche dettagliate, evidenziando le conoscenze che hanno immagazzinato all'interno dei loro sistemi.