SGR-Bench: Nuovo benchmark per compiti di recupero con stato vincolato

I ricercatori hanno introdotto un nuovo benchmark chiamato SGR-Bench per valutare gli agenti di ricerca in compiti di recupero con stato vincolato (SGR). In questi compiti, è possibile trovare risposte solo dopo aver impostato condizioni di recupero specifiche per un sito, come filtri o gerarchie. SGR-Bench include 100 compiti accuratamente selezionati da sei diverse famiglie di fonti in 12 ecosistemi di dati pubblici. Ogni compito richiede di individuare il sito web giusto e regolare il suo stato di recupero per ottenere risposte strutturate. Questo benchmark consente confronti diretti tra guida esplicita e implicita combinando approcci basati su vincoli e orientati agli obiettivi. Si concentra su un'area di nicchia di compiti di recupero specializzati, particolarmente importante alla luce dei recenti progressi nei modelli linguistici di grandi dimensioni e negli agenti che utilizzano strumenti.