SkillReason: Quadro di Recupero delle Competenze AI per Richieste Utente Implicite
Per affrontare il problema del recupero di competenze adatte per gli agenti basati su modelli linguistici di grandi dimensioni quando le richieste degli utenti sono vaghe e brevi, i ricercatori hanno sviluppato SkillReason-Bench. Questo ampio benchmark cross-domain include 3.729 query e un corpus di recupero di 61.228 competenze in nove domini, affrontando i limiti dei benchmark esistenti che coprono in modo inadeguato tali richieste implicite. Inoltre, il team introduce SkillReason, un framework a due fasi che sfrutta il ragionamento a catena di pensiero per la supervisione del recupero delle competenze. Nella prima fase, le tracce di ragionamento sulle capacità di un insegnante più avanzato offrono una guida esplicita attraverso l'apprendimento contrastivo, l'allineamento della distribuzione del recupero e la modellazione del linguaggio. L'obiettivo è migliorare le capacità degli agenti di dedurre le competenze necessarie e i passi di esecuzione basandosi esclusivamente sugli obiettivi del compito. L'articolo è disponibile su arXiv con identificativo 2608.08640.
Fatti principali
- SkillReason-Bench contiene 3.729 query e un corpus di recupero di 61.228 competenze.
- Il benchmark copre nove domini.
- SkillReason è un framework a due fasi che utilizza il ragionamento a catena di pensiero come supervisione durante l'addestramento.
- La Fase I utilizza tracce di ragionamento sulle capacità di un insegnante più forte per l'apprendimento contrastivo, l'allineamento della distribuzione del recupero e la modellazione del linguaggio.
- Il lavoro affronta la sfida del recupero di competenze da librerie su larga scala per richieste utente implicite.
- L'articolo è annunciato su arXiv con identificativo 2608.08640.
- I benchmark esistenti forniscono una copertura limitata delle richieste utente sottospecificate.
- Il framework mira a estendere le capacità degli agenti oltre la conoscenza parametrica.
Entità
Istituzioni
- arXiv