AdmitOR: Un cancello di ammissione senza etichette per la modellazione di ottimizzazione basata su LLM
Un nuovo studio su arXiv (2608.15565v1) introduce AdmitOR, un meccanismo volto ad aiutare gli agenti di apprendimento esperienziale nei compiti di ottimizzazione. Affronta la sfida della certificazione senza etichette, il che significa che gli agenti devono dimostrare le loro capacità senza avere le risposte corrette in anticipo. I metodi attuali mostrano incoerenze: in uno scenario cieco alle etichette di 300 problemi, ammettere tutti i modelli validi comporta circa il 25% di difetti, mentre concordare su una singola istanza può nascondere divergenze su altre. AdmitOR utilizza dati comportamentali esterni calibrati per valutare i candidati provenienti da tre tipi di modelli e strategie. Una cricca cross-famiglia rappresenta l'accordo tra le tracce delle funzioni di valore, con una soglia impostata che guida se accettare, astenersi o escalare. Tuttavia, mentre il criterio di falsa scoperta funziona bene con i dati di calibrazione, fatica in condizioni reali.
Fatti principali
- Il documento arXiv:2608.15565v1 introduce AdmitOR, un cancello di ammissione per la modellazione di ottimizzazione basata su LLM.
- AdmitOR affronta la certificazione senza etichette, dove gli agenti devono verificare le competenze senza risposte note.
- Le alternative esistenti senza etichette sono inaffidabili: su un flusso cieco alle etichette di 300 problemi, ammettere ogni modello eseguibile inquina circa un'ammissione su quattro.
- L'accordo su singola istanza accetta modelli che corrispondono su un valore ma differiscono altrove.
- AdmitOR utilizza prove comportamentali esterne calibrate da candidati attraverso tre famiglie di modelli, strategie di prompting e stack di solver.
- Le istanze vengono ricampionate da un dominio di parametri estratto.
- L'accordo tra le tracce delle funzioni di valore è riassunto da una cricca cross-famiglia.
- Una soglia calibrata restituisce accetta, astieniti o escalata.
- Il criterio di falsa scoperta preregistrato regge sui dati di calibrazione ma non sul flusso reale.
Entità
Istituzioni
- arXiv