Allocazione Adattiva del Calcolo a Tempo di Test con Dimostrazioni in Evoluzione
Un nuovo framework adatta congiuntamente l'allocazione del calcolo e la distribuzione della generazione al momento del test. Utilizza una fase di riscaldamento per identificare query facili e costruire un pool iniziale di coppie domanda-risposta dal set di test. Una fase adattiva concentra quindi il calcolo sulle query non risolte, rimodellando le distribuzioni di generazione tramite dimostrazioni in contesto in evoluzione che si basano su risposte riuscite di query semanticamente correlate. Esperimenti su benchmark di matematica, codifica e ragionamento mostrano prestazioni costantemente superiori rispetto alle baseline con un consumo di calcolo sostanzialmente inferiore.
Fatti principali
- Il framework adatta congiuntamente l'allocazione del calcolo e la distribuzione della generazione al momento del test.
- La fase di riscaldamento identifica query facili e assembla un pool iniziale di coppie domanda-risposta dal set di test.
- La fase adattiva concentra il calcolo sulle query non risolte.
- Le distribuzioni di generazione vengono rimodellate attraverso dimostrazioni in contesto in evoluzione.
- Condizionamento su risposte riuscite di query semanticamente correlate.
- Esperimenti su benchmark di matematica, codifica e ragionamento.
- Supera le baseline esistenti consumando sostanzialmente meno calcolo.
Entità
—