Harness-R1: l'IA impara a modificare i runtime harness dagli errori di esecuzione
Un recente articolo di ricerca presenta Harness-R1, una tecnica che consente agli agenti basati su grandi modelli linguistici di modificare autonomamente i propri runtime harness eseguibili analizzando le traiettorie di errore. L'harness serve a costruire il contesto, gestire gli strumenti, validare le azioni e recuperare l'esecuzione. Questo metodo prevede il post-addestramento di un modello specializzato 'ingegnere di harness' tramite apprendimento per rinforzo online, perfezionando le modifiche per aumentare il successo dei compiti. Inoltre, un ingegnere separato con 9 miliardi di parametri trasforma gruppi di errori dell'agente target in patch eseguibili verificate, con nuove esecuzioni dello stesso batch del target statico che forniscono ricompense basate sui risultati. Solo l'ingegnere riceve aggiornamenti di addestramento, lasciando invariato l'agente target. La metodologia include anche un fine-tuning supervisionato di avvio a freddo per attivare la funzionalità di modifica. L'articolo è disponibile su arXiv con identificativo 2608.02276.
Fatti principali
- Harness-R1 è il primo metodo che rende una capacità appresa la modifica condizionata dagli errori e per l'intero ciclo di vita di un runtime eseguibile esistente.
- Post-addestra un ingegnere di harness dedicato con apprendimento per rinforzo online.
- Un ingegnere separato con 9 miliardi di parametri converte gruppi di errori dell'agente target in patch eseguibili validate.
- Nuove esecuzioni dello stesso batch del target congelato forniscono ricompense basate sui risultati.
- Gli aggiornamenti di addestramento riguardano solo l'ingegnere, non l'agente target.
- Il fine-tuning supervisionato di avvio a freddo inizializza la capacità di modifica.
- L'articolo è disponibile su arXiv con identificativo 2608.02276.
- L'harness costruisce il contesto, media gli strumenti, valida le azioni e recupera l'esecuzione.
Entità
Istituzioni
- arXiv