CRAFT: Addestramento Post-Addestramento in Due Fasi per Agenti di Codifica Basati su Schema
Uno studio recente presenta CRAFT, un metodo di post-addestramento in due fasi progettato per agenti di codifica aziendali che converte richieste in linguaggio naturale in codice eseguibile attraverso API e schemi proprietari. Questa tecnica affronta il problema di dover includere una documentazione completa dello schema in ogni prompt, il che aumenta i costi di inferenza e complica gli aggiornamenti dello schema. Inizialmente, CRAFT impiega un fine-tuning supervisionato senza schema (PLAN) per acquisire piani strutturati di dominio e azioni eseguibili da traiettorie validate, senza la necessità di un'iniezione estensiva dello schema durante il prompting. Successivamente, un reinforcement learning modellato sull'esecuzione perfeziona la politica per la selezione degli strumenti, migliorando la qualità del codice e garantendo la coerenza tra piani e codice. L'obiettivo è migliorare l'affidabilità nelle analisi multi-turn per l'analisi orientata alla produzione.
Fatti principali
- CRAFT è una ricetta di post-addestramento in due fasi per agenti di codifica basati su schema.
- Affronta le inefficienze dell'iniezione di documentazione esaustiva dello schema in ogni prompt.
- Prima fase: fine-tuning supervisionato PLAN senza schema.
- Seconda fase: reinforcement learning modellato sull'esecuzione.
- L'approccio è mirato all'analisi aziendale su API e schemi proprietari.
- Mira a migliorare l'affidabilità nell'analisi multi-turn.
- L'articolo è pubblicato su arXiv con ID 2607.22642.
- Il metodo preserva la coerenza necessaria per l'analisi orientata alla produzione.
Entità
Istituzioni
- arXiv