Il post-addestramento su compiti d'ufficio migliora le prestazioni nell'ingegneria del software
Un nuovo studio su arXiv (2608.01604) mostra che migliorare un grande modello linguistico attraverso il post-addestramento focalizzato su compiti d'ufficio può aumentare significativamente le sue prestazioni nell'ingegneria del software. Questa ricerca introduce il concetto di esecuzione orientata agli obiettivi (GDE), che include quattro comportamenti principali: selezionare gli obiettivi, costruire stati pertinenti, attenersi agli obiettivi principali e verificare il completamento delle attività rispetto all'ambiente. Gli autori sostengono che il post-addestramento a lungo orizzonte potenzia questi comportamenti in diversi campi. Hanno testato il modello Qwen3.5-122B-A10B su 363 attività relative ai flussi di lavoro d'ufficio, e anche se queste non includevano l'ingegneria del software, il punteggio pass@1 del modello su SWE-Bench Pro è aumentato di 5,8 punti, indicando miglioramenti in tutti i comportamenti GDE, suggerendo una migliore prestazione complessiva dell'IA.
Fatti principali
- Lo studio proviene da arXiv:2608.01604.
- L'esecuzione orientata agli obiettivi (GDE) comprende quattro comportamenti: selezionare gli obiettivi, costruire lo stato pertinente al compito, mantenere la fedeltà agli obiettivi di livello superiore e verificare il completamento.
- Qwen3.5-122B-A10B è stato post-addestrato su 363 attività Long-Horizon Multi-Tool Agent (LHMTA) provenienti da flussi di lavoro d'ufficio.
- I dati di addestramento non contenevano attività di ingegneria del software.
- Il pass@1 su SWE-Bench Pro è migliorato di 5,8 punti dopo il post-addestramento.
- L'analisi delle traiettorie abbinate ha mostrato miglioramenti in tutti e quattro i comportamenti GDE sia nei flussi di lavoro d'ufficio che nei repository software.
- Le statistiche aggregate di SWE-Bench Pro hanno mostrato cambiamenti nella raccolta di informazioni, nell'implementazione e nella verifica.
- Lo studio suggerisce un trasferimento cross-domain dei comportamenti orientati agli obiettivi.
Entità
Istituzioni
- arXiv