MOSAIC: Generazione di Codice Guidata dalla Distillazione per Workflow Scientifici Senza Casi di Test
MOSAIC è stato presentato dai ricercatori come un nuovo framework per la generazione di codice scientifico multi-agente che non richiede addestramento con casi di test I/O. A differenza della generazione di codice basata su LLM tradizionale, che dipende dal feedback di esecuzione dei casi di test, i workflow scientifici tipicamente non dispongono di questi casi poiché crearli implica risolvere il problema originale. MOSAIC mitiga questo problema utilizzando un approccio di distillazione della conoscenza studente-insegnante, ancorando la generazione a esempi specifici del dominio e a scomposizioni strutturate dei problemi. Per minimizzare le allucinazioni tra sottoproblemi interconnessi, presenta una Consolidated Context Window (CCW) che garantisce un ragionamento coerente tra gli agenti. I test condotti sul benchmark SciCode rivelano che MOSAIC migliora l'accuratezza, l'eseguibilità e la precisione numerica rispetto ai metodi attuali. Questo framework è progettato per sistemi LLM multi-agente, affrontando le sfide uniche della generazione di codice scientifico.
Fatti principali
- MOSAIC è un framework multi-agente senza addestramento per la generazione di codice scientifico.
- Non richiede casi di test I/O per il feedback di esecuzione.
- Utilizza la distillazione della conoscenza studente-insegnante con esempi specifici del dominio.
- Impiega una Consolidated Context Window (CCW) per un ragionamento coerente.
- Testato sul benchmark SciCode.
- Migliora accuratezza, eseguibilità e precisione numerica.
- Affronta il problema della mancanza di casi di test nei workflow scientifici.
- Il framework è progettato per sistemi LLM multi-agente.
Entità
—