L'iniezione di contesto può danneggiare l'esplorazione progettuale multi-agente, secondo uno studio
Uno studio recente mette in discussione la convinzione che aggiungere più contesto migliori i sistemi AI multi-agente. I ricercatori hanno valutato sette condizioni di iniezione di contesto in dieci compiti di progettazione software, conducendo oltre 2.700 prove. Hanno riscontrato un effetto incrociato: mentre alcuni tipi di artefatti aumentavano l'esplorazione progettuale in alcuni compiti (fino a 20× di copertura dei compromessi), la ostacolavano in altri (fino al 46% di riduzione). È interessante notare che documenti irrilevanti a volte eguagliavano o superavano quelli pertinenti. L'influenza di questo effetto è legata all'esplorazione di base senza contesto, mostrando una correlazione di Pearson di -0,82 (p < 0,001). Modificando la pressione di convergenza attraverso la progettazione dei prompt, sono emersi due regimi distinti. Gli autori suggeriscono che l'iniezione di contesto dovrebbe essere applicata selettivamente. Lo studio è accessibile su arXiv, ID 2605.04361.
Fatti principali
- 1. Lo studio verifica l'assunzione che più contesto sia meglio per l'orchestrazione multi-agente.
- 2. Sette condizioni di iniezione di contesto testate in dieci compiti di progettazione software.
- 3. Oltre 2.700 esecuzioni condotte.
- 4. Trovato effetto incrociato: lo stesso tipo di artefatto migliora l'esplorazione in alcuni compiti e la degrada in altri.
- 5. Miglioramento fino a 20× di copertura dei compromessi; degradazione fino al 46% di riduzione.
- 6. Documenti irrilevanti a volte performano quanto o meglio di quelli pertinenti.
- 7. Direzione prevista dall'esplorazione di base senza contesto (Pearson r = -0,82, p < 0,001).
- 8. Identificati due regimi di convergenza: naturale (priori dei dati di training) e indotto (istruzioni esplicite).
- 9. La convergenza naturale risponde alla perturbazione dell'artefatto; quella indotta no.
- 10. Gli autori raccomandano un'iniezione di contesto condizionale.
Entità
Istituzioni
- arXiv