Studio sfida l'assunzione di ridondanza nell'affidabilità dei sistemi multi-agente
Uno studio recente pubblicato su arXiv ha esaminato l'affidabilità dei sistemi multi-agente attraverso un'analisi di 18.000 missioni. Ha rivelato che quando due agenti condividono compiti utilizzando modelli identici, c'è una probabilità del 90% che entrambi falliscano se uno fallisce. Passando a un modello diverso, questa forte correlazione è diminuita. Inoltre, l'uso di modelli di fornitori diversi non ha mostrato variazioni significative nelle prestazioni, allineandosi con l'ipotesi nulla pre-registrata dei ricercatori. Questi risultati sottolineano i potenziali rischi di assumere la ridondanza in sistemi che dipendono dallo stesso modello, evidenziando importanti considerazioni per l'affidabilità dei sistemi di intelligenza artificiale.
Fatti principali
- Preprint su arXiv: 2608.12895
- Valutazione pre-registrata di 18.000 missioni
- Due istanze di un modello co-falliscono nel 90,0% delle missioni in cui una fallisce
- Rapporto di probabilità logaritmico 6,66, IC 95% [6,38, 7,00]
- Coefficiente phi 0,916
- La sostituzione con un modello diverso riduce l'associazione in sei dei sei contrasti
- La sostituzione con un fornitore diverso (modello già diverso) non riduce l'associazione
- Valutato da codice deterministico senza giudice LLM
Entità
Istituzioni
- arXiv