La sicurezza dell'IA dipende dalla topologia dell'interazione, non dalla scala del modello
Un nuovo position paper sostiene che la sicurezza nell'IA agentica è determinata dalla topologia dell'interazione piuttosto che dai pesi del modello o dall'allineamento. Il documento identifica tre patologie legate alla topologia: instabilità dell'ordinamento, cascate informative e collasso funzionale. Le evidenze, raccolte su diverse famiglie e scale di modelli, mostrano che l'aumento delle capacità dei modelli non mitiga questi problemi. I risultati mettono in discussione l'assunto che modelli individuali sicuri compongano un comportamento multi-agente sicuro.
Fatti principali
- La sicurezza nell'IA agentica dipende dalla topologia dell'interazione, non dai pesi del modello.
- Tre patologie: instabilità dell'ordinamento, cascate informative, collasso funzionale.
- Le evidenze coprono diverse famiglie e scale di modelli.
- L'aumento delle capacità dei modelli non risolve i problemi legati alla topologia.
- Il documento mette in discussione l'assunto che modelli individuali sicuri compongano un comportamento multi-agente sicuro.
Entità
—