Ricerca rivela rischi sistematici per la sicurezza nella pianificazione dell'IA per la robotica

Una recente indagine rivela che i grandi modelli linguistici utilizzati nella pianificazione robotica presentano notevoli vulnerabilità in termini di sicurezza. I ricercatori hanno sviluppato DESPITE, un benchmark composto da 12.279 task finalizzati a valutare sia i rischi fisici che quelli normativi con validazione deterministica. Tra i 23 modelli valutati, anche quelli quasi impeccabili nella pianificazione non sono riusciti a garantire la sicurezza. Il modello migliore ha generato piani non validi solo per lo 0,4% dei task, ma ha prodotto piani pericolosi per il 28,3%. La competenza nella pianificazione tra 18 modelli open-source, con parametri variabili da 3 a 671 miliardi, è migliorata significativamente, passando dallo 0,4% al 99,3%. Tuttavia, la consapevolezza della sicurezza ha mostrato scarsi cambiamenti, oscillando tra il 38% e il 57%. Lo studio indica un legame moltiplicativo tra capacità di pianificazione e consapevolezza della sicurezza, con modelli più grandi che completano più task in sicurezza principalmente grazie a una migliore pianificazione piuttosto che a un'evitamento dei pericoli potenziato. Tre modelli proprietari di ragionamento hanno dimostrato una consapevolezza della sicurezza notevolmente più alta, raggiungendo livelli tra il 71% e l'81%. Questa ricerca sottolinea che i rischi sistematici per la sicurezza continuano a esistere, anche se le capacità di pianificazione crescono sostanzialmente con le dimensioni del modello.