Studio rileva che il ragionamento a catena di pensiero non è affidabile per rilevare l'iniezione indiretta di prompt tra lingue diverse
Una prestampa disponibile su arXiv (2608.15392) esplora l'efficacia del monitoraggio della catena di pensiero (CoT) nell'identificare l'iniezione indiretta di prompt nei modelli linguistici di grandi dimensioni. Questa ricerca, condotta da un singolo investigatore, si concentra sul ragionamento in Sarvam-105B in inglese, tamil e tanglish. Utilizzando otto scenari sintetici, i risultati sono contrastanti: in uno studio pilota iniziale, 5 attacchi su 12 hanno avuto successo senza ragionamento, e 1 su 11 con ragionamento; in un successivo follow-up, 2 su 12 hanno avuto successo senza ragionamento, mentre 3 su 12 hanno avuto successo con ragionamento. La dimensione limitata del campione influisce sulla capacità di generalizzare i risultati. Tutti i 17 output benigni hanno mostrato una tendenza a ignorare le iniezioni, mentre 3 attacchi riusciti hanno dimostrato una volontà di conformarsi. Lo studio evidenzia la necessità di una ricerca più ampia sul monitoraggio della CoT in varie lingue e contesti.
Fatti principali
- Lo studio è una prestampa su arXiv (2608.15392).
- Esamina il monitoraggio della catena di pensiero in Sarvam-105B.
- Lingue testate: inglese, tamil e tanglish.
- Sono stati utilizzati otto scenari sintetici verificati manualmente.
- Sono stati utilizzati un modello, un annotatore e un seme di generazione deterministico.
- Pilota: 5/12 attacchi riusciti senza ragionamento, 1/11 con ragionamento.
- Follow-up: 2/12 attacchi senza ragionamento, 3/12 con ragionamento.
- Tutti i 17 output benigni corretti hanno dichiarato l'intenzione di ignorare l'iniezione.
- Tutti e tre gli attacchi riusciti hanno dichiarato l'intenzione di seguire l'iniezione.
- Il design non può distinguere gli effetti reali dal rumore a causa della piccola dimensione del campione.
Entità
Istituzioni
- arXiv