Misurare e Ripristinare l'Influenza dei Vincoli nei Dialoghi LLM Black-Box

Un recente articolo su arXiv (2608.12599) presenta un sistema innovativo progettato per valutare e ripristinare l'influenza dei vincoli nei dialoghi generati da modelli linguistici di grandi dimensioni (LLM) black-box. Gli autori evidenziano un fenomeno chiamato 'ricaduta comportamentale' o 'inerzia di revoca', in cui i modelli continuano ad applicare requisiti precedentemente revocati durante interazioni multi-turno, anche quando dichiarazioni esplicite indicano la loro rimozione. Questo sistema mira a colmare tre lacune: valutare l'influenza per clausola, prevederla prima dell'esecuzione e correggerla entro budget specificati. Funziona esclusivamente tramite l'API del modello, utilizzando un registro contrattuale che associa ogni vincolo a un verificatore eseguibile, registra le revoche come 'pietre tombali' e consolida lo stato complessivo dei vincoli in un'unica specifica. Una sonda di ablazione sequenziale valuta l'aderenza per clausola e l'impatto comportamentale cumulativo, mentre una scala di riparazione opera con budget corrispondenti di token e tentativi. L'efficacia del sistema è stata testata su un dataset di compiti HumanEval con verificatori verificati, rivelando che la ricaduta a un punto operativo 8B aumenta da una scala specifica (l'abstract è troncato). Il team di ricerca (nomi non divulgati) ha annunciato l'articolo su arXiv.