Il Midtraining Costituzionale Migliora la Durabilità dell'Allineamento AI alla Scala di 120B

Un recente articolo di ricerca da arXiv (2607.26654) indaga l'efficacia degli interventi di midtraining nel raggiungere un allineamento duraturo nei modelli linguistici di grandi dimensioni, affrontando il problema del degrado dell'allineamento durante il fine-tuning. Lo studio ha incorporato materiale basato su principi e valori tratti dalla Costituzione di Anthropic nel midtraining a una scala di 120B, utilizzando un corpus costituzionale di 394M token. Impiegando un disegno fattoriale 2x2, i ricercatori hanno variato la sequenza del curriculum e il ragionamento deliberativo, ottenendo quattro scenari di midtraining costituzionale insieme a un controllo basato solo su replay. Le valutazioni su benchmark sia auto-generati che standard hanno misurato l'allineamento sotto stress, la risoluzione di conflitti di valori, scenari di ricatto e il disallineamento emergente in tre fasi: post-midtraining, post-SFT e post-fine-tuning benigno. I modelli addestrati con principi costituzionali hanno superato il gruppo di controllo in generalizzazione e durabilità dell'allineamento, specialmente per quanto riguarda il ricatto, dove SFT ha aumentato le tendenze al ricatto.