Indice di Difendibilità e Segnale Probabilistico per la Moderazione dei Contenuti AI

In un articolo dell'aprile 2025 (2604.20972) pubblicato su arXiv, i ricercatori presentano l'Indice di Difendibilità (DI) e l'Indice di Ambiguità (AI) volti a valutare i sistemi di moderazione dei contenuti AI che rispettano le regole. Evidenziano la "Trappola del Consenso", un fenomeno in cui le metriche di accordo convenzionali penalizzano ingiustamente decisioni valide e interpretano l'ambiguità come un errore. Come soluzione, suggeriscono un quadro di correttezza basato sulle politiche per la valutazione. Il Segnale Probabilistico di Difendibilità (PDS) sfrutta i logprob dei token dei modelli di audit per valutare la stabilità del ragionamento senza necessità di audit aggiuntivi. Inoltre, le tracce di ragionamento LLM fungono da segnale di governance, confermando se una decisione segue logicamente dalla gerarchia di regole stabilita, piuttosto che limitarsi a classificare il contenuto. Questo quadro è stato testato su oltre 193.000 tracce di ragionamento.