HG-CRC: Controllo del Rischio Conforme Ierarchico per Gruppi per la Predizione Selettiva nei Modelli Linguistici
Il quadro appena sviluppato del Controllo del Rischio Conforme Ierarchico per Gruppi (HG-CRC) mira a correggere le carenze del tradizionale controllo del rischio conforme (CRC), che non fornisce garanzie di rischio per gruppi specifici all'interno di grandi modelli linguistici. Mentre il CRC standard garantisce il rischio complessivo della popolazione, può violare i limiti dei sottogruppi con lievi cambiamenti nella composizione del gruppo, mostrando fallimenti in ben il 47% dei casi. HG-CRC implementa una correzione di Bonferroni su una gerarchia definita dall'utente e adotta una strategia 'prima le foglie' per determinare la soglia applicabile più precisa, tornando a nodi più ampi quando necessario. Questo approccio richiede solo un set di calibrazione esterno senza necessità di riaddestramento. La valutazione ha incluso tre modelli, come Qwen, e i risultati sono disponibili su arXiv (2607.24562).
Fatti principali
- 1. Il CRC standard viola i budget dei sottogruppi fino al 47% delle prove sotto lieve cambiamento della composizione del gruppo.
- 2. HG-CRC impone garanzie di rischio simultanee su tutti i nodi di una gerarchia di gruppi definita dall'utente.
- 3. HG-CRC utilizza una correzione di Bonferroni sui nodi e una politica 'prima le foglie'.
- 4. Richiede solo un set di calibrazione esterno senza riaddestramento.
- 5. Valutato su tre modelli tra cui Qwen.
- 6. Pubblicato su arXiv con ID 2607.24562.
Entità
Istituzioni
- arXiv