Quadro di Calibrazione per la Classificazione Probabilistica di Etichette

Un nuovo studio formalizza la calibrazione per la classificazione probabilistica di etichette, un compito in cui i modelli prevedono distribuzioni su ordinamenti di un insieme di etichette. Gli autori definiscono una gerarchia di nozioni di calibrazione che coprono classificazioni complete, sottoclassificazioni e classificazioni top-k, dimostrando che la calibrazione completa implica le altre ma non viceversa, e che la calibrazione per sottoclassificazioni e top-k sono incomparabili. Test empirici mostrano che i modelli popolari di classificazione di etichette sono spesso scarsamente calibrati, con discrepanze significative tra le metriche di sottoclassificazione e top-k. Il quadro viene applicato ai modelli di ricompensa RLHF, rivelando problemi di calibrazione nell'apprendimento delle preferenze.