RIFT Taxonomy Introduce un Quadro per Diagnosticare i Fallimenti delle Rubriche nella Valutazione dei Modelli Linguistici di Grande Dimensione

È stato introdotto un nuovo quadro chiamato RIFT, acronimo di RubrIc Failure mode Taxonomy. Il suo scopo è aiutare a identificare e classificare i fallimenti nel modo in cui valutiamo i modelli linguistici di grande dimensione utilizzando rubriche. RIFT suddivide questi fallimenti in tre categorie principali: Fallimenti di Affidabilità, Fallimenti di Validità del Contenuto e Fallimenti di Validità Consequenziale, per un totale di otto tipi distinti di fallimento. Questo strumento colma una lacuna significativa nei metodi di valutazione per questi modelli, poiché gli approcci precedenti non diagnosticavano efficacemente i problemi delle rubriche oltre i risultati di base. Sviluppato utilizzando la teoria fondata, RIFT si basa su un'analisi approfondita delle rubriche provenienti da cinque dataset diversi, che includono aree come il seguire istruzioni e la scrittura creativa. Ulteriori dettagli sono disponibili nel preprint arXiv 2604.01375v2.