Crystal: Metodo Basato su LLM per Classificare gli Articoli Citati
I ricercatori hanno introdotto Crystal, una tecnica innovativa che utilizza modelli linguistici di grandi dimensioni (LLM) per classificare collettivamente tutti i lavori citati all'interno di un documento citante, anziché valutare ogni citazione separatamente. Questo metodo sfrutta il contesto completo delle citazioni per identificare più efficacemente i riferimenti significativi. Rispetto a un precedente classificatore d'impatto leader, Crystal raggiunge un miglioramento del +9,5% in accuratezza e dell'8,3% in F1 su un dataset con citazioni annotate da umani. Per affrontare il bias posizionale degli LLM, ogni classificazione viene eseguita tre volte in sequenza randomizzata, con le etichette d'impatto determinate tramite voto di maggioranza. Crystal migliora anche l'efficienza riducendo il numero di chiamate LLM e compete bene con un modello open-source, rendendo la valutazione dell'impatto delle citazioni scalabile ed economica.
Fatti principali
- 1. Crystal classifica congiuntamente tutti gli articoli citati all'interno di un documento citante utilizzando LLM.
- 2. Supera lo stato dell'arte precedente con un miglioramento del +9,5% in accuratezza e dell'8,3% in F1.
- 3. Il bias posizionale viene mitigato classificando ogni lista tre volte in ordine randomizzato.
- 4. Le etichette d'impatto vengono aggregate tramite voto di maggioranza.
- 5. Crystal utilizza meno chiamate LLM rispetto ai metodi precedenti.
- 6. Si comporta in modo competitivo con un modello open-source.
- 7. Il metodo sfrutta il contesto completo della citazione per una distinzione più affidabile dell'impatto.
- 8. È stato utilizzato un dataset di citazioni annotate da umani per la valutazione.
Entità
—