Ottimizzazione Fine degli LLM con Dati Sintetici per il Rilevamento della Tossicità nelle Chat di Gioco
Un team di ricercatori ha partecipato alla Shared Task EEUCA 2026 incentrata sulla comprensione del comportamento tossico nelle comunità di gioco, ottenendo il 4° posto su 35 squadre partecipanti. La sfida richiedeva la classificazione dei messaggi di chat di World of Tanks in sei categorie di tossicità: Non tossico, Insulti/Fiammate, Altro offensivo, Odio/Molestie, Minacce ed Estremismo. La strategia più efficace ha integrato Llama 3.1 8B con un aumento del 5% di dati sintetici tramite fine-tuning, raggiungendo un punteggio F1-macro di 0,6234 sul set di test. Inoltre, la ricerca ha scoperto un problema di 'trappola di validazione', evidenziando che forti risultati di validazione non portavano necessariamente a una generalizzazione efficace sul set di test.
Fatti principali
- Il sistema si è classificato 4° su 35 squadre nella Shared Task EEUCA 2026
- Il compito prevede la classificazione dei messaggi di chat di World of Tanks in sei categorie di tossicità
- Il miglior sistema utilizza Llama 3.1 8B con un aumento del 5% di dati sintetici
- Ha raggiunto un punteggio F1-macro di 0,6234 sul set di test
- Identificato il fenomeno della 'trappola di validazione' nella generalizzazione del modello
- Esplorati modelli basati su encoder, LLM con istruzioni e LoRA, classificazione gerarchica, strategie one-vs-rest e metodi ensemble
- Categorie: Non tossico, Insulti/Fiammate, Altro offensivo, Odio/Molestie, Minacce, Estremismo
Entità
—