S²IT: Integrazione Sintattica Graduale per LLM nella Previsione dei Quadruplette di Sentiment degli Aspetti
È stato proposto un nuovo framework chiamato S²IT (Stepwise Syntax Integration Tuning) per migliorare i grandi modelli linguistici (LLM) nella previsione dei quadruplette di sentiment degli aspetti (ASQP). Mentre i LLM eccellono nella comprensione semantica, faticano a incorporare le informazioni sulla struttura sintattica nei paradigmi generativi. S²IT affronta questo problema attraverso un processo di tuning multi-step che scompone la generazione dei quadruplette in due fasi: Estrazione Guidata dalla Sintassi Globale e Classificazione Guidata dalla Sintassi Locale, seguite da un Tuning Strutturale Fine. Il framework integra progressivamente sia la conoscenza sintattica globale che locale, con l'obiettivo di migliorare il ragionamento e la comprensione strutturale del modello. L'articolo è disponibile su arXiv.
Fatti principali
- S²IT è un nuovo framework per integrare la struttura sintattica nei LLM per ASQP.
- Il processo di training consiste in tre passaggi.
- La generazione dei quadruplette è scomposta in due fasi: Estrazione Guidata dalla Sintassi Globale e Classificazione Guidata dalla Sintassi Locale.
- Il Tuning Strutturale Fine migliora la comprensione della struttura sintattica.
- L'articolo è pubblicato su arXiv con ID 2604.23296.
- Le informazioni sintattiche sono state efficaci nei paradigmi estrattivi ma sottoutilizzate nei LLM generativi.
- Il framework mira a migliorare le capacità di ragionamento dei LLM per ASQP.
- L'approccio è graduale e integra progressivamente la conoscenza sintattica.
Entità
Istituzioni
- arXiv