Ottimizzazione di LLM Causal per la Classificazione del Testo: Metodi di Embedding vs. Istruzioni

Uno studio disponibile su arXiv valuta due approcci per l'ottimizzazione di Large Language Models (LLM) decoder-only finalizzata alla classificazione del testo quando le risorse sono limitate: l'ottimizzazione basata su embedding (che prevede l'aggiunta di una testa di classificazione all'embedding del token finale) e l'ottimizzazione tramite istruzioni (che utilizza un formato prompt-to-response). La ricerca ha utilizzato la quantizzazione a 4 bit e il Low-Rank Adaptation (LoRA) su una singola GPU per modelli con fino a 8 miliardi di parametri. Esperimenti condotti su due benchmark di brevetti—un corpus proprietario a etichetta singola con cinque classi e il dataset pubblico WIPO-Alpha multi-etichetta con 14 categorie—indicano che la tecnica basata su embedding eguaglia o supera l'ottimizzazione tramite istruzioni nella classificazione a etichetta singola, richiedendo da 10 a 30 volte meno parametri. L'ottimizzazione tramite istruzioni risulta competitiva solo in scenari multi-etichetta. Questo articolo è catalogato su arXiv con ID 2512.12677.