TELLME: L'Apprendimento Potenziato da Test Migliora l'Adattamento di Dominio dei Modelli Linguistici
Un nuovo approccio chiamato TELLME (Apprendimento Potenziato da Test per l'Arricchimento dei Modelli Linguistici) è stato sviluppato dai ricercatori, integrando i principi dell'apprendimento potenziato da test con il pre-addestramento continuo per migliorare l'adattamento di dominio nei grandi modelli linguistici. Questo metodo affronta problemi comuni nel pre-addestramento continuo, tra cui le sfide nell'ottenere ampi set di dati specifici del dominio e gli elevati costi computazionali associati. Incorporando quiz durante il processo di addestramento, TELLME aumenta l'efficienza e aiuta la memorizzazione a lungo termine. I risultati sperimentali indicano che TELLME supera i metodi attuali fino al 23,6% nel settore finanziario e mostra un aumento del 9,8% nella memorizzazione a lungo termine. L'articolo di ricerca è disponibile su arXiv con l'identificatore 2608.11788.
Fatti principali
- TELLME è un nuovo metodo per il pre-addestramento continuo di grandi modelli linguistici.
- Sfrutta il principio dell'Apprendimento Potenziato da Test per migliorare l'efficienza dell'addestramento.
- Il metodo integra quiz durante l'addestramento per migliorare l'acquisizione della conoscenza.
- TELLME affronta sfide come l'acquisizione di set di dati su larga scala e gli elevati costi computazionali.
- Gli esperimenti mostrano un miglioramento fino al 23,6% nel dominio finanziario.
- La memorizzazione a lungo termine è migliorata del 9,8%.
- L'articolo è stato inviato ad arXiv ed è categorizzato sotto Computer Science > Computation and Language.
- L'identificatore arXiv è 2608.11788.
Entità
Istituzioni
- arXiv