EmbGen: Pipeline di Dati Sintetici per l'Addestramento di LLM Specifici di Dominio

EmbGen è una pipeline per generare dati sintetici che adatta piccoli modelli istruiti a domini specifici. Scompone un corpus di dominio in coppie di descrizioni di entità, che vengono poi ricostruite utilizzando strutture semantiche basate su similarità di embedding. Le coppie domanda-risposta vengono prodotte tramite campionamento per prossimità, nonché campionamento intra-cluster e inter-cluster con prompt adattati a cluster specifici. Le prestazioni di EmbGen sono state valutate rispetto a EntiGraph, InstructLab e Knowledge-Instruct su tre dataset che presentano eterogeneità semantica diversa, utilizzando budget di token fissi di 5 e 20 milioni di token. Questo approccio mira a ridurre i costi associati alla raccolta di esempi di istruzione-risposta curati per il fine-tuning supervisionato.