CHoE: Apprendimento tramite Prompt su Grafi Eterogenei Cross-Dominio con Esperti Condizionati dalla Struttura
Il metodo CHoE, recentemente introdotto, affronta le carenze delle attuali tecniche di Apprendimento tramite Prompt su Grafi Eterogenei (HGPL), che funzionano bene in domini specifici ma falliscono quando applicate a contesti diversi. Basato su una rete di esperti, CHoE è un approccio HGPL cross-dominio. Incorpora e addestra esperti condizionati dalla struttura durante la fase di pre-addestramento. Per il prompt tuning, impiega un meccanismo di routing degli esperti e bilanciamento del carico che si concentra sulla selezione di esperti compatibili con la struttura. Questa metodologia è descritta in un articolo disponibile su arXiv (2605.15888).
Fatti principali
- 1. CHoE è un metodo HGPL cross-dominio.
- 2. Utilizza esperti condizionati dalla struttura durante il pre-addestramento.
- 3. Utilizza routing degli esperti e bilanciamento del carico consapevoli della struttura durante il prompt tuning.
- 4. I metodi HGPL esistenti sono limitati a scenari intra-dominio.
- 5. Le implementazioni nel mondo reale spesso abbracciano più domini.
- 6. I dati di pre-addestramento e downstream possono avere distribuzioni diverse.
- 7. L'articolo è su arXiv con ID 2605.15888.
- 8. CHoE affronta il degrado delle prestazioni quando i domini cambiano.
Entità
Istituzioni
- arXiv