Algoritmo CYK Iniettato nell'Architettura delle Reti Neurali
I ricercatori propongono CYKNN, una rete neurale ricorrente che codifica direttamente l'algoritmo Cocke-Younger-Kasami (CYK) per l'analisi grammaticale context-free. L'architettura utilizza operazioni matrice-vettore addestrabili per implementare l'algoritmo, superando LLM con oltre 20 miliardi di parametri in contesti di apprendimento in-context e modelli Qwen più piccoli ottimizzati con LoRA su una grammatica semplice con quattro variazioni. Questo lavoro dimostra un nuovo approccio neuro-simbolico iniettando struttura algoritmica nelle reti neurali.
Fatti principali
- CYKNN è un'architettura di rete neurale ricorrente che codifica l'algoritmo CYK.
- L'algoritmo CYK analizza grammatiche context-free in Forma Normale di Chomsky.
- CYKNN utilizza operazioni matrice-vettore addestrabili.
- Gli esperimenti hanno utilizzato una grammatica semplice con quattro variazioni.
- CYKNN ha superato LLM con oltre 20 miliardi di parametri nell'apprendimento in-context.
- CYKNN ha superato modelli Qwen più piccoli ottimizzati con LoRA.
- L'approccio inietta algoritmi direttamente nell'architettura della rete neurale.
- L'articolo è su arXiv sotto Computer Science > Computation and Language.
Entità
Istituzioni
- arXiv