Le startup ripensano l'architettura dei transformer per costruire LLM più veloci ed economici

Una nuova ondata di startup sta sfidando il predominio dei transformer, il design di reti neurali che alimenta i principali modelli linguistici di grandi dimensioni (LLM). Dal loro lancio da parte di Google nel 2017, i transformer sono stati ostacolati da notevoli esigenze computazionali e da difficoltà con contesti lunghi. Aziende come Subquadratic, Manifest AI, Liquid AI, Inception e Pathway stanno creando alternative, tra cui meccanismi di attenzione sparsa, strategie di ritenzione della potenza e generazione di testo basata su diffusione. SubQ di Subquadratic compete con i popolari LLM, mentre Manifest AI offre riassunti scorrevoli per condensare il contesto. Liquid AI fonde i transformer con reti neurali liquide per una migliore efficienza energetica. Mercury 2 di Inception supera GPT-4 di dieci volte, e Dragon Hatchling di Pathway ha risolto con successo oltre il 97% dei difficili puzzle di sudoku. Si prevede che OpenAI spenderà 50 miliardi di dollari per il calcolo nel 2023.