Talkie: un modello linguistico da 13 miliardi di parametri addestrato su testi antecedenti al 1931

I ricercatori Nick Levine, David Duvenaud e Alec Radford (famoso per GPT) hanno rilasciato talkie, un modello linguistico da 13 miliardi di parametri addestrato esclusivamente su testi inglesi antecedenti al 1931. Il modello base, talkie-1930-13b-base (53,1 GB), è stato addestrato su 260 miliardi di token di testo storico. Una versione ottimizzata, talkie-1930-13b-it (26,6 GB), utilizza coppie istruzione-risposta estratte da opere di riferimento pre-1931 e dati sintetici generati da moderni LLM (Claude Sonnet 4.6 e Claude Opus 4.6) per migliorare le capacità conversazionali. Entrambi i modelli sono concessi in licenza Apache 2.0. Il progetto mira a creare un LLM 'vegano' addestrato su dati fuori dal diritto d'autore, sebbene il modello chat si basi su modelli non vegani per l'ottimizzazione. Il team spera che le versioni future utilizzino modelli base vintage come giudici per un addestramento post-formazione completamente adatto all'epoca. Una demo è disponibile online. Il progetto è stato annunciato da Simon Willison il 28 aprile 2026.