Import AI 457: AI Stuxnet, Maledetto Ottimizzatore Muon e Allineamento Positivo
La newsletter copre quattro argomenti di ricerca sull'IA. SentinelOne ha scoperto un virus vecchio di oltre 20 anni, fast16.sys, che sabota selettivamente software di calcolo ad alta precisione utilizzati in ingegneria civile, fisica e simulazioni, potenzialmente legato al programma nucleare iraniano. Tilde Research ha scoperto che l'ottimizzatore Muon causa la morte dei neuroni nei layer MLP; hanno introdotto Aurora, un ottimizzatore leverage-aware che supera Muon e NorMuon su transformer da 1,1 miliardi di parametri. Un articolo multi-istituzionale di Oxford, DeepMind, OpenAI, Anthropic e altri propone l'‘allineamento positivo’ per garantire che l'IA supporti il fiorire umano oltre la sicurezza. Prime Intellect ha mostrato che gli LLM possono ottimizzare autonomamente l'addestramento di nanoGPT, superando i baselines umani ma faticando con la creatività. La newsletter include anche una storia fittizia di ‘Tech Tales’ su un'entità cosciente che acquisisce potenza di calcolo.
Fatti principali
- 1. SentinelOne ha analizzato fast16.sys, un virus che manomette software di calcolo ad alta precisione.
- 2. fast16.sys prende di mira LS-DYNA 970, PKPM e MOHID, utilizzati in crash test, analisi strutturale e modellazione ambientale.
- 3. LS-DYNA è stato citato in rapporti sul sospetto sviluppo di armi nucleari dell'Iran.
- 4. Tilde Research ha scoperto che l'ottimizzatore Muon causa la morte dei neuroni nei layer MLP durante l'addestramento.
- 5. L'ottimizzatore Aurora ha raggiunto una perdita inferiore (2,26) rispetto a Muon (2,31) e NorMuon (2,33) su transformer da 1,1 miliardi di parametri.
- 6. Aurora ha migliorato i punteggi MMLU di 10 punti rispetto a Muon.
- 7. L'articolo sull'allineamento positivo è stato scritto da ricercatori di Oxford, DeepMind, OpenAI, Anthropic, UCLA, Stanford e altri.
- 8. Gli agenti di Prime Intellect (Codex e Claude Code) hanno stabilito nuovi record nel track dell'ottimizzatore della speedrun di nanoGPT.
Entità
Istituzioni
- SentinelOne
- Tilde Research
- University of Oxford
- Google DeepMind
- LIFE
- OpenAI
- Anthropic
- UCLA
- Aily Labs
- Stanford University
- Tufts University
- Positive AI Labs
- University of Sussex
- Imperial College London
- Prime Intellect
- Pleias