Ricerca sull'IA: I LLM Formano 'Società del Pensiero', i Benchmark del Design dei Chip Mostrano Limiti, Huawei Automatizza la Generazione dei Kernel

Fatti principali

• I ricercatori di Google hanno scoperto che LLM come DeepSeek-R1 simulano multiple personalità interne, creando una 'società del pensiero' per la risoluzione dei problemi.
• Il benchmark ChipBench mostra che i modelli di IA all'avanguardia hanno prestazioni scarse nella progettazione di chip nel mondo reale, con tassi di successo inferiori al 50% per compiti Verilog.
• L'LLM Aletheia di Google DeepMind ha generato 200 soluzioni candidate per problemi di Erdős, con solo 2 considerate soluzioni autonome nuove.
• Huawei e l'Università di Nanjing hanno sviluppato AscendCraft, utilizzando LLM per automatizzare il design dei kernel per chip AscendC con una correttezza funzionale del 90,4%.
• La ricerca ha coinvolto istituzioni come l'Università di Chicago, il Santa Fe Institute, UC San Diego, la Columbia University e multiple università globali.
• I modelli testati includevano DeepSeek-R1, QwQ-32B e varie versioni di OpenAI, Anthropic, Google, Meta e DeepSeek.
• La valutazione umana è rimasta cruciale, poiché le soluzioni generate dall'IA richiedevano un filtraggio esperto per identificare risposte corrette e significative.
• Gli studi sono stati pubblicati su arXiv, coprendo argomenti dal ragionamento dei LLM al design di chip assistito dall'IA e alla risoluzione di problemi matematici.