Osaurus: server LLM open-source per Mac unisce modelli AI locali e cloud

Osaurus, un server LLM open-source per dispositivi Apple, consente agli utenti di passare da modelli AI locali a quelli cloud mantenendo file e strumenti sul proprio hardware. Il co-fondatore Terence Pae, ex ingegnere software presso Tesla e Netflix, ha avviato il progetto dopo che gli utenti del suo precedente assistente AI desktop Dinoki hanno messo in dubbio il pagamento per i token. Osaurus si è evoluto in un 'cablaggio' che collega modelli come OpenAI, Anthropic, Gemini e opzioni locali come Llama e DeepSeek V4. Funziona in una sandbox isolata a livello hardware per la sicurezza e richiede almeno 64 GB di RAM per i modelli locali. L'app è stata scaricata oltre 112.000 volte dal lancio, avvenuto quasi un anno fa. Osaurus compete con Ollama, Msty e LM Studio, ma si rivolge a non sviluppatori con un'interfaccia facile da usare. Supporta oltre 20 plugin nativi per Mail, Calendario, Vision e altro, e ha recentemente aggiunto funzionalità vocali. I fondatori Pae e Sam Yoo partecipano all'acceleratore di startup Alliance con sede a New York e stanno esplorando applicazioni aziendali nei settori legale e sanitario, dove la privacy è fondamentale. Pae ritiene che l'efficienza per watt dell'AI locale stia migliorando rapidamente e potrebbe ridurre la dipendenza dai data center.