L'IA locale dovrebbe essere la norma, non le dipendenze dal cloud
L'autore sostiene che gli sviluppatori fanno eccessivo affidamento su modelli di IA ospitati nel cloud (OpenAI, Anthropic) per le funzionalità delle app, creando software fragile e invasivo della privacy. Propone l'elaborazione IA sul dispositivo, citando le API dei modelli locali di Apple come alternativa valida. Viene fornito un esempio concreto: l'app iOS Brutalist Report genera riassunti di articoli interamente sul dispositivo utilizzando i modelli locali di Apple, evitando deviazioni verso server, problemi di conservazione dei dati e dipendenze da fornitori. L'autore sottolinea che l'IA locale eccelle nella trasformazione dei dati di proprietà dell'utente (riassunto, classificazione, estrazione) e che la maggior parte delle funzionalità non richiede l'intelligenza dei modelli cloud. Evidenzia gli strumenti di Apple per output strutturati tramite tipi Swift, consentendo sottosistemi IA affidabili e tipizzati. L'articolo invita a tornare a software local-first, utilizzando modelli cloud solo quando realmente necessario.
Fatti principali
- Gli sviluppatori spesso aggiungono funzionalità IA tramite chiamate API a OpenAI o Anthropic.
- Le app dipendenti dal cloud si rompono quando i server vanno in crash o le carte di credito scadono.
- I dispositivi locali hanno potenti Neural Engine che sono per lo più inattivi.
- Trasmettere contenuti utente a fornitori IA di terze parti solleva problemi di conservazione dei dati, consenso e privacy.
- L'app iOS Brutalist Report genera riassunti sul dispositivo utilizzando le API dei modelli locali di Apple.
- Apple fornisce strumenti per output IA strutturati tramite struct Swift con campi tipizzati.
- I modelli locali sono eccellenti per riassunto, classificazione, estrazione, riscrittura e normalizzazione.
- L'autore esorta a utilizzare modelli cloud solo quando necessario e a trattare l'IA come un sottosistema affidabile.
Entità
Istituzioni
- OpenAI
- Anthropic
- Apple
- Brutalist Report
Luoghi
- Virginia