Il formato Safetensors passa alla PyTorch Foundation per una governance comunitaria
L'iniziativa Safetensors, creata da Hugging Face, è diventata parte della PyTorch Foundation, che opera sotto la Linux Foundation, garantendo una struttura di governance neutrale per il formato dei modelli di machine learning. Questo formato mira a ridurre le vulnerabilità di sicurezza associate all'archiviazione dei pesi dei modelli sostituendo i tradizionali formati pickle. Incorpora un'intestazione JSON limitata a 100MB, insieme a funzionalità come zero-copy e lazy loading. Attualmente, decine di migliaia di modelli utilizzano Safetensors come formato standard sull'Hugging Face Hub. Luc e Daniel, i principali manutentori, continueranno a far parte del Technical Steering Committee. I prossimi miglioramenti includeranno il caricamento device-aware per CUDA e ROCm, Tensor Parallel APIs e il supporto per FP8 e vari formati di quantizzazione. La documentazione di governance è ora disponibile nei file GOVERNANCE.md e MAINTAINERS.md.
Fatti principali
- Safetensors si è unita alla PyTorch Foundation
- Il progetto è nato come iniziativa di Hugging Face
- È stato creato per prevenire l'esecuzione di codice dannoso nei pesi dei modelli
- Il formato utilizza un'intestazione JSON con limite di 100MB
- Decine di migliaia di modelli in tutte le modalità ML utilizzano Safetensors
- I manutentori principali Luc e Daniel rimangono nel Technical Steering Committee
- Lo sviluppo futuro include il caricamento device-aware per CUDA e ROCm
- Il progetto potrebbe diventare un sistema di serializzazione all'interno del core di PyTorch
Entità
Artisti
- Luc
- Daniel
Istituzioni
- Hugging Face
- PyTorch Foundation
- Linux Foundation
- GitHub