TCM-Serve: Scheduling sensibile alla modalità per l'inferenza di LLM multimodali

Un nuovo sistema chiamato TCM-Serve affronta le difficoltà di scheduling associate al servizio di modelli linguistici di grandi dimensioni multimodali (MLLM), come ChatGPT, Gemini e Copilot. Questi modelli elaborano testo, immagini e video, ma gli attuali framework di servizio LLM progettati per attività solo testuali soffrono di blocco testa-coda e prestazioni ridotte quando gestiscono richieste multimodali eterogenee. L'osservazione cruciale è che queste richieste hanno requisiti di risorse significativamente diversi: i video funzionano come camion, le immagini come auto e il testo come motociclette. TCM-Serve agisce come uno scheduler sensibile alla modalità, consentendo alle richieste più piccole (testo) di essere elaborate rapidamente mentre impedisce che quelle più grandi (immagini, video) vengano ritardate. Il sistema categorizza le richieste e modifica lo scheduling per garantire reattività interattiva. La ricerca è accessibile su arXiv con l'identificatore 2603.26498.