Scality lance AI Inference Factory pour déployer l’IA d’entreprise sur site

À mesure que l’IA passe de la phase d'expérimentation à des déploiements en production, les organisations recherchent des coûts plus prévisibles, un meilleur contrôle du cycle de vie des modèles et une souveraineté accrue sur leurs données. Pour la plupart d’entre elles, la réponse sera hybride, les processus d’IA les plus critiques étant exécutés sur site. Exécuter l’inférence localement permet de répondre à ces exigences tout en conservant les données sensibles au sein d’une infrastructure qu‘elles contrôlent.

Scality AI Inference Factory réunit des modèles open-weight validés, une couche de service d’inférence désagrégée, un niveau de contrôle qui assure l’authentification, la supervision, le routage et l’ordonnancement, ainsi que Scality AI Data Infrastructure (ADI), qui s’appuie sur des opérations autonomes selon des process précis pour gérer des volumes de données massifs tout au long du cycle de vie de la donnée. Scality valide, livre et maintient l’ensemble de la stack intégrée sous forme de solution supportée.

« Avec l’arrivée de l’IA dans des environnements de production critiques, les organisations ont besoin de mieux maîtriser l’endroit où s’exécute l’inférence, la manière dont leurs modèles sont gérés et ce qu’il advient de leurs données” déclare Jérôme Lecat, CEO de Scality. “Depuis 15 ans, Scality conçoit des infrastructures de données sur lesquelles des milliers de clients dans le monde s’appuient pour fonctionner 24h/24, 7j/7. Scality AI Inference Factory met cette expérience au service de l’IA sur site, en offrant aux organisations la fiabilité et la souveraineté dont elles ont besoin pour exécuter leurs tâches d’IA critiques selon leurs propres conditions. »

Les limites de l’IA dans le cloud suscitent l’intérêt pour l’inférence sur site…

Les entreprises qui déploient l’IA à grande échelle en production se heurtent aux limites de l’inférence dans le cloud. Avec une tarification au token, plus les usages IA se développent, plus ils coûtent cher, ce qui génère des factures difficiles à maîtriser.

Les versions des modèles et leur quantification peuvent être modifiées à l’initiative du fournisseur, avec des répercussions sur les workflows qui en dépendent. Les organisations qui traitent des données sensibles ou réglementées font face à des enjeux de souveraineté : où leurs prompts, documents et codes propriétaires sont-ils traités, sous quelle juridiction, et qui peut en restreindre l’accès ?

Scality AI Inference Factory est conçue pour les organisations qui souhaitent exécuter leurs workloads d’IA critiques sur une infrastructure qu’elles contrôlent, tout en conservant leur liberté de choix en matière de modèles, de matériel et de logiciels. La stack prend en charge les chatbots spécialisés, le développement logiciel assisté par l’IA, les applications basées sur des agents IA et d’autres workloads à forte intensité d’inférence.

Scality AI Inference Factory associe :

• des modèles open-weight validés, maintenus dans le cadre de la stack supportée ;
• un service d’inférence désagrégé, qui sépare le prefill du decode afin que chacun puisse évoluer indépendamment ;
• un niveau de contrôle qui authentifie et comptabilise les requêtes, les achemine vers les GPU qui détiennent déjà le contexte pertinent et répartit les workloads en fonction des objectifs de SLA;
• Scality ADI, qui fournit un stockage objet haute performance pour les poids des modèles, les données de l’entreprise et le contexte de l’inférence.

Scality valide et maintient l’ensemble de la stack comme une seule solution, ce qui aide les organisations à suivre l’évolution rapide des modèles, des technologies de service d’inférence et des exigences de sécurité, sans avoir à intégrer et maintenir elles-mêmes chacun des composants. « Les organisations qui ont commencé avec des services d’IA dans le cloud réévaluent aujourd’hui l’endroit où l’inférence doit être exécutée. Dans nos échanges avec nos clients, l’inférence sur site est devenue une option crédible pour un nombre croissant de workloads des entreprises et du secteur public, à condition que l’infrastructure puisse conserver et servir efficacement l’état des modèles à grande échelle. Scality fait partie des fournisseurs qui répondent à cette exigence, aussi bien pour l’inférence que pour le stockage. » explique Nataliya Yezhkova, Vice President, Storage and Data Management, Enterprise Infrastructure, IDC.

Scality ADI étend l’inférence IA au-delà des limites de la mémoire GPU

Scality ADI constitue la couche de stockage partagée de Scality AI Inference Factory et étend le cache clé-valeur (KV cache) au-delà de la mémoire à haute bande passante (HBM), dont la capacité est limitée sur les GPU. L’infrastructure d’inférence peut ainsi stocker et récupérer les poids des modèles et le contexte des sessions plus précisément le contexte des modèles au lieu d’obliger les GPU à le recalculer, ce qui améliore l’utilisation des GPU et réduit les coûts d’inférence.

C’est particulièrement important pour les modèles de raisonnement et les workloads agentiques, pour lesquels le KV cache peut rapidement dépasser la mémoire GPU disponible. Scality ADI fournit un cache partagé de plusieurs pétaoctets que les GPU lisent avec une latence du même ordre de grandeur que celle de la mémoire GPU, ce qui leur permet de récupérer le contexte existant et de rester concentrés sur l’inférence.

Les tests réalisés par Scality ont démontré que Scality ADI permet de réduire la consommation de GPU tout en maintenant le même niveau de performance :

• Un temps de chargement de 1,9 seconde pour Gemma-3 27B, soit près de 10 fois plus rapide qu’un NVMe local, le modèle étant téléchargé en parallèle sur l’ensemble du cluster via RDMA ;
• 166 ms de time-to-first-token à chaud pour la restauration depuis Scality ADI d’un contexte de 14 000 tokens, soit seulement 83 ms de plus par rapport à la HBM ;
• La récupération du KV cache est 14 fois plus rapide que son recalcul sur un contexte de 14 000 tokens, et jusqu’à 72 fois plus rapide sur un contexte de 439 000 tokens ;
• un KV cache plus de 80 fois plus grand que la mémoire d’un seul GPU, permettant de reprendre jusqu’à 1 000 sessions simultanées sans recalcul ;
• Pas de dégradation de la latence inter-tokens, le contexte ayant été entièrement restauré avant l'émission du premier token ;
• 97 % du réseau disponible saturé pour les transferts de données entre les GPU et le stockage Scality ADI.

L’architecture sépare le prefill du decode, Scality ADI jouant le rôle de cache partagé entre les serveurs GPU. Les GPU de decode disponibles peuvent ainsi accéder au contexte existant sans que celui-ci soit lié à un serveur GPU spécifique. Les gains liés à la séparation du prefill et du decode sont documentés : DistServe (OSDI 2024) a mesuré jusqu’à 7,4 fois plus de requêtes servies dans les mêmes objectifs de latence. En ajoutant un service de KV cache partagé, Mooncake de Moonshot AI a fait état de 75 % de requêtes supplémentaires sur le trafic de production de Kimi.

Comme l’explique Giorgio Regni, CTO de Scality : « Le stockage n’est plus une raison de conserver le KV cache à l’intérieur du serveur GPU. Cela ouvre la voie au service désagrégé. Un pool de GPU prend en charge le prefill : il traite le prompt et écrit le KV cache dans ADI. Un second pool prend en charge le decode : il relit le cache et génère les tokens. Avec ADI comme cache partagé, n’importe quel GPU de decode peut reprendre n’importe quel contexte, sans limite de taille. Le prefill n’interrompt plus le decode, et les deux pools fonctionnent à pleine charge. »

Pour une analyse technique approfondie de l’architecture de Scality AI Inference Factory et des résultats des tests, consultez le blog associé de Scality.

Une architecture ouverte pour plus de flexibilité sur les modèles, les frameworks et le matériel

Scality AI Inference Factory est conçu pour préserver la liberté de choix des clients sur tous les niveaux de la stack d’infrastructure d’IA. Il est compatible avec des harness open source et des frameworks pour agents IA tels qu’OpenCode, Hermes, Goose, LangGraph et Pydantic AI, et exécute des modèles open-weight validés tels que Mistral, Gemma, gpt-oss, Qwen, Kimi, GLM et DeepSeek. Le logiciel se déploie sur des serveurs standard de Dell, HPE, Lenovo et Supermicro.

Chaque composant livré par Scality est fourni à la demande, ce qui permet aux clients d’examiner la manière dont l’état de l’inférence est stocké et déplacé, et de soumettre des contributions à l'examen de Scality. Pour les organisations qui exécutent des workloads d’IA sensibles, réglementées ou souveraines, cela apporte de la transparence sur les logiciels qui traitent leurs modèles et leurs données, au lieu de devoir s’en remettre à un service externe fermé. Scality ADI s’intègre aux stacks d’IA standard et se déploie à l’échelle de plusieurs pétaoctets à travers RDMA, que ce soit sur des drives NVMe ou disques HDD, pour une capacité de KV cache pratiquement illimitée. Un namespace unique hiérarchise automatiquement les données entre TLC, HDD et, en option, bande magnétique, ce qui permet aux organisations d’aligner les performances et l’économie du stockage sur les différentes étapes du cycle de vie des données d’IA.

Disponibilité

Scality AI Inference Factory est disponible dès aujourd’hui sous forme de licence logicielle ou de service entièrement managé. Scality présentera la solution et son architecture de référence lors du Scality Day, le 8 octobre à Paris. Pour en savoir plus, consultez la page web de Scality AI Inference Factory ainsi que le blog associé pour découvrir plus en détail l’architecture et les aspects techniques.