Clever Cloud est né de la volonté d’automatiser des tâches répétitives de gestion des infrastructures, tout en assurant aux développeurs qu’ils bénéficient du bon niveau de fiabilité et de sécurité. Dès nos débuts, nous avons misé sur la simplicité et l’intelligence pour les mettre au service de nos équipes et de nos clients de manière transparente. C’est ainsi que nous avons construit notre plateforme et notre orchestrateur maison : un git push suffit, on s’occupe du reste.
Avec l’émergence des besoins en termes d’IA, nous avons eu la même approche. Nous savions que notre plus-value ne pouvait reposer dans la seule mise à disposition de tels ou tels GPU dans des instances. Nous l’avions déjà fait il y a quelques années, nous en connaissons les limites. Dès lors, la question que nous nous sommes posés est : comment proposer mieux ?
Clever AI : un ensemble de solutions qui vous simplifient la vie
Notre plateforme permet de rapidement prototyper et déployer en production des applications qui exploitent l’AI. Que ce soit par sa nature “GitOps” ou ses fonctionnalités, comme le Configuration Provider pour fournir à différentes applications des éléments similaires comme des clés d’API. Pour accompagner certains use cases, nous avons par exemple utilisé un add-on provider pour générer et distribuer des tokens par service. Nous aurons l’occasion d’en reparler.
Mais lors de nos échanges avec différents clients et prospects, nous avons senti que les besoins étaient ailleurs, et qu’ils étaient multiples. Certes, la demande de dizaines (parfois centaines) de milliers d’euros de crédits gratuits d’instances GPU pour faire comme certains hyperscalers revenait régulièrement, mais nous avions aussi des demandes de modifications mineures de la plateforme pour l’adapter à certains besoins spécifiques, de proposer des solutions plus complexes mais ayant du sens, de faciliter le liens entre différents outils. C’est sur quoi nous nous sommes concentrés.
L’une des premières briques essentielles de notre stratégie était Otoroshi. Nous avons rapidement identifié des besoins et demandes récurrents sur le contrôle et la gestion des API qui sont au cœur des usages de l’IA. Après quelques PoC internes et une discussion avec son développeur principal Mathieu Ancelin, nous partagions un même constat : tout était présent dans Otoroshi pour répondre aux enjeux que nous avions identifiés. Le travail déjà commencé sur l’extension LLM multipliait le champ des possibles. Nous avons décidé de nous allier pour aller plus loin, ensemble.
50 nuances d’Otoroshi
Restait à choisir sous quelle forme nous allions le proposer. Car c’est la force et la faiblesse d’un produit open source complet, détaillé et extensible tel qu’Otoroshi, il peut être parfois complexe à comprendre et à utiliser, nécessitant une expertise spécifique.
C’est ce que cherchent et demandent certains de nos clients. C’est pour cela que nous avons tout d’abord proposé cette API Gateway sous la forme d’un add-on Clever Cloud qui peut être déployé en quelques clics, dans une version pré-configurée, simple à mettre à jour, profitant de nos fonctionnalités telles que l’auto-scaling et de la diversité de notre offre. Otoroshi est ainsi disponible dans nos zones de déploiement publiques, privées, air gap, edge ou on-premises.
Vous pouvez ainsi disposer de votre propre Otoroshi qui vient avec des extensions telles que la gestion des LLM, le WAF Coraza ou le récent Biscuit studio. Mais cela ne répondait pas à d’autres besoins exprimés qui étaient ceux de solutions plus clé en main, notamment dans la gestion des différents services d’IA exposant des API liées aux LLM.
Unifier l’accès aux services d’IA
C’est ainsi que nous avons décidé de proposer Otoroshi sous une forme dite “serverless” : vous n’avez pas d’instance à créer, de CPU/RAM/stockage à configurer, à adapter à la charge. Vous créez un service, vous l’adaptez à vos besoins et vous l’utilisez. Tout simplement.
Ainsi, le premier outil né de Clever AI vous permet de déclarer une multitude de fournisseurs d’IA que vous souhaitez utiliser, “the Clever way” : nous proposons les grands acteurs du secteur tels qu’Anthropic, DeepSeek, Google Gemini, OpenAI, x.AI, mais également ceux qui se sont développés de notre côté de l’Atlantique tels que Hugging Face, Mistral, OVHcloud ou Scaleway. Et bien entendu, n’importe quelle instance Ollama ou exposant une API compatible avec le “standard” d’OpenAI.
Ceux qui connaissent ce marché savent que cela n’est pas trivial à mettre en place. Si tout le monde s’entend autour de cette manière d’exposer les API, chacun vient avec son lot de complexité et de fonctionnalités que nous lissons à travers notre implémentation. Certains ont ainsi une manière spécifique de gérer l’authentification, la déclaration des modèles, exposent des tokens de raisonnement, gèrent ou non le function calling et le MCP, etc.
Avec Clever AI, une fois votre service créé, vous n’avez qu’un seul endpoint, une clé d’API, et tout répond au même format géré par une multitude de frameworks et de clients sur le marché. Il vous suffit donc de l’utiliser dans du code existant ou dans l’application de votre choix, comme vous le feriez avec un endpoint Mistral ou OpenAI par exemple.
Et si jamais vous voulez accéder directement à la multitude de modèles configurés sans n’avoir rien d’autre à faire, vous pouvez simplement accéder à l’interface de chat de votre endpoint, créé automatiquement, qui peut être personnalisée à vos couleurs. Vous pouvez le faire en utilisant vos clés d’API ou nous pouvons vous les fournir à la demande.
Ce n’est pas un endpoint, mais votre endpoint
Cette unification n’est pas la seule force de notre outil. Pour chaque élément créé, nous proposons aux utilisateurs d’ajouter leurs règles. C’est ce qui permet d’adapter les usages de l’IA aux besoins et contraintes de l’entreprise : organiser l’accès à tels fournisseurs/modèles par équipe, réduire le shadow IT, éviter les fuites de données, assurer une résilience et une gestion maîtrisée.
Ici, nous profitons des mécanismes d’Otoroshi qui propose de multiplier les clés d’API en leur attribuant des limites d’usage par période, de réduire les coûts via du cache sémantique, d’ajouter des limites par nombre de tokens utilisés, du contexte spécifique, de définir et d’activer des règles de modération, des “guardrails”, des fonctions ou template de réponse, de définir des politiques de load balancing/failover de modèles. Et tout cela à la volée, via notre API ou les Clever Tools.
De quoi vous permettre par exemple de scripter les usages pour poser une question à un modèle avec un contexte, continuer l’échange avec un autre modèle et un contexte différent, et ainsi créer un flow d’agents avec un endpoint unique, un accès unique, mais une infinité de possibilités.
Clever AI : au cœur de l’écosystème Clever Cloud
L’un des points importants de cette offre telle que nous la construisons est qu’elle bénéficie de l’ensemble des services de Clever Cloud. Les secrets peuvent être stockés dans Clever KMS, annoncé au Clever Cloud Fest, le chat repose sur Materia KV pour le stockage des conversations, l’authentification se fait à travers une instance Keycloak pour notre offre serverless, les fonctions peuvent exploiter notre FaaS, etc. Elle démontre l’intérêt de cette diversité de solutions.
Elle bénéficie ainsi de l’expertise de l’ensemble de nos équipes et partenaires, tel que vous pourriez le faire avec vos propres outils et applications. Si Clever AI est un ensemble, c’est aussi une brique par dessus laquelle vous pouvez imaginer, créer, construire des services, en réutilisant tout ou partie de ses éléments. A la disposition de l’imagination de nos clients.
Envie d’en discuter ? N’hésitez pas à nous contacter.
Construisons la suite ensemble, pour répondre à vos besoins
Otoroshi, le service de chat et d’endpoint serverless, ne sont qu’une première étape. Notre vision d’une IA multi-fournisseurs, multi-modèles, ouverte et simple dans ses usages, adaptée aux besoins des entreprises va bien au-delà des LLMs et des outils actuels.
Si vous avez des idées, des exigences particulières, ou même simplement des questions, n’hésitez pas à nous en parler, en ligne, lors des conférences auxquelles nous participons ou lors d’échanges plus directs avec nos équipes. Nous sommes à votre écoute. Comme nous l’avons fait jusque-là, nous continuerons de créer Clever AI comme nos autres produits, pour vous et avec vous.