C’est pour répondre à ces besoins que nous avons collaboré avec Mathieu Ancelin, créateur et développeur principal d’Otoroshi et expert en API Management qui a fondé Cloud APIM, pour intégrer Otoroshi with LLM sur Clever Cloud. Cet add-on est désormais accessible en bêta à tous nos utilisateurs. Livré avec une configuration prête à l’emploi et une interface intuitive, il simplifie la mise en place de workflows IA avancés et offre une gestion centralisée de vos API; du WAF, etc.
- En savoir plus sur Otoroshi
- En savoir plus sur Otoroshi with LLM sur Clever Cloud
- Tutoriels vidéo de l’extension Otoroshi with LLM
Fournir des services IA au-delà de l’esbrouffe
Chez Clever Cloud, notre mission ne se limite pas au déploiement d’applications et d’add-ons. Nous sommes nés de la volonté de simplifier la vie des développeurs, de leur apporter du service par-delà notre solution de déploiement clé en main. Notre but premier est de comprendre les besoins de nos clients quotidien avec une seule obsession: chercher à y répondre de la meilleure manière possible. Dans le domaine émergent de l’IA comme ailleurs.
Et si nous voyons bien tout ce que l’intelligence artificielle a déjà changé dans nos métiers, à quelle vitesse les choses évoluent, nous nous devons de ne pas simplement foncer sur la dernière fonctionnalité à la mode et sauter de tendances en tendances pour faire la une.
Ces derniers mois, nous avons donc cherché à comprendre de quelle manière nous pouvions contribuer à un enjeu qui nous paraît essentiel : adapter l’IA aux contextes et besoins spécifiques des entreprises, non pas pour un service, mais pour tout un écosystème.
C’est pourquoi nous avons travaillé à identifier des outils robustes pour vos équipes : gestion centralisée des droits et de la facturation, intégrations, observabilité, auditabilité, résilience, et bien plus encore. Avec Otoroshi with LLM, nous proposons bien plus qu’une API gateway : un service clé en main pour gérer vos API et maximiser le potentiel de vos interactions IA.
Et comme à notre habitude, nous ne nous contentons pas de proposer un déploiement open source « en 1 clic », notre approche vise à intégrer des outils professionnels réellement adaptés à une utilisation quotidienne, avec un réel suivi de leur cycle de vie. Otoroshi with LLM, en tant qu’add-on de notre Marketplace, tire pleinement parti de notre plateforme : scalabilité, mises à jour simplifiées, intégrations sécurisées et paiement unifié.
L’extension LLM : votre point d’entrée unique pour l’intelligence artificielle
Avec l’extension LLM, Otoroshi devient un véritable hub centralisé pour toutes vos interactions avec des modèles de langage à grande échelle. En unifiant vos accès à des fournisseurs comme OpenAI, Anthropic, Hugging Face, Mistral ou encore les solutions d’OVHcloud et Scaleway, elle simplifie la gestion et optimise les opérations.
Vous pouvez par exemple intégrer les tokens de ces différents services et permettre leur utilisation avec une URL unique pour l’ensemble de vos équipes ou une en particulier, en sélectionnant les modèles auxquels elle a accès, avec un jeton spécifique, ses droits, limites d’usage, etc. Vous pouvez également adapter à la volée les prompts envoyés aux modèles pour garantir la qualité des réponses mais aussi leur fournir du contexte. Vous n’avez plus besoin de gérer cela application par application, c’est directement inclus dans votre API.
En cas de charges importantes, le système répartit intelligemment les requêtes entre plusieurs fournisseurs et peut mettre en cache les résultats pertinents pour accélérer les temps de réponse. Enfin, chaque interaction est enregistrée et auditable, offrant une traçabilité complète pour optimiser vos workflows ou respecter des exigences de conformité.
Sécurité renforcée : préservez vos données et vos modèles
Les enjeux de sécurité sont au cœur de l’extension LLM. Grâce à ses mécanismes avancés de contrôle des accès, vous pouvez prévenir les fuites d’informations sensibles et protéger vos données grâce à des mécaniques incluses de modération par exemple. Mais vous pouvez définir vos propres règles, basiques ou programmatiques selon vos besoins.
Les autorisations d’accès sont définies de manière granulaire, en fonction des métadonnées des consommateurs ou des paramètres de requêtes. De plus, des outils comme les règles de validation garantissent que les informations sensibles ne soient pas incluses dans les requêtes.
Un déploiement simplifié avec Clever Cloud
Avec Clever Cloud, déployer Otoroshi with LLM est un jeu d’enfant. Vous pouvez le faire via la Console, l’API ou les Clever Tools. Une fois déployé, vous accédez immédiatement à une URL de gestion et à des identifiants temporaires pour personnaliser votre instance :
$ clever addon create otoroshi myOtoroshi
Add-on created successfully!
ID: addon_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Real ID: otoroshi_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
Name: myOtoroshi
Your Otoroshi with LLM is starting:
- Access it: https://xxxxxxxxxxxxxxxxxxxx-otoroshi.services.clever-cloud.com
- Manage it: https://console.clever-cloud.com/addon_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
An initial account has been created, change the password at first login (Security -> Administrators -> Edit user):
- Admin user name: xxxxxxxxxxxxxxxxxxxxxxxx
- Temporary password: xxxxxxxxxxxxxxxxxxxxxxxx
/!\ The otoroshi provider is in beta testing phase
Learn more about Otoroshi with LLM on Clever Cloud: https://developers.clever-cloud.com/doc/addons/otoroshi/L’add-on s’appuie sur une application Java préconfigurée et une base de données Redis® pour gérer vos flux. En quelques minutes, vous serez prêt à exploiter toute la puissance d’Otoroshi et de son extension LLM.
Cas d’usage pratique : libérez la puissance de vos API
Avec Otoroshi with LLM, vous avez la possibilité de transformer la gestion de vos API et services IA en un véritable atout pour votre équipe. Imaginez une plateforme centralisée qui vous permet de configurer un agent IA pour distribuer des jetons d’accès de manière sécurisée et contrôlée à vos équipes ou à vos clients. Ces jetons peuvent être paramétrés pour des usages spécifiques, limitant les accès à certaines fonctionnalités ou ressources selon vos besoins. Cela garantit un partage sécurisé et adapté aux différents acteurs de vos projets.
Ensuite, tirez parti des outils de modération et de contrôle des prompts. En vous assurant qu’aucune donnée sensible ou inappropriée n’est transmise dans vos requêtes, vous protégez non seulement vos informations internes, mais vous améliorez également la qualité et la pertinence des réponses générées par les modèles IA.
Enfin, exploitez les capacités d’audit d’Otoroshi. Chaque interaction avec vos API est enregistrée avec des détails précis, votre gestion de compte/SSO, vous offrant une vision complète des usages. Cette transparence permet non seulement d’optimiser vos workflows, mais aussi de répondre aux éventuelles exigences de conformité.
Tout cela, vous pouvez en disposer au travers d’une interface web, mais également de l’API d’Otoroshi qui est accessible et elle aussi préconfigurée avec votre add-on. C’est d’ailleurs ce qui nous permettra d’apporter des intégrations de ce service au sein même de Clever Cloud.
Otoroshi with LLM en action : rejoignez-nous sur Twitch le 18 décembre
Vous souhaitez voir Otoroshi with LLM en action ? Nous organisons une démonstration en direct sur notre chaîne Twitch, le 18 décembre à 13h. Découvrez comment configurer et utiliser l’add-on pour vos projets IA et API.
Ce live sera également l’occasion de vous dévoiler ce que nous préparons avec Cloud APIM autour d’Otoroshi. Venez pour en savoir plus sur ce que nous vous réservons pour 2025.
Un outil en constante évolution : votre avis compte !
Otoroshi with LLM illustre parfaitement notre engagement à proposer des solutions technologiques performantes, tout en les intégrant au cœur de notre écosystème. Testez-le dès aujourd’hui, et préparez vos équipes à exploiter tout le potentiel de vos API et services IA.
Actuellement en bêta, Otoroshi with LLM est parfaitement fonctionnel mais en constante amélioration. Vos retours sont essentiels pour affiner l’expérience utilisateur et les fonctionnalités proposées. Rejoignez notre communauté GitHub pour partager vos suggestions et poser vos questions.