Source: https://octoml.ai/
OctoML est une startup basée à Washington qui offre une plate-forme d’accélération pour le déploiement de modèles et d’algorithmes d’apprentissage automatique sur le matériel. Cette plate-forme aide principalement les équipes d’ingénierie à déployer les modèles d’apprentissage automatique de manière transparente et avec une précision accrue. La plate-forme est construite sur un projet de framework de compilateur Apache TVM open-source. Lors des récentes rondes de financement de série B, OctoML a levé 28 millions de dollars, ce qui porte le capital total de la société à environ 47 millions de dollars. Les fonds levés seront utilisés pour améliorer les machines de l’organisation, construire une équipe de réussite client et élargir l’équipe d’ingénierie pour développer et inclure de nouvelles fonctionnalités sur la plate-forme.
L’organisation a été cofondée par Jared Roesch, Jason Knight, Luis Ceze, Thierry Moreau, Tianqi Chen en 2019. La société prétend fournir aux développeurs une plate-forme qui optimisera automatiquement les performances du modèle d’apprentissage automatique sur le cloud et les appareils de périphérie ressemblent. OctoML est actuellement en mode d’accès anticipé et il existe environ 1000 inscriptions d’accès anticipé à la plate-forme. En un mot, l’entreprise prétend offrir à tous ses consommateurs:
- Fonctionnement automatique: Les modèles ML peuvent être optimisés pour mieux fonctionner simplement avec le web UP ou l’API de l’entreprise.
- Performances rapides: la plate-forme permet au modèle ML de fonctionner rapidement et efficacement, ce qui lui permet d’être mis sur le marché en une fraction de temps.
- Portabilité: la plate-forme encourage la flexibilité et, par conséquent, peut être appliquée à n’importe quel matériel.
OcotML a récemment lancé la prise en charge de la puce Apple M1, qui offrait d’excellentes performances. En outre, la société s’est également associée à d’énormes piliers de l’industrie comme Microsoft, Qualcomm et AMD pour créer des composants open-sourcing, puis fournir une optimisation des services à une pléthore de modèles d’apprentissage automatique. Fait intéressant, Microsoft est également client d’OctoML pour sa plate-forme.
Les équipes d’ingénieurs d’OctoML se préparent également à optimiser les modèles et à les former simultanément. Cela aiderait à attirer de nouveaux clients sur la plate-forme, car la formation de modèles d’apprentissage automatique peut s’avérer coûteuse et demander beaucoup d’efforts de la part des utilisateurs. L’entreprise cherche à devenir une solution de bout en bout pour ses clients.
La plateforme fonctionne en cinq étapes simples:
- La topologie du modèle est téléchargée dans n’importe quel format, qu’il s’agisse de TensorFlow, Pytorch ou ONNX.
- L’optimisation, l’analyse comparative et l’empaquetage du modèle sont effectués sur diverses plates-formes matérielles et différents environnements d’exécution du langage d’application.
- Les performances du modèle sont ensuite comparées aux différents types d’instances de CPU et de GPU, et les exigences de dimensionnement de l’appareil peuvent être évaluées.
- Cette étape consiste à choisir parmi différents formats d’emballage, y compris la roue Python, l’API C, etc.
- Le binaire est préparé et fourni au client. Le modèle peut ensuite être déployé en utilisant le même avec n’importe quelle machine disponible.
La société utilise Octomizer, un logiciel SaaS qui facilite le processus de déploiement en optimisant, en comparant et en empaquetant. Il peut également être utilisé comme outil de dimensionnement pour améliorer le prochain achat de matériel. La plate-forme, pour l’instant, n’a pas de fonction de déploiement automatique, et l’Octomizer crée l’artefact que les clients doivent ensuite déployer, mais OctoML pourrait également lancer le support de déploiement pour améliorer les services fournis.
Source: https: //octoml.ai/