يجعل Octoml من السهل وضع نماذج الذكاء الاصطناعي/مل في الإنتاج

يجعل Octoml من السهل وضع نماذج الذكاء الاصطناعي/مل في الإنتاج


Octoml ، بدء تشغيل الآلة الممولة جيدًا التي تساعد المؤسسات على تحسين ونشر نماذجها ، أطلقت تحديثًا كبيرًا لمنتجها اليوم من شأنه أن يسهل على المطورين دمج نماذج ML في تطبيقاتهم. مع هذا الإصدار الجديد ، يمكن لـ Octoml الآن تحويل نماذج ML إلى وظائف برامج محمولة يمكن للمطورين التفاعل معها من خلال واجهة برمجة تطبيقات متسقة. مع هذا ، سيكون من الأسهل أيضًا دمج هذه النماذج في سير عمل DevOps الحالي.

كما أخبرني مؤسس Octoml والرئيس التنفيذي Luis Coze ، إنه يعتقد أن هذه لحظة رئيسية للشركة. قامت CPO Jason Knight ، CTO Jared Roesch و VP من شراكات التكنولوجيا ، Thierry Moreau ، إلى إنتاج الشركة لإنتاج TVM ، وهو إطار لمرسل التعلم الآلي مفتوح المصدر الذي يساعد مهندسيهم في تحسين نماذج أجهزة محددة لأجهزة محددة ، أسس الشركة على إنتاج TVM ، وهو إطار عمل محدد لأجهزة محددة من أجهزة محددة ، من CPO Jason Knight ، CTO Jared Roesch ونائب الرئيس للشراكات التكنولوجية Thierry Moreau. . لقد تعلمنا الكثير من ذلك ، ولكن أصبح من الواضح بعد أن عملنا مع عملاء أن نشر/ML لا يزال صعبًا للغاية. نمت الفجوة بين ما يمكن أن تفعله هذه النماذج ودمجها فعليًا في التطبيقات. لذلك عن طريق تحويل النماذج بشكل أساسي إلى وظائف ، تختفي تلك الفجوة في الغالب. يسترسل هذا النظام الجديد الكثير من هذا التعقيد بعيدًا للمطورين ، مما سيساعد بالتأكيد على إدخال المزيد من النماذج في الإنتاج. حاليًا ، اعتمادًا على أرقام تثق بها ، فإن أكثر من نصف طرازات ML المدربة لا تجعلها لا تدخل في الإنتاج ، بعد كل شيء. حيث يمكن الآن نشر نموذج ما هو آلي. ما يميزنا عن أي حل آخر هو القدرة على الحصول على النموذج للنشر ، ودمجه في التطبيق-ثم تشغيله على أي نقطة نهاية ، كما قال Coze وأشار إلى أن هذا هو تغيير اللعبة للتشويه التلقائي ، لأنه يسمح أيضًا المهندسون لإنشاء أنظمة تلقائية يمكن أن تنقل النموذج إلى وحدات المعالجة المركزية والمتسارعين بخصائص أداء مختلفة حسب الحاجة. جديد أيضًا في النظام الأساسي هو أداة جديدة تساعد Octoml على استخدام تعليم الآلة لتحسين نماذج التعلم الآلي. يمكن للخدمة اكتشاف التبعيات وحلها تلقائيًا وتنظيف وتحسين رمز النموذج. هناك أيضًا واجهة سطر أوكتومل محلية جديدة ودعم لخادم استدلال Triton التابع لشركة NVIDIA والذي يمكن استخدامه الآن مع خدمة الطراز الجديد. وقال Octoml CTO Jared Roesch إن أطر عمل التعلم العميق المتعددة وتقنيات التسارع عبر كل من وحدة المعالجة المركزية و NVIDIA GPU. علاوة على ذلك ، من خلال الجمع بين Nvidia Triton مع Octoml ، نمكّن المستخدمين من اختيار وظائف Triton التي تعمل بالطاقة Triton ودمجها. يزيد سير عمل Octoml من قيمة المستخدم للنشر المستندة إلى Triton من خلال دمج تقنية تسريع Octoml بسلاسة ، مما يتيح لك الحصول على أقصى استفادة من كل من الطبقات التقدمية والنموذج. التي نمت من 20 موظفًا إلى أكثر من 140 موظفًا منذ عام 2020 ، ستركز على تقديم خدماتها إلى المزيد من أجهزة الحافة بما في ذلك الهواتف الذكية ، وبفضل شراكتها مع كوالكوم ، أجهزة أخرى تعمل بنظام Snapdragon.

يبدو التوقيت صحيحًا بسبب بينما نتحدث إلى الأشخاص الذين ينشرون في السحابة ، يقولون الآن إن لديهم خطط لنشر الحافة أيضًا ، أيضًا.




اخلاء مسؤولية! هذا المقال لا يعبر بالضرورة عن رأي جامعة الرازي