IBM Granite Switch 4.1 يوحد المحادثة والقرارات والتعرف على الصوت في نقطة نهاية GPU واحدة

أصدرت IBM عائلة نماذج Granite Switch 4.1 المعيارية التي تتيح لنقطة نهاية مستضافة واحدة التعامل مع المحادثة بلغة طبيعية، واتخاذ القرارات المنظمة، وتحويل الصوت إلى نص دون تبديل النماذج أو توفير وحدات GPU إضافية. يجمع كل من متغيري 8 و30 مليار معلمة ثلاثة محولات LoRA مفعلة—محول قرار عام، ومحول Guardian متخصص في السلامة يتفوق على عدة خطوط أساس مغلقة المصدر، ومحول Granite-Speech-5.0-Turbo-CTC الذي يتصدر حاليًا متصدر OpenASR—مع استهلاك نفس مساحة VRAM تقريباً مثل النموذج الأساسي وحده.

لماذا هذا مهم للبنية التحتية لـ GPU / الذكاء الاصطناعي

نظرًا لأن المحولات تشترك في ذاكرة KV المؤقتة للنموذج الأساسي، فإن التبديل بين دور محادثة، وفحص امتثال للسياسة، ونسخ صوتي يتكبد تكلفة ذاكرة شبه معدومة. تساهم مساهمات IBM الأولية في vLLM في تسريع استدلال المحولات منخفضة الرتبة، مما يسمح لوحدة GPU واحدة بخدمة أعباء عمل مختلطة كانت تتطلب سابقًا أسطولًا من النماذج المتخصصة. بالنسبة للفرق التي تشغل خطوط أنابيب RAG أو وكلاء صوتيين في الوقت الفعلي، يعني هذا تكاليف أجهزة أقل، ونشرًا أبسط، وكمونًا يمكن التنبؤ به.

يأتي الإصدار أيضًا مع مكتبات Granite، وهي كتالوج متزايد من المحولات الخاصة بالمهام التي يمكن للمطورين مزجها ومطابقتها لبناء نماذج Switch مخصصة. في اختبار وجهاً لوجه، أكمل نموذج Granite-Switch-4.1-30B المجهز بأربعة محولات متخصصة سير عمل RAG من خمس خطوات بشكل أسرع من منافس مماثل بحجم 27 مليار معلمة يستخدم محول قرار عام واحد فقط، مما يثبت أن تكوين المحولات يمكن أن يتفوق على الضبط الدقيق الأحادي من حيث السرعة والدقة.

يمكن للمؤسسات تنزيل نقاط التفتيش المعبأة مسبقًا بحجم 8B و30B من Hugging Face اليوم، أو تكوين متغيرات خاصة بها عن طريق اختيار المحولات من سجل مكتبات Granite. النماذج مرخصة للاستخدام التجاري وتتضمن مساحة Speech-to-Decisions حية تعرض النسخ في الوقت الفعلي، والتلخيص، و15 علامة أمان قابلة للتكوين تعمل على نقطة نهاية واحدة.