أوبن أيه آي تطلق واجهة Decisions API مع اشتداد المنافسة على نماذج القرار

أعلنت أوبن أيه آي عن توفر واجهة Decisions API للجميع هذا الأسبوع، داخلةً قطاعًا يقدّر الاستدلال فائق السرعة ومنخفض التكلفة لأعباء التوجيه والتصنيف وتقييم الثقة.

كان نموذج Jev من تايب سيف هو من روّج لهذه الفئة، حيث يعمل كمصنّف فائق: يعيد خيارًا ودرجة ثقة في أجزاء من الثانية، وغالبًا ما يحل محل نماذج اللغة الكبيرة في خطوط الإنتاج.

بدلاً من تدريب نموذج قرار جديد، أعادت أوبن أيه آي تكوين نموذج Luna لتقليل زمن الاستجابة من 1–3 ثوانٍ إلى 100–180 ملي ثانية، وأضافت وسائط الصوت والرؤية. أفاد مستخدمون مبكرون مثل Box وDatadog وRamp وSpeak بتحسينات في الإنتاجية تفوق عشرة أضعاف.

لماذا يهم ذلك البنية التحتية للـ GPU / الذكاء الاصطناعي

أعباء نماذج القرار تتطلب زمن استجابة منخفضًا باستمرار عبر المناطق، مما يدفع موفري السحابة لوضع قدرات الاستدلال بالقرب من المستخدمين وتحسين جدولة وحدات GPU للعديد من الطلبات قصيرة العمر. بالنسبة لسحابة GPU مثل AiGpu، يعني هذا الاتجاه طلبًا متزايدًا على مثيلات GPU موزعة جغرافيًا ومنخفضة التأخير، وأدوات قادرة على توسيع نطاق آلاف مهام الاستدلال الصغيرة في الثانية.