هاجينغ فيس تطرح عقود تكامل النماذج لاكتشاف الأخطاء قبل وصولها للإنتاج

عندما فعّلت هاجينغ فيس انتباه المنتج النقطي المقياس (SDPA) الخاص بـ PyTorch لنموذج T5 في يوليو الماضي، تسلل تراجع دقيق إلى مُفكك UMT5: أصبح قادراً على الانتباه للرموز المستقبلية أثناء التدريب، مما يعني فعلياً الاطلاع على الإجابات التي كان من المفترض أن يتنبأ بها. ظل العيب في الفرع الرئيسي لما يقارب الشهرين لأن مجموعة التكامل الكاملة — أكثر من 88,000 اختبار CPU و200,000 اختبار GPU يومياً — تعمل بجدول زمني، وليس عند كل طلب سحب. بحلول الوقت الذي يُشير فيه تشغيل مجدول إلى تراجع، قد يكون الكود الخاطئ قد دُمج بالفعل.

تصغير المشكلة لتناسب كل طلب سحب

إجابة فريق Transformers هي "نموذج ثابت" (fixture): نموذج صغير مشتق من تكوين نقطة تفتيش حقيقية، يحتفظ بكل نوع طبقة ولكن بعدد أقل وطبقات أضيق. يزن نموذج UMT5 الثابت 66 ميجابايت مقابل 1,227 ميجابايت للأصل، ومع ذلك يمارس نفس مسارات الكود. تعمل هذه النماذج الثابتة على اختبارات تكامل سريعة على مشغلات CPU رخيصة لكل طلب سحب، مما يمسك بمشاكل مثل خطأ انتباه UMT5 قبل وصولها إلى الفرع الرئيسي. النماذج الثابتة لا تستبدل عمليات تكامل GPU الكاملة، لكنها تنقل حلقة التغذية الراجعة لليسار، مما يوفر ساعات GPU ويمنع التراجعات الصامتة.

معيار عقود تكامل النماذج

عقد تكامل النموذج (MIC) يُنظّم سير العمل هذا بثلاثة أجزاء ثابتة: نموذج ثابت مثبت، مسار استخدام Markdown قابل للتشغيل (توليد، خطوة تدريب، إلخ)، ونتائج أساس تمت مراجعتها بشرياً. يصمد العقد إذا أدى تنفيذ مسار الاستخدام على النموذج الثابت إلى إعادة إنتاج النتائج الأساسية. تغطي العقود معمارية ومسار استخدام، وليس نقطة تفتيش واحدة، لذا يمكن لنقاط تفتيش متوافقة مشاركة نموذج ثابت مع الاحتفاظ بنتائجها المتوقعة الخاصة. العقود الأولى موجودة في منظمة huggingface-mic على المحور، بدءاً من التحقق من توليد وتدريب SmolLM.

لماذا هذا مهم للبنية التحتية لـ GPU / الذكاء الاصطناعي: تحول عقود MIC التحقق المكلف والمتقطع على GPU إلى حراسة مستمرة ومنخفضة التكلفة على CPU. للفرق التي تشغل تدريباً واسع النطاق أو استدلالاً على مجموعات GPU مستأجرة، هذا يعني ساعات عقد أقل هدراً في تصحيح تراجعات كان يمكن اكتشافها في مرحلة طلب السحب. كما يخفض حاجز دخول المساهمين للتحقق من التغييرات دون وصول مميز لـ GPU، مما يسرّع سرعة النظام البيئي ككل.