مايكروسوفت تحول فحوصات قاعدة البيانات إلى مكافآت للتعلم المعزز عبر ThinkingBox

نشرت مايكروسوفت وHugging Face متابعةً لمعيار ThinkingBox، مُثبتةً أن فحوصات قاعدة البيانات التنفيذية نفسها المستخدمة لتقييم أداء الوكلاء يمكن أن تعمل كإشارات مكافأة كثيفة للتعلم المعزز. من خلال التعامل مع حالة قاعدة البيانات النهائية للمهمة كإشارة نجاح/فشل ثنائية، بنى الفريق مجموعة تدريب من مهام خارج المعيار وضبط نموذج Qwen3.8-27B بدقة باستخدام تحسين السياسة النسبية للمجموعات (GRPO) لـ 50 خطوة.

الصعوبة النسبية للسياسة غير المتصلة توجه اختيار المهام

يكمن الابتكار الحاسم في كيفية اختيار مهام التدريب. بدلاً من استخدام مقياس صعوبة ثابت، قاس الباحثون احتمال نجاح كل مهمة مرشحة تحت السياسة الأساسية قبل بدء التدريب—وهي طريقة يسمونها "الصعوبة النسبية للسياسة غير المتصلة". تم استبعاد المهام التي تم حلها بالفعل أو التي كانت ميؤوساً منها للنموذج الحالي؛ واحتُفظ فقط بتلك الموجودة في المنطقة القابلة للتعلم. منع هذا التجمع الثابت انحراف التوزيع أثناء التدريب وركز الحوسبة على المهام التي يمكن للنموذج التحسن فيها فعلياً.

تُظهر النتائج قفزة حادة في الصحة القابلة للتكرار. قفز مقياس "الملاحظ 20/20"—المهام المحلولة في كل واحدة من 20 محاولة تقييم—من 38 إلى 107 (من 7.5% إلى 21.1%). ارتفع متوسط نجاح pass@1 بمقدار 9.08 نقطة مئوية ليصل إلى 60.78%. كان المقايضة انخفاضاً طفيفاً في pass@20 (تغطية مرة واحدة على الأقل)، مما يشير إلى أن النموذج أصبح أكثر اتساقاً على حساب النجاحات الاستكشافية العرضية.

لماذا هذا مهم للبنية التحتية لـ GPU / الذكاء الاصطناعي: يسلط هذا العمل الضوء على فئة متنامية من المكافآت القابلة للتحقق والتنفيذ التي لا تتطلب تعليقاً بشرياً. لمزودي سحابة GPU، يشير ذلك إلى طلب على عمليات ضبط دقيق قصيرة المدى ومتفجرة (50 خطوة هنا) على نماذج متوسطة الحجم (27 مليار معامل) حيث يكون حساب المكافأة عبارة عن فرق قاعدة بيانات سريع بدلاً من حكم LLM بطيء. تصبح الجدولة الفعالة لمثل هذه الأحمال—زمن انتقال منخفض، إنتاجية عالية، تخزين مؤقت لقطات قاعدة البيانات—قدرة خدمة مميزة.