Research·
XYBench: معيار جديد لاكتشاف طلبات المستخدمين الخاطئة
يطلق باحثون من معهد ألين وجامعة كارنيجي ميلون وإنفيديا وجامعة جونز هوبكنز معيار XYBench، الذي يضم أكثر من 8000 سؤال لقياس قدرة نماذج اللغة الكبيرة على كشف المفاهيم الخاطئة المخفية وتوجيه المستخدمين نحو الحل الفعلي.

تُستخدم نماذج اللغة الكبيرة بشكل متزايد كمساعدين يوميين، إلا أنها غالباً ما تجيب على السؤال الحرفي دون التحقق من سلامة فرضية المستخدم. يعالج معيار XYBench هذه الفجوة من خلال جمع 8,115 استفساراً واقعياً — يتراوح بين أخطاء البرمجة وحوادث الطبخ — حيث يخفي النهج المعلن من السائل (Y) هدفاً أعمق (X).
كيف تم بناء المعيار
يستمد مجموعة البيانات من Stack Overflow و Stack Exchange وأمثلة مصممة يدوياً وأسئلة مولدة إجرائياً استناداً إلى أدلة WikiHow. تم تحديد الطلب الصريح، والنية الحقيقية المستنتجة، والتحقق من أن الإجابة المباشرة على الطلب الحرفي لن تحل المشكلة.
أظهرت التقييمات على خمسة نماذج متقدمة — Claude Sonnet 4.6، GPT‑5، Gemini 3.1 Pro، Qwen3.5‑9B، و DeepSeek‑V4 Pro — أن جميع الأنظمة تقترح غالباً حلاً للنهج المعلن ولكنها نادراً ما تعيد توجيه المستخدم نحو الحل الأساسي الأكثر فعالية، على عكس إجابات الخبراء البشر.
من خلال قياس سلوك "مشكلة XY" بشكل كمي، يوفر XYBench مقياساً ملموساً للباحثين لتحسين استدلال النماذج، وشرحها، وإعادة توجيهها الآمن — قدرات ضرورية للمساعدين الذكيين الموثوق بهم عند نشرهم على نطاق واسع.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- benchmark
- llm evaluation
- xybench
- ai assistants
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات