Research·
CWE-bench v2 يرفع معايير تقييم الأمن السيبراني للذكاء الاصطناعي
تُصدر Collinear AI مئة مهمة مفتوحة تغطي 91 فئة ثغرة. يتصدر Gemini 4 Argon بنسبة 67.8% pass@1، لكن أفضل النماذج لا تزال تفشل في خُمس التحديات.
أصدرت Collinear AI الإصدار الثاني من CWE-bench، وهو معيار عام موسع يختبر النماذج المتقدمة ضد ثغرات البرمجيات الحقيقية. تضم المجموعة مئة مهمة مستقلة مستمدة من مستودعات مفتوحة المصدر الفعلية، وتغطي 91 فئة CWE متميزة. تعرض كل مهمة على الوكيل نسخة من المستودع وتعليمة موجزة لتحديد ثغرة أمنية وإصلاحها دون كسر الوظائف الحالية. التقييم آلي بالكامل وحتمي، مما يتيح تقييمًا قابلاً للتكرار وبتكلفة صفرية لأي مختبر.
النتائج وكفاءة التكلفة
تم تقييم أحد عشر نموذجًا حتى الآن. يتصدر Gemini 4 Argon بنسبة 67.8% pass@1 و81.0% pass@4، متفوقًا بفارق ضئيل على Claude Opus 5.5 (67.3% / 78.0%). تم حل 95 مهمة بواسطة نموذج واحد على الأقل، مما يؤكد قابلية الحل، ومع ذلك لا يزال أفضل نظام يفشل في 19% من المحاولات في كل تشغيل — دليل على أن الذيل الطويل لفئات الثغرات لا يزال صعبًا. على جبهة التكلفة، يحقق DeepSeek V4.1 Flash نسبة 57.0% pass@1 بتكلفة 0.04 دولار لكل تشغيل؛ يضيف Opus عشر نقاط عند 1.83 دولار؛ ويتقدم Gemini قليلاً عند 3.92 دولار.
مجموعة المهام العامة، والمصحح، وبيئة التنفيذ متاحة على Hugging Face Hub. يمكن للفرق تشغيل التقييمات محليًا وإرسال النتائج عبر طلب سحب إلى لوحة المتصدرين المجتمعية، بينما يتتبع Space منفصل نماذج API فقط مثل Gemini و Claude و GPT.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- cybersecurity
- benchmark
- llm-evaluation
- vulnerability-testing
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات