Models·
مسترال لارج 4 يصل إلى هاغينغ فيس: نموذج MoE بحجم تريليون معلمة للأمن السيبراني والمهام متعددة الوسائط
أطلقت ميسترال أكبر نموذج مفتوح الأوزان حتى الآن، نظام خليط من الخبراء بحجم تريليون معلمة ونافذة سياق تبلغ مليون رمز، مع نتائج قوية في اختبارات الأمن السيبراني ودعم أصلي للوسائط المتعددة.
أصدرت ميسترال نموذج ميسترال لارج 4، الملقب بـ «لي تشونك»، على منصة هاغينغ فيس. يبلغ إجمالي معلمات النموذج حوالي تريليون معلمة، مع 49 مليار معلمة نشطة أثناء الاستنتاج، ويوفر نافذة سياق تصل إلى مليون رمز.
يجمع تصميمه بين نواة لغوية قائمة على خليط الخبراء النادر ومُشفر بصري من نوع بيكسترال. يقوم الموجه بتفعيل مجموعة فرعية صغيرة من الخبراء لكل رمز، بينما يختار مفهرس الانتباه المنفصل المواضع السابقة التي يجب الانتباه إليها، مما يوفر آليتي ندرة مستقلتين.
تظهر نتائج الاختبارات تركيزاً قوياً على الأمن السيبراني. حقق النموذج 82٪ في مؤشر تحليل السيبراني الاصطناعي، حيث أعاد إنتاج ثغرات حقيقية وتصحيحها بينما ترفض العديد من النماذج المغلقة المشاركة. كما أثبتت الاختبارات الداخلية فائدته في تحليل البرمجيات الخبيثة، تحديد أولويات الثغرات، وكتابة قواعد الكشف.
لماذا يهم هذا البنية التحتية لوحدات معالجة الرسوم والذكاء الاصطناعي
يتطلب تشغيل نموذج MoE بحجم تريليون معلمة وحدات معالجة رسوم ذات ذاكرة عالية ودعم نوى نادرة فعال. تقلل نقاط التفتيش الكمية FP8 و NVFP4 من ضغط الذاكرة، بينما تضغط نافذة السياق التي تبلغ مليون رمز على سعة ذاكرة التخزين المؤقت للمفاتيح والقيم. يمكن للفرق التي تنشر محلياً ضبط نماذج أصغر مستخلصة من آثار لارج 4 باستخدام TRL، مما يحول نقطة التفتيش الضخمة إلى أصل عملي لخطوط أنابيب أمنية مخصصة.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- mistral
- large language model
- mixture of experts
- multimodal
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات