Infrastructure·
Olmo-core 3: بنية تحتية مفتوحة وقابلة للتوسع لتدريب نماذج MoE بحجم تريليون معلمة
يطلق معهد ألين للذكاء الاصطناعي Olmo-core 3، حزمة تدريب مفتوحة المصدر توسع نماذج خليط الخبراء إلى تريليون معلمة مع إنتاجية GPU شبه خطية.
أصدر معهد ألين للذكاء الاصطناعي إصدار Olmo‑core 3، وهو حزمة تدريب مُعاد تصميمها تجعل نماذج خليط الخبراء (MoE) عملية على نطاق تريليون معلمة.
يستبدل الإطار النهج السابق للتوازي الكامل للبيانات المجزأة بتصميم التوازي الموزع للبيانات الذي يبقي أوزان الخبراء مقيمة على كل وحدة معالجة رسومية ويوجه فقط دفعات الرموز ذات الصلة إليها. وهذا يزيل خطوة تجميع الأوزان المتكررة التي كانت تحد من الإنتاجية على العناقيد الكبيرة.
لماذا يهم ذلك للبنية التحتية لوحدات معالجة الرسوميات / الذكاء الاصطناعي
في اختبار معياري على ثماني وحدات NVIDIA B300، حقق نموذج MoE بحجم 47 مليار معلمة 52,000 رمز في الثانية لكل وحدة — أي حوالي 2.7 ضعف إنتاجية التنفيذ السابق القائم على FSDP — مع توسيع مجموعة الخبراء من 8 إلى 128 دون زيادة المعلمات النشطة لكل رمز.
يجمع Olmo‑core 3 بين توازي الخبراء، وتوازي الموترات، وتوازي خط الأنابيب مع نواة توجيه محسّنة، مما يتيح توسعاً شبه خطي مع نمو النموذج. يوفر الإصدار مفتوح المصدر للباحثين والمختبرات الأصغر مساراً جاهزاً للإنتاج لتدريب نماذج نادرة ضخمة دون الاعتماد على أدوات مملوكة.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- moe training
- large language models
- gpu cluster
- open source
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات