Models·
beam: نموذج mixture‑of‑experts مفتوح بحجم 501 مليار معامل من مختبر reflection
يقدم مختبر reflection نموذج beam، وهو نموذج لغوي ضخم بحجم 501 مليار معامل من نوع mixture‑of‑experts يُفعِّل فقط 23 مليار معامل لكل رمز، ويوفر نافذة سياق بطول 1 مليون رمز، ويُصدر تحت رخصة apache 2.0 مخصصًا لمهام الترميز والوكلاء.
أصدر مختبر reflection نموذج beam، وهو نموذج لغوي ضخم بحجم 501 مليار معامل من نوع mixture‑of‑experts يُفعِّل فقط 23 مليار معامل لكل رمز.
يستخدم النموذج تصميمًا نادرًا لـ mixture‑of‑experts مع 52 طبقة محول، 256 خبيرًا لكل طبقة وتوجيه ثمانية خبرات لكل رمز دخل. يدعم نافذة سياق بطول مليون رمز، يقبل فقط مدخلات نصية ويُصدر تحت رخصة apache 2.0.
لماذا يهم ذلك للبنية التحتية لوحدة معالجة الرسومات والذكاء الاصطناعي
لأن عدد المعاملات النشطة يبقى منخفضًا، يمكن تشغيل beam على مجموعات وحدة معالجة الرسومات الحالية ببصمة ذاكرة أصغر مع الحفاظ على قدرة تمثيلية تعادل نموذج نصف تريليون معامل. هذا يجعله جذابًا للمؤسسات التي ترغب في استضافة نماذج لغوية ضخمة على premises أو في سحابات خاصة دون الحاجة إلى استثمار في أجهزة غير تقليدية.
يأتي beam مع حافز استدلال مفتوح المصدر بلغة rust ودعم يوم-zero في 🤗 transformers و vllm و sglang، بالإضافة إلى وصفات جاهزة للضبط الدقيق المراقب والتعلم بالتعزيز. كما يقدم مختبر reflection رصيدًا قدره 10,000 دولار من أرصدة hugging face hub للمشاريع المجتمعية الأفضل التي تُبنى باستخدام beam.
- aigpu
- ai gpu
- ai gpu cloud
- aigpu dubai
- beam model
- mixture of experts
- open llm
- gpu infrastructure
بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)
→ كل المقالات