AiGpu

Models·

Inkling 2 Mini: نموذج MoE حلقي مصمم للاستدلال المحلي بالذكاء الاصطناعي

تطلق Thinking Machines Lab نموذج Inkling 2 Mini، وهو نموذج متعدد الوسائط بخليط من الخبراء (MoE) يبلغ 26 مليار معامل، يستخدم تكرار الطبقات لتحقيق 48 طبقة منطقية بـ 24 طبقة فعلية فقط. يدعم سياقاً بطول 1 مليون توكن، وتنسيقات دقة مختلطة (NVFP4/MXFP8)، ويعمل محلياً عبر llama.cpp وMLX وSGLang.

مخطط يوضح بنية المحول الحلقي لـ Inkling 2 Mini مع 24 طبقة فعلية تعمل كـ 48 طبقة منطقية

أطلقت Thinking Machines Lab نموذج Inkling 2 Mini، وهو نموذج مضغوط متعدد الوسائط بخليط من الخبراء (MoE) مصمم للنشر المحلي للذكاء الاصطناعي. مع حوالي 26 مليار معامل فعلي ولكن 3 مليارات فقط نشطة لكل توكن، يقدم النموذج أداءً يضاهي نماذج فئة 27 مليار مع ملاءمة مريحة على وحدات معالجة الرسوميات الاستهلاكية. ميزته البارزة هي بنية حلقية: يتم تنفيذ 12 طبقة وسطى من أصل 24 طبقة فك ترميز ثلاث مرات، مما يخلق فعلياً 48 زيارة طبقة منطقية دون زيادة حجم الأوزان.

بنية حلقية وتمرير رسائل عبر المرات

تبدأ كل مرة مرور عبر النواة الحلقة من نفس التمثيل المتوسط، وتتدفق المعلومات بين المرات عبر رسائل عبرية متعلمة. يدمج متحكم بوابة المدخلات الحالية مع رسائل المرة السابقة، مما يسمح بتحسين تكراري. يستخدم النموذج أيضاً انتباه نافذة منزلقة (1024 توكن) مع تقطعات ديناميكية لطبقات الانتباه الكامل، ويوجه كل توكن إلى 8 من 128 خبير SwiGLU لكل طبقة.

يُشحن Inkling 2 Mini بتنسيقات دقة مختلطة — NVFP4 و MXFP8 لأوزان الخبراء — إلى جانب مُسَوِّد DSpark لفك الترميز التخميني. يوجد دعم أصلي لـ Hugging Face Transformers و llama.cpp و MLX و SGLang، مما يتيح نشراً فورياً على وحدات معالجة الرسوميات للمحطات العاملة ومراكز البيانات. نافذة السياق بطول مليون توكن والقدرات متعددة الوسائط (نص وصورة) توسع فائدته لمهام المستندات الطويلة والرؤية واللغة.

لماذا يهم هذا البنية التحتية لوحدات معالجة الرسوميات والذكاء الاصطناعي

يشير Inkling 2 Mini إلى تحول أوسع: لم تعد القدرات المتطورة تتطلب أعداداً ضخمة من المعاملات النشطة. يجب على المؤسسات التي تقيّم حلول الذكاء الاصطناعي المحلية أو الطرفية اختبار هذا النموذج على أجهزتها المستهدفة لقياس الإنتاجية والكمون في العالم الحقيقي.

  • aigpu
  • ai gpu
  • ai gpu cloud
  • aigpu dubai
  • inkling-2-mini
  • mixture-of-experts
  • local-ai
  • gpu-inference

بقلم AiGpu Editorial · إعادة صياغة تحريرية استناداً إلى تقارير عامة (Hugging Face Blog)

→ كل المقالات