فالكون‑إماراتي‑7B: نموذج لغة متخصص باللهجة الإماراتية

نموذج فالكون‑إماراتي‑7B هو نموذج متخصص باللهجة يحتوي على 7 مليار معلمة أصدرته مؤسسة الابتكار التكنولوجي في الإمارات. يبدأ من عائلة فالكون‑H1‑العربي التي جمعت بالفعل نماذج مساحة الحالة (Mamba) مع آليات الانتباه التحويلية في كل كتلة لتحقيق كفاءة زمنية خطية على التسلسلات الطويلة مع الحفاظ على دقة الانتباه للاعتماديات البعيدة، وهو أمر مهم للغات ذات morphology غنية مثل العربية.

تلقى النموذج تدريبًا إضافيًا على مجموعة منسقة من اللهجة الإماراتية تشمل الخطابات، الشعر النبطي، الأمثال، والنصوص غير الرسمية، مما مكنه من التقاط المفردات، النبرة، والمراجع الثقافية التي قد يفوتها نموذج عربي عام. يتيح هذا التخصص الموجه للنموذج إنتاج ردود تبدو أصيلة في المحادثات اليومية، الفكاهة، والسرد القصصي.

اختيار نسخة 7B حقق توازنًا بين السعة التمثيلية وتكاليف النشر العملية. النسخة 3B لم توفر مساحة كافية للفهم العميق لللهجة، بينما النسخة 34B ستزيد من تكاليف التدريب والاستنتاج دون مكاسب متناسبة لحالة استخدام محادثة مركزة.

لماذا يهم ذلك للبنية التحتية لوحدة معالجة الرسومات / الذكاء الاصطناعي

النماذج الخاصة باللهجة الفعالة مثل فالكون‑إماراتي‑7B تقلل الحاجة إلى أنظمة متعددة اللغات ضخمة، مما يسمح بخوادم الاستنتاج المستندة إلى وحدة معالجة الرسومات بتقديم تطبيقات محلية بزمن استجابة أقل وإنتاجية أعلى. يتماشى ذلك مع هدف AiGpu في توفير أجهزة ذكاء اصطناعي عالية الأداء وفعالة من حيث التكلفة لأعباء عمل اللغات الإقليمية.