معيار StateBench يكشف حدود تتبع الحالة في السياقات الطويلة لنماذج اللغة الكبيرة

أطلق معهد AllenAI معيار StateBench، المصمم لتقييم مدى فعالية نماذج اللغة في الحفاظ على حالات الكيانات وتحديثها عبر سياقات ممتدة. يعد تتبع الحالة أساسياً للمهام التي تتراوح من تحليل الكود — حيث يتم تعيين المتغيرات وإعادة تعيينها — إلى فهم السرد، حيث تتغير أدوار الشخصيات ومواقع الأشياء.

أربعة مستويات لتعقيد تتبع الحالة

• R-trivial (التافهة التكرارية): التعيينات غير القابلة للتغيير (مثل تاريخ الميلاد). يستعيد النموذج القيمة الأولية فقط.
• Aperiodic (غير الدورية): إعادة التعيين بالقيمة (مثل إعداد منظم الحرارة). تتجاوز القيمة الأحدث القيم السابقة.
• Soluble (القابلة للحل): التحديثات ذاتية المرجعية (مثل النتيجة الجارية). يبني كل تغيير على الحالة الحالية.
• General finite (العامة المنتهية): التعيين بالمرجع (مثل x = y). تمتد التبعيات عبر متغيرات متعددة.

تكشف التجارب أن النماذج التكرارية والهجينة — مثل Gated DeltaNet — تعمم بشكل أفضل بكثير من المحولات عند التدريب المباشر على هذه المهام. ومن اللافت أن النماذج الرائدة بما في ذلك Gemini 3.8 Flash و Claude Opus 5.5 و GPT-6 Sol و Luna لا تزال تتعطل في متغيرات تتبع الحالة الأصعب مع زيادة طول المدخلات.

لماذا هذا مهم لبنية GPU / الذكاء الاصطناعي التحتية: يسلط StateBench الضوء على فجوة متزايدة بين حجم نافذة السياق وقدرة الاستدلال الفعلية. بالنسبة لمقدمي البنية التحتية للذكاء الاصطناعي، يؤكد هذا على الحاجة إلى مجموعات أجهزة وبرمجيات تدعم بكفاءة المعمارية التكرارية والهجينة، التي تحمل الذاكرة الجارية للأمام دون تكاليف انتباه تربيعية. يمكن أن يؤدي التحسين لهذه النماذج إلى تقليل الحوسبة لكل رمز في أعباء العمل ذات السياق الطويل، وهو رافعة رئيسية لخدمات سحابة GPU فعالة من حيث التكلفة.