ما وراء الدقة المتوسطة: قياس اتساق الوكلاء الذكيين باستخدام ALTK‑Evolve

لماذا يهم الاتساق لأحمال العمل الذكية

معظم المعايير تُظهر معدل النجاح المتوسط فقط، لكن المستخدمين يهتمون بالتكرار. قد ينجح الوكيل بنسبة 77 % في المتوسط، لكنه قد يفشل في نفس الطلب في ما يقرب من نصف الحالات، ما يخلق خطرًا على الموثوقية لسير العمل الحرجة.

قدمت أبحاث IBM محلل الاتساق، تشخيصًا خفيفًا يعيد أخذ عينات من مسار مسجل واحد لتحديد نقاط القرار التي يبعد النموذج عنها رمزًا واحدًا عن نتيجة مختلفة. من خلال تسليط الضوء على هذه النقاط القابلة للانعكاس، يكشف الأداة عن مصادر عدم الاتساق الدقيقة دون الحاجة إلى علامات الحقيقة الكاملة أو إعادة التشغيل الكاملة.

تحويل هذه الأفكار إلى إرشادات اتساق داخل إطار عمل ALTK‑Evolve يقلل فجوة الاتساق من 24.4 نقطة مئوية إلى 12.0 نقطة، مع الحفاظ على متوسط الدقة دون تغيير. يكون التأثير أكثر وضوحًا في المهام الصعبة حيث يمكن أن تصل الفجوة إلى 30 نقطة، مما يوفر وكيلًا أكثر اعتمادًا للبيئات الإنتاجية.

لبنية تحتية للذكاء الاصطناعي مدعومة بوحدات معالجة الرسومات، يعني ذلك تقليل المحاولات غير المتوقعة، وانخفاض variance في زمن الاستجابة، واستخدام أفضل للمسرعات عندما يتصرف الوكلاء بشكل يمكن التنبؤ به عبر الاستدعاءات المتكررة.