التدريب الواعي لتجميع الرموز يقلل تخزين المتجهات المتعددة 4 أضعاف مع الحفاظ على جودة الاسترجاع

تمنح نماذج التضمين متعددة المتجهات مثل كولبيرت متجهًا مميزًا لكل رمز في المستند، مما يتيح مطابقة دقيقة بين الاستعلام والمستند عبر تقييم ماكس سيم (MaxSim). تأتي هذه القدرة التعبيرية بتكلفة تخزين عالية: مليون مستند بـ 200 متجه لكل منها بأبعاد 128 يستهلك حوالي 12.8 جيجابايت حتى مع كميات 4 بت. لخطوط أنابيب الاسترجاع المعجلة بوحدات معالجة الرسوميات، تترجم هذه البصمة مباشرة إلى ضغط على ذاكرة الفيديو ومسح أبطأ للمفهرس.

تجميع الرموز الهرمي بتقنية وارد

يجمع تجميع الرموز المتجهات المتشابهة دلاليًا قبل التخزين. تطبق طريقة التجميع الهرمي للرموز تجميع وارد التراكمي، حيث تدمج بشكل متكرر زوج المجموعات الذي يقلل زيادة التباين داخل المجموعة. يقلل عامل تجميع قدره 4 المتجهات من 200 إلى 50، قاطعًا بصمة البقايا المكممة إلى 3.2 جيجابايت لكل مليون مستند.

يتجاهل التجميع العنيف المعلومات. يحسّن التدريب القياسي للتمثيل غير المجمّع، لذا لا يملك المشفر حافزًا للحفاظ على تميز المتجهات المجمعة. يُغلف التدريب الواعي للتجميع دالة الخسارة التباينية بخطوة تجميع أثناء كل تمرير أمامي، مجبرًا النموذج على تعلم تضمينات تنجو من الضغط.

النتائج وتأثير البنية التحتية

على معيار نانو بيير (NanoBEIR)، يحتفظ النموذج المدرب قياسيًا بـ 94.6% من إن دي سي جي غير المجمّع عند عامل تجميع 4. يرفع التدريب الواعي للتجميع الاحتفاظ إلى 97.8%—مكسب 3.2 نقطة مئوية لنفس ميزانية التخزين. لفرق البنية التحتية للذكاء الاصطناعي، يعني هذا فهارس أصغر تتسع في ذاكرة وحدة معالجة الرسوميات، مما يتيح أحجام دفعات أكبر أثناء الاسترجاع وزمن وصول أقل دون إعادة تدريب الفهرس.

تضيف تطبيقة سينس ترانسفورمرز (Sentence Transformers) غلاف خسارة خفيف وتسريع نواة اختياري، مما يجعل التقنية عملية لخطوط الإنتاج. يمكن دمج التجميع مع كميات البقايا أو كميات المنتج لدفع الضغط أبعد بينما تحرس الهدف الواعي للتجميع جودة الاسترجاع.