Deep Code Bench: مجموعة بيانات قياسية جديدة لاسترجاع التعليمات البرمجية

أصدرت شركة Qodo مجموعة بيانات قياسية جديدة باسم Deep Code Bench، تتضمن أسئلة واقعية مستمدة من مستودعات أكواد كبيرة ومعقدة. وعلى عكس معايير القياس الموجودة، تتطلب هذه الأسئلة استرجاع المعلومات من ملفات متعددة، مما يعكس سيناريوهات المطورين في العالم الحقيقي. وقد تم إنشاء مجموعة البيانات هذه باستخدام نماذج لغوية ضخمة (LLMs) من بيانات طلبات السحب، مما يوفر تقييمًا قويًا لأنظمة استرجاع التعليمات البرمجية. وقد تفوقت وكالة البحث العميق من Qodo على غيرها في استدعاء الحقائق، محققة دقة تبلغ حوالي 76%.
اقرأ المزيد