Deep Code Bench: Un nuevo conjunto de datos de referencia para la recuperación de código
2025-09-11
Qodo ha lanzado Deep Code Bench, un nuevo conjunto de datos de referencia de preguntas del mundo real derivadas de grandes repositorios de código complejos. A diferencia de los benchmarks existentes, estas preguntas requieren la recuperación de varios archivos, lo que refleja escenarios reales de los desarrolladores. El conjunto de datos, generado utilizando LLMs a partir de datos de solicitud de extracción, proporciona una evaluación sólida de los sistemas de recuperación de código. El agente de investigación profunda de Qodo supera a los demás en la recuperación de hechos, logrando aproximadamente un 76% de precisión.
Desarrollo
conjunto de datos de referencia