Deep Code Bench : Un nouveau jeu de données de référence pour la recherche de code

Qodo a publié Deep Code Bench, un nouveau jeu de données de référence composé de questions réelles issues de grands référentiels de code complexes. Contrairement aux benchmarks existants, ces questions nécessitent une recherche sur plusieurs fichiers, ce qui reflète les scénarios réels des développeurs. Le jeu de données, généré à partir de données de pull requests à l'aide de modèles linguistiques de grande taille (LLM), fournit une évaluation robuste des systèmes de recherche de code. L'agent de recherche approfondie de Qodo surpasse les autres en matière de rappel de faits, atteignant environ 76 % de précision.