Deep Code Bench：コード検索のための新しいベンチマークデータセット
2025-09-11
Qodoは、大規模で複雑なコードリポジトリから導出された現実世界の質問からなる新しいベンチマークデータセット、Deep Code Benchをリリースしました。既存のベンチマークとは異なり、これらの質問は複数のファイルにまたがる検索を必要とし、現実世界の開発者のシナリオを反映しています。プルリクエストデータからLLMを使用して生成されたこのデータセットは、コード検索システムの堅牢な評価を提供します。Qodoのディープリサーチエージェントは、事実の再現率で他を凌駕し、約76％の精度を達成しています。
開発
ベンチマークデータセット