Deep Code Bench: 코드 검색을 위한 새로운 벤치마크 데이터셋

Qodo는 대규모의 복잡한 코드 저장소에서 파생된 실제 질문으로 구성된 새로운 벤치마크 데이터셋인 Deep Code Bench를 출시했습니다. 기존 벤치마크와 달리 이러한 질문은 여러 파일을 검색해야 하므로 실제 개발자 시나리오를 반영합니다. 풀 리퀘스트 데이터에서 LLM을 사용하여 생성된 이 데이터셋은 코드 검색 시스템에 대한 강력한 평가를 제공합니다. Qodo의 심층 연구 에이전트는 사실 재현율에서 다른 에이전트를 능가하며 약 76%의 정확도를 달성했습니다.