LLM이 간단한 작업에서 실패: HTML5 요소와 TLD 매칭

저자는 시중에 나와 있는 세 가지 LLM을 대상으로, 겉보기에는 간단한 작업인 유효한 HTML5 요소와 이름이 같은 최상위 도메인(TLD)을 식별하는 작업을 수행했습니다. 결과는 실망스러웠는데, 세 가지 모델 모두 부정확하거나 불완전한 결과를 생성하여 기본적인 비교 능력을 요구하는 작업에서도 현재 LLM의 한계를 보여주었습니다. 정확도는 사용자의 주제에 대한 지식에 크게 의존하는 것으로 보입니다.