LLMが簡単なタスクに失敗：HTML5要素とTLDのマッチング

著者は、市販されている3つのLLMに対して、一見簡単なタスク、つまり有効なHTML5要素と名前が同じトップレベルドメイン（TLD）を特定するタスクを試しました。結果はがっかりもので、3つのモデルすべてが不正確または不完全な結果を生成し、基本的な比較スキルを必要とするタスクにおいても、現在のLLMの限界が浮き彫りになりました。正確性は、ユーザーの主題に関する知識に大きく依存しているようです。