Les LLM échouent à une tâche simple : correspondance entre éléments HTML5 et TLD

L'auteur a testé trois LLM disponibles dans le commerce sur une tâche apparemment simple : identifier les domaines de premier niveau (TLD) qui partagent des noms avec des éléments HTML5 valides. Les résultats ont été décevants, les trois modèles produisant des résultats imprécis ou incomplets, soulignant les limites des LLM actuels, même pour les tâches nécessitant des compétences de comparaison de base. La précision semble fortement dépendre de la familiarité de l'utilisateur avec le sujet.