LLMs Falham em Tarefa Simples: Correspondência entre Elementos HTML5 e TLDs

O autor testou três LLMs comercialmente disponíveis em uma tarefa aparentemente simples: identificar quais domínios de nível superior (TLDs) compartilham nomes com elementos HTML5 válidos. Os resultados foram decepcionantes, com os três modelos produzindo resultados imprecisos ou incompletos, destacando as limitações dos LLMs atuais, mesmo em tarefas que exigem habilidades básicas de comparação. A precisão, aparentemente, depende muito da familiaridade do usuário com o assunto.