Dimensions des plongements : de 300 à 4096 et au-delà
Il y a quelques années, les plongements de 200 à 300 dimensions étaient courants. Cependant, avec l’essor des modèles d’apprentissage profond tels que BERT et GPT, et les progrès du calcul GPU, la dimensionalité des plongements a explosé. Nous avons assisté à une progression des 768 dimensions de BERT aux 1536 de GPT-3, et maintenant à des modèles avec 4096 dimensions ou plus. Ceci est dû aux changements architecturaux (Transformateurs), aux ensembles de données d’entraînement plus importants, à l’essor de plateformes telles que Hugging Face et aux progrès des bases de données vectorielles. Bien que l’augmentation de la dimensionalité offre des gains de performance, elle introduit également des défis de stockage et d’inférence. Des recherches récentes explorent des représentations de plongements plus efficaces, telles que l’apprentissage Matryoshka, afin de trouver un meilleur équilibre entre performance et efficacité.
Lire plus