LLM 제작하기: 벡터, 행렬, 고차원 공간

이 기사는 3부작 시리즈의 두 번째 기사로, AI 전문 지식이 제한적인 기술적으로 능숙한 독자를 위해 대규모 언어 모델(LLM)의 작동 방식을 명료하게 설명합니다. Sebastian Raschka의 책 "Build a Large Language Model (from Scratch)"를 기반으로 한 시리즈의 19부를 바탕으로 LLM 내부의 벡터, 행렬, 고차원 공간(어휘 공간 및 임베딩 공간)의 사용법을 설명합니다. 저자는 LLM 추론을 이해하려면 고등학교 수준의 수학 지식만 있으면 충분하며, 학습에는 더 고급 수학이 필요하다고 주장합니다. 이 기사에서는 벡터가 고차원 공간에서 의미를 어떻게 나타내는지, 그리고 행렬 곱셈이 이러한 공간 간에 어떻게 투영되는지를 자세히 설명하고, 신경망의 선형층과 연결합니다.