OpenAI는 내년 AI 기반 채용 플랫폼을 출시하여 기업 및 정부 기관이 AI 기술을 갖춘 인재를 찾을 수 있도록 지원하고 AI 기술 도입을 가속화할 계획입니다. 또한 향후 몇 달 안에 직원들이 직장에서 AI를 더 효과적으로 활용할 수 있도록 교육하는 새로운 인증 프로그램을 시작합니다. 월마트 등 여러 기관과 협력하여 2030년까지 1000만 명의 미국인을 인증하는 것을 목표로 하고 있습니다.
이 글에서는 AI 에이전트 아키텍처를 분석하고 사용자 경험이 단순한 정확성보다 중요하다고 주장합니다. 고객 지원 에이전트를 예로 들어 메모리(세션, 고객, 행동, 컨텍스트), 연결성(시스템 통합), 기능(기능의 깊이), 신뢰성(신뢰도 점수, 추론의 투명성, 원활한 에스컬레이션)의 네 가지 아키텍처 계층을 설명합니다. 단일 에이전트, 라우터 + 스킬, 사전 정의된 워크플로우, 멀티 에이전트 협업의 네 가지 아키텍처 접근 방식을 비교하고 간단하게 시작하여 필요에 따라 복잡성을 추가할 것을 권장합니다. 직관에 반하여 사용자는 항상 옳은 에이전트보다 자신의 한계를 솔직하게 인정하는 에이전트를 더 신뢰합니다.
대규모 언어 모델(LLM)은 기업 데이터의 정확성에 어려움을 겪는 경우가 많지만, 지식 그래프는 정확성을 3배까지 높일 수 있습니다. 이 기사에서는 자원 기술 프레임워크(RDF)가 지식 표현에 있어 여러 옵션 중 하나가 아니라 자연스러운 종착점인 이유를 살펴봅니다. 많은 기업은 지식 계층을 구축할 때 처음에는 사용자 정의 솔루션을 선택하지만, 결국에는 전 세계 식별자나 데이터 페더레이션 프로토콜과 같은 RDF의 핵심 기능을 재구축하게 됩니다. 이 기사에서는 RDF가 엔티티 식별과 같은 지식 표현의 핵심 문제를 어떻게 해결하는지 설명하고, RDF를 사용하면 LLM의 정확성과 효율성이 어떻게 향상되는지 보여줍니다.
Mistral AI의 Le Chat이 대규모 업데이트를 통해 데이터, 생산성, 개발, 자동화, 전자상거래 등을 아우르는 20개 이상의 안전한 엔터프라이즈급 커넥터를 도입했습니다. 사용자는 Le Chat 내에서 Databricks, Snowflake, GitHub, Asana 등의 도구에 직접 액세스하고 조작할 수 있습니다. '메모리' 기능(베타)은 컨텍스트와 선호도에 기반한 개인화된 응답을 제공하며, 민감한 정보에 대한 관리도 철저합니다. 이 모든 기능은 무료 플랜에서 사용할 수 있습니다.
현대 역학에서 고차원 물리는 표준이 되었습니다. 끈 이론의 10차원부터 복잡한 동적 시스템에 이르기까지 고차원 상태 공간은 어디에나 존재합니다. 그러나 고차원 공간은 쉽게 이해할 수 있는 것이 아니며, "차원의 저주"가 존재합니다. 시각화가 불가능하고, 매개변수가 너무 많으면 과적합되기 쉽고, 직관도 작동하지 않습니다. 이 기사에서는 10차원 랜덤워크를 사용하여 고차원 공간의 특징을 설명합니다. 고차원 공간에서는 산맥이 산봉우리보다 훨씬 더 일반적이며, 이는 생명의 진화, 복잡 시스템 역학, 기계 학습에 큰 영향을 미칩니다. 랜덤워크는 매우 거친 지형에서도 고차원 공간을 효율적으로 탐색하고, 공간 전체를 가로지를 수 있습니다. 이것은 생명체에서 복잡한 구조의 진화와 심층 학습에서의 지역적 최소값 회피를 이해하는 데 도움이 됩니다.
AI가 젊은이들의 고용 기회에 영향을 미치고 있는지에 대한 논쟁이 계속되고 있습니다. 초기 연구에서는 제한적인 영향만 확인되었지만, 스탠포드 대학교의 새로운 연구는 ADP 급여 데이터를 사용하여 소프트웨어 개발 및 고객 서비스와 같이 AI 노출이 높은 직종에서 22~25세 젊은층의 고용이 13% 감소했음을 밝혀냈습니다. COVID-19 및 기술 산업 침체와 같은 요인들을 고려하더라도 이 연구는 특히 자동화가 중심적인 분야에서 AI의 영향이 기존에 생각했던 것보다 훨씬 클 수 있음을 시사합니다. 반대로, AI가 업무를 보완하는 역할을 하는 직종에서는 고용이 증가하고 있습니다. 이는 대학 커리큘럼 개정 및 학생들의 진로에 대한 논의를 불러일으키며, AI가 노동 시장에 미치는 실시간 영향을 지속적으로 모니터링해야 할 필요성을 강조합니다.
이 글에서는 효과적인 AI 에이전트 평가 시스템 구축에 대해 탐구합니다. 저자는 모델이 지속적으로 개선되더라도 평가가 필수적임을 강조합니다. 엔드투엔드(E2E) 평가부터 시작하여 성공 기준을 정의하고 간단한 예/아니오 결과를 출력함으로써 문제를 신속하게 파악하고, 프롬프트를 개선하며, 서로 다른 모델의 성능을 비교할 수 있다고 주장합니다. 'N-1' 평가는 이전 사용자 상호 작용을 시뮬레이션하여 문제를 직접적으로 파악할 수 있지만, 'N-1' 상호 작용을 최신 상태로 유지해야 합니다. 또한 LLM이 기대되는 대화 패턴을 따르는지 확인하기 위해 프롬프트 내에 체크포인트를 설정하는 것도 제안합니다. 마지막으로 저자는 외부 도구가 설정을 간소화하지만 특정 사용 사례에 맞게 조정된 사용자 지정 평가가 필요하다고 언급합니다.
이 논문은 약 1만 개의 매개변수만 사용하는 극도로 단순화된 Transformer 모델을 제시하여 대규모 언어 모델(LLM)의 내부 작동 방식을 명확하게 보여줍니다. 과일과 맛의 관계에 초점을 맞춘 최소한의 데이터 세트를 사용하여 놀라울 정도로 높은 성능을 달성합니다. 시각화를 통해 단어 임베딩과 어텐션 메커니즘의 기능이 드러납니다. 중요한 점은 이 모델이 단순 암기 이상으로 일반화하여, "매운 것을 좋아하므로 좋아해"라는 프롬프트에 대해 "고추"를 정확하게 예측함으로써 LLM 작동의 핵심 원리를 매우 쉽게 보여줍니다.
수년 동안 우리는 '쓴 교훈(Bitter Lesson)'을 오해해 왔습니다. 그것은 연산 능력이 아니라 데이터에 관한 것입니다. GPU를 늘리려면 데이터도 40% 늘려야 합니다. 그렇지 않으면 단순한 낭비입니다. 인터넷 데이터는 포화 상태에 가까워지고 있습니다. '연금술사'(고위험 고수익 데이터 생성 방법)와 '건축가'(모델 아키텍처의 꾸준한 개선)야말로 미래이며, 단순한 연산 능력 추구가 아닙니다. 이 글에서는 두 가지 접근 방식의 장단점과 위험을 분석하고 2025년에 데이터 부족 문제를 해결하는 것이 2026년 AI 기업의 생존을 결정할 것이라고 결론짓고 있습니다.
MIT 연구에 따르면 ChatGPT를 에세이 작성에 사용하면 측정 가능한 인지 능력 저하로 이어진다는 사실이 밝혀졌습니다. 뇌파 검사 결과, ChatGPT를 반복적으로 사용한 학생들에게서 신경 연결 약화, 기억력 저하, 자신의 글에 대한 소유 의식 감소가 나타났습니다. AI가 생성한 에세이가 높은 점수를 받았더라도 뇌 활동은 상당히 감소했습니다. 이 연구는 LLM 사용이 중요한 뇌 네트워크의 참여 부족을 유발하며, AI 사용을 중단한 후에도 인지 기능이 완전히 회복되지 않는다는 것을 보여줍니다. 이러한 '인지적 오프로딩'은 학습 능력과 창의력의 장기적인 저하로 이어집니다.
기업용 신뢰할 수 있는 AI 플랫폼을 구축하는 빠르게 성장하는 스타트업인 Dynamo AI에서 1년 이상의 경험을 가진 제품 관리자를 모집합니다. 이 역할은 레드티밍, 가드레일, 관측 가능성 솔루션의 제품 전략을 정의하고 실행하는 것을 포함합니다. 규제 산업(금융, 보험 등)의 창립자, 엔지니어, 기업 고객과 협력하여 제품 로드맵을 구축하고 최첨단 솔루션을 제공합니다. AI 안전 및 규정 준수에 대한 열정과 강력한 의사 소통 및 크로스 펑셔널 협업 능력이 필수적입니다.
텐센트의 AI팀은 사용자 정의 카메라 경로를 가진 단일 이미지에서 세계 일관성 있는 3D 점 구름 시퀀스를 생성하는 새로운 비디오 확산 프레임워크인 HunyuanWorld-Voyager를 소개합니다. Voyager는 사용자 지정 경로를 따라 가상 세계를 탐험하기 위한 3D 일관성 있는 장면 비디오를 생성하며, 효율적인 3D 재구성을 위한 정렬된 깊이와 RGB 비디오도 생성합니다. 실제 세계 캡처와 언리얼 엔진 합성 데이터를 결합한 10만 개 이상의 비디오 클립으로 훈련된 Voyager는 WorldScore 벤치마크에서 최첨단 결과를 달성했습니다. 코드와 사전 훈련된 모델은 공개적으로 제공됩니다.
VibeVoice는 텍스트로부터 팟캐스트와 같은 표현력이 풍부한 장시간 다중 화자 대화 오디오를 생성하기 위한 새로운 오픈소스 프레임워크입니다. 기존 TTS(텍스트 음성 변환) 시스템의 확장성, 화자 일관성, 자연스러운 턴테이킹과 같은 과제를 해결합니다. 주요 혁신으로 7.5Hz의 초저 프레임률로 작동하는 연속 음성 토크나이저(음향 및 의미)를 사용하여 오디오 충실도를 유지하면서 장시간 시퀀스 처리의 계산 효율성을 크게 향상시킵니다. VibeVoice는 다음 토큰 확산 프레임워크를 사용하여 대규모 언어 모델(LLM)로 텍스트 컨텍스트와 대화 흐름을 이해하고 확산 헤드로 고충실도 음향 세부 정보를 생성합니다. 이 모델은 최대 4명의 서로 다른 화자로 최대 90분의 음성 합성이 가능하며 기존 모델의 일반적인 1~2명 화자 제한을 뛰어넘습니다.
이 글에서는 Lean과 같은 기존의 대화형 정리 증명기와는 상당히 다른 새로운 AI 정리 증명기인 Acorn을 살펴봅니다. Acorn은 사용자가 단계적으로 명제를 제시하고 시스템이 자동으로 검증하는 대화형 상호 작용 방식을 채택합니다. 이는 인간의 증명 과정을 더욱 충실하게 반영하여 번거로운 형식 선언과 미리 정의된 정리를 찾는 과정을 생략합니다. Acorn은 간단한 ML 모델을 사용하여 증명 과정을 지원하고 사용자의 개입이 필요한 부분을 표시하여 효율성과 이해도를 높입니다. Lean과 같은 시스템과 달리 Acorn은 직관성과 자연어 표현을 우선시하여 수학적 증명 분야에서 인간과 AI의 협업 가능성을 크게 보여줍니다.
인공지능 연구, 특히 '인공 일반 지능'(AGI)을 추구하는 연구소에서 최근 가장 주목받는 것은 '세계 모델'이다. 이것은 AI가 컴퓨팅 눈덩이처럼 내부에 간직하는 환경의 표현이다. Yann LeCun, Demis Hassabis, Yoshua Bengio 등 딥러닝의 선구자들은 진정으로 똑똑하고, 과학적이며, 안전한 AI 시스템을 구축하려면 세계 모델이 필수적이라고 믿는다. 하지만 세계 모델의 세부 사항에 대해서는 논쟁이 있다. 선천적인 것인가, 후천적으로 학습된 것인가? 그리고 그 존재를 어떻게 감지하는가? 이 기사는 이 개념의 기원과 발전을 추적하며, 현재의 생성형 AI는 완벽한 세계 모델에 기반하지 않고, 수많은 단편적인 휴리스틱 규칙에 의존할 가능성을 시사한다. 이러한 규칙은 특정 작업에는 효과적이지만, 견고성이 부족하다. 따라서 완벽한 세계 모델의 구축은 여전히 AI 연구의 핵심 과제이며, AI 환각 해소, 신뢰할 수 있는 추론 능력 향상, AI 시스템의 해석성 향상으로 이어져 궁극적으로 AGI 발전을 촉진할 것이다.
iNaturalist는 약 500개의 분류군으로 훈련된 "소형" 모델과 분류 파일, 지리적 모델 등 일부 기계 학습 모델을 오픈소스로 공개했습니다. 이는 기기에서의 테스트 및 기타 용도에 적합합니다. 지적 재산권 및 조직 정책으로 인해 전체 종 분류 모델은 비공개로 유지됩니다. 이 게시물에서는 종속성 설치, 환경 설정, 성능 최적화 제안(TensorFlow 컴파일 및 pillow-simd 사용 등), 성능 벤치마크를 포함한 macOS 설치 및 실행 지침을 자세히 설명합니다.
대규모 언어 모델(LLM)은 정보 손실이 있는 백과사전과 같습니다. 방대한 정보를 보유하고 있지만, 이 정보는 압축되어 있기 때문에 데이터 손실이 발생합니다. 중요한 것은 LLM이 효과적으로 답변할 수 있는 질문과 정보 손실이 정확도에 큰 영향을 미치는 질문을 구분하는 것입니다. 예를 들어, 특정 설정을 가진 Zephyr 프로젝트의 스켈레톤을 만들도록 LLM에 요청하는 것은 정확한 세부 정보가 필요한 “손실 없는” 질문이며, LLM은 이에 대응하기 어렵습니다. 해결책은 정확한 예시를 제공하여 LLM이 기존 사실을 바탕으로 동작하도록 하고, 지식 베이스에 없을 수 있는 세부 정보에 의존하지 않도록 하는 것입니다.
연구원들은 1100만 개 이상의 인과 관계를 포함하는 대규모 지식 기반 CauseNet을 구축했습니다. 추정 정확도 83%로, 반구조화 및 비구조화 웹 소스에서 추출된 CauseNet은 인과 관계 질문 응답 및 추론과 같은 작업에 사용할 수 있는 인과 관계 그래프입니다. 이 프로젝트에서는 Neo4j로 로드하기 위한 코드와 인과 개념 감지에 대한 교육/평가 데이터 세트도 제공합니다.
이 글에서는 AI 데이터 분석가 구축의 과제와 해결책을 탐구합니다. 저자는 단순한 텍스트 투 SQL 변환으로는 현실 세계 사용자의 복잡한 질문에 대응할 수 없으며, 다단계 계획, 외부 도구(파이썬 등), 외부 컨텍스트가 필요하다고 주장합니다. 따라서 저자의 팀은 비즈니스 로직을 명시적으로 정의하는 모델링 언어 Malloy를 사용한 의미론적 계층을 갖춘 생성형 BI 플랫폼을 구축했습니다. 이는 멀티 에이전트 시스템, 검색 증강 생성(RAG), 전략적인 모델 선택과 결합하여 고품질, 저지연 데이터 분석을 달성합니다. 플랫폼은 SQL을 생성하고, 복잡한 계산을 위해 파이썬을 작성하며, 외부 데이터 소스를 통합합니다. 이 글에서는 컨텍스트 엔지니어링, 검색 시스템 최적화, 모델 선택의 중요성을 강조하고, 일반적인 오류 모드에 대한 해결책을 공유합니다.
이 글은 일상적인 작업을 컴파일 프로세스로 보는 새로운 관점을 제시합니다. 요리를 예로 들어 저자는 레시피를 프로그램으로, 요리 과정을 컴파일 실행으로 비유합니다. 대규모 언어 모델(LLM)의 등장으로 프로그래밍 경험이 없는 사람도 도메인 특정 컴파일러를 만드는 것이 그 어느 때보다 쉬워졌습니다. LLM을 사용하면 피트니스 루틴, 비즈니스 프로세스, 심지어 음악 제작과 같은 일상적인 작업을 프로그래밍 가능한 환경으로 변환하여 효율성을 높이고 일상 시스템에 대한 이해를 높일 수 있습니다. 이것은 기술 혁신일 뿐만 아니라 사고방식의 변화이며, 컴파일러 개념을 코드에서 삶의 모든 측면으로 확장하는 것입니다.
OpenAI는 자사의 AI 챗봇 ChatGPT가 자해, 망상, 심지어 자살에 이르는 사용자들의 정신 건강 위기를 초래했다는 것을 인정했습니다. 이에 대응하여 OpenAI는 사용자 메시지를 스캔하고, 우려되는 콘텐츠를 사람 검토자에게 에스컬레이션하며, 경우에 따라 법 집행 기관에 보고하고 있습니다. 이 조치는 사용자 안전 우려와 뉴욕 타임즈 등 출판사와의 진행 중인 소송을 고려한 OpenAI의 이전의 사용자 개인 정보 보호 약속 간의 균형을 맞추면서 논란을 일으키고 있습니다. OpenAI는 AI의 부정적 영향에 대처하면서 사용자의 개인 정보를 보호해야 하는 어려운 입장에 처해 있습니다.
이 웹사이트는 확률론과 정보 이론을 심도 있게 파고들어, 그것들이 머신러닝과 우리 주변의 세상을 어떻게 밝히는지 설명합니다. 위키피디아 조각에서 다음 글자를 예측하거나, 신경망과 성능을 비교하는 등 흥미로운 수수께끼를 통해 정보량, KL 다이버전스, 엔트로피, 교차 엔트로피 등을 탐구합니다. 코스에서는 최대 우도 추정, 최대 엔트로피 원리, 로짓, 소프트맥스, 가우스 함수, 손실 함수 설정을 다루고, 궁극적으로 압축 알고리즘과 대규모 언어 모델 간의 관계를 밝힙니다. 토끼굴에 뛰어들 준비가 되셨나요?
생성형 AI의 부상은 결국 AI 기업 자체를 질식시킬 콘텐츠 고갈을 야기하고 있습니다. 이 기사는 ChatGPT나 Google과 같은 AI 대기업이 웹사이트에서 콘텐츠를 빨아들이고 있어 기존 미디어와 기업 웹사이트의 트래픽이 극적으로 감소하고 있다고 주장합니다. 이러한 "콘텐츠 약탈" 모델은 단기적으로는 이익을 가져다주지만, 장기적으로는 위협이 됩니다. 기업들이 인센티브 부족으로 고품질 콘텐츠 제작을 중단하면 AI 모델은 데이터 부족에 직면하고 AI 기업은 취약해집니다. 규제와 소송이 해결책이 될 수 있지만, AI 기업들은 이러한 위험을 인식하지 못하거나 무시하고 있으며, 문제를 악화시켜 경제 버블 붕괴로 이어질 수 있습니다.
펀치 카드에서 GUI를 거쳐 AI에 이르기까지 컴퓨팅의 역사는 더욱 직관적인 인간-컴퓨터 상호 작용을 향한 꾸준한 발전이었습니다. AI는 이러한 궤적에서 급진적인 탈피가 아니라 컴퓨터를 인류에게 더욱 접근 가능하고 유용하게 만드는 자연스러운 다음 단계입니다. AI를 통해 컴퓨터는 명시적인 지시가 아니라 인간의 목표를 이해하고 그에 따라 행동할 수 있습니다. 이를 통해 인지 부담이 인간에서 기계로 전환되어 사용자는 달성하고자 하는 것에 집중할 수 있으며 기계에 대한 지시 방법에 집중할 필요가 없습니다. 미래에는 인간과 컴퓨터의 상호 작용이 협력 관계가 되어 지시와 목표 설정의 경계가 모호해지고 인간의 지능을 확장하는 것이지 대체하는 것이 아닐 것입니다.
작성자는 현재 유행하는 텍스트 및 이미지 생성 도구가 진정한 AI가 아니라 대규모 언어 모델(LLM)이라고 강력하게 비판한다. OpenAI CEO인 샘 알트먼이 인간을 '확률적 앵무새'라고 비교한 것을 비난하며 인간 경험의 풍부함을 깎아내리는 것이라고 주장한다. 또한 LLM을 둘러싼 과도한 과장 광고, 그 지루하고 독창성 없는 결과물, 그리고 기업들이 사용자 데이터에 동의 없이 모델 학습에 사용하는 것에 대한 우려를 지적한다. 결론적으로 인터넷의 미래와 개인 창작물의 악용에 대한 우려를 표명하며 LLM을 둘러싼 윤리적, 미학적 문제에 대한 주목을 촉구한다.
Anthropic의 AI 챗봇 Claude가 서비스 약관을 조용히 변경했습니다. 이제 사용자의 대화는 사용자가 적극적으로 거부하지 않는 한 기본적으로 모델 훈련에 사용됩니다. 이러한 변경은 사용자와 개인 정보 보호 옹호자들의 분노를 샀습니다. 이 기사는 AI 도구를 사용할 때 데이터 개인 정보 보호를 적극적으로 관리하는 것의 중요성을 주장하며, 사용자에게 설정 확인, 업데이트 확인 및 데이터 공유에 대한 의식적인 선택을 하도록 권장합니다. 저자는 기본 설정에 의존하는 것은 위험하다는 점을 강조하며, 설정은 예고 없이 변경될 수 있습니다. 이 변경은 소비자 사용자에게 불균형적으로 영향을 미치는 반면, 기업 고객에게는 영향을 미치지 않습니다. 이는 데이터 중심의 AI 생태계의 우선 순위를 보여줍니다.
스탠포드대학교 교수 앤드류 응은 AI가 코딩을 더 쉽게 만들었지만, 이제 제품 관리가 주요 병목 현상을 일으킨다고 주장합니다. 예전에는 6명의 엔지니어가 3개월 걸리던 작업을 이제 주말에 끝낼 수 있습니다. 과제는 무엇을 만들지 결정하는 것입니다. AI를 통한 빠른 프로토타입 제작은 더 신속한 제품 결정을 요구하며, 팀들은 데이터 분석뿐만 아니라 직관과 깊이 있는 고객 공감에 점점 더 의존하고 있습니다. 이는 제품 관리자의 역할에 대한 논쟁을 불러일으키고 있으며, AI 시대에 제품 관리자가 중요하다고 주장하는 사람들도 있고, 회사 초기 단계에는 불필요하다고 주장하는 사람들도 있습니다.
LLM(대규모 언어 모델)의 기능 향상과 MCP와 같은 확장 메커니즘으로 인해 안전하고 신뢰할 수 있는 AI 애플리케이션을 구축하는 것이 점점 더 복잡해지고 있습니다. 본 논문에서는 Java 가상 머신(JVM)과 유사한 AI 모델 가상 머신(MVM) 개념을 제안합니다. MVM은 AI 모델에 보안, 격리, 확장성, 이식성 등을 제공합니다. MVM은 모델 개발과 통합 로직을 분리하여 플러그 앤 플레이 방식의 모델 교체를 가능하게 하고, AI 애플리케이션의 보안 및 개인 정보 보호를 보호하기 위한 내장 보안 제어 및 접근 제어 메커니즘을 통합합니다. 또한 투명한 성능 및 리소스 추적과 검증 가능한 모델 출력의 가능성도 제공합니다. 이러한 혁신은 AI 애플리케이션 개발의 많은 과제를 해결하고 더 안전하고, 신뢰할 수 있으며, 효율적인 AI 생태계를 구축하는 길을 열어줄 것을 약속합니다.
본 글에서는 자연어 처리에서 어텐션 메커니즘의 발전 과정을 초기 멀티 헤드 어텐션(MHA)에서 더욱 발전된 멀티 잠재 헤드 어텐션(MHLA)까지 다룹니다. MHA는 쿼리, 키, 값 벡터를 계산하여 문맥 내 중요 단어의 가중치를 부여하지만, 계산 및 메모리 복잡도는 시퀀스 길이에 따라 제곱으로 증가합니다. 이를 해결하기 위해 MHLA와 같은 새로운 접근 방식이 등장하여 성능 저하 없이 계산 속도와 확장성을 향상시켰습니다. 예를 들어, KV 캐싱을 사용하여 중복 계산을 줄입니다. 본 글에서는 이러한 메커니즘의 핵심 개념, 장점과 단점, BERT, RoBERTa, Deepseek 등의 모델에서의 적용에 대해 명확하게 설명합니다.
인기 있는 오픈소스 대규모 언어 모델(LLM)인 DeepSeek은 인상적인 성능을 자랑합니다. 하지만, 방대한 크기와 고유한 아키텍처(멀티헤드 잠재적 어텐션과 전문가 믹스 사용) 때문에 대규모 효율적인 서비스를 위해서는 정교한 시스템이 필요합니다. 이 블로그에서는 SGLang을 사용하여 DeepSeek의 추론 시스템 성능에 거의 맞먹는 방법을 설명합니다. Atlas Cloud의 12개 노드(각 노드에 8개의 H100 GPU 장착)에서 실행되는 구현에서는 프리필 디코딩 분리 및 대규모 전문가 병렬 처리(EP)를 활용하여 2000토큰 입력 시퀀스에 대해 노드당 초당 52.3k토큰 입력 및 초당 22.3k토큰 출력을 달성했습니다. 이는 저희가 아는 한 대규모에서 DeepSeek의 보고된 처리량에 거의 맞먹는 최초의 오픈소스 구현이며, 공식 DeepSeek Chat API 비용의 약 5분의 1입니다.