Lumina-DiMOO: 혁신적인 오픈소스 멀티모달 확산 모델

Lumina-DiMOO는 매끄러운 멀티모달 생성과 이해를 위한 오픈소스 기반 모델입니다. 이전의 통합 모델과 달리 모든 입력 및 출력 모달리티에 완전히 이산적인 확산 모델링 접근 방식을 사용하여 자기 회귀 모델이나 하이브리드 모델에 비해 훨씬 높은 샘플링 효율성을 달성합니다. 텍스트-이미지 생성, 이미지-이미지 생성(편집, 주제 기반 생성, 인페인팅 포함), 이미지 이해와 같은 작업을 능숙하게 처리하며 여러 벤치마크에서 최첨단 성능을 달성합니다. 멀티모달 및 이산 확산 모델링 연구를 발전시키기 위해 코드와 체크포인트가 공개적으로 제공됩니다.