1. Mixture-of-Experts (MoE) 아키텍처

Llama 4 시리즈는 Scout과 Maverick 모두 메타 처음으로 Mixture-of-Experts(MoE) 아키텍처를 채택했습니다.

Scout은 16개, Maverick은 128개의 experts를 보유하고 있습니다. 여기서 expert란, 입력에 따라 선택적으로 호출되는 작은 전문가 네트워크를 뜻하는데요. 모든 expert를 다 쓰는 대신, 입력에 따라 일부 expert만 활성화하는 방식으로 높은 효율성과 성능을 동시에 달성했습니다. 덕분에 두 모델 모두 성능 대비 계산 효율이 뛰어납니다. 또한, 단일 NVIDIA H100 GPU 서버에서도 가볍게 운용할 수 있습니다.

2. 네이티브 멀티모달 모델

Scout과 Maverick은 처음부터 텍스트와 이미지를 함께 처리하는 멀티모달 모델로 설계되었습니다. 텍스트 토큰과 이미지 패치를 초기 융합(early fusion) 방식으로 합쳐 단일 backbone 위에서 함께 학습된 모델인데요. 텍스트와 이미지를 동시에 입력으로 받을 수 있고, 이미지 내 특정 영역에 대한 grounding, 즉 이미지 속 정확한 위치나 대상과 텍스트 질의를 연결시키는 작업도 지원합니다. 두 모델은 최대 48개의 이미지까지 입력으로 수용 가능하며, 멀티이미지 추론과 비전-언어 복합 태스크에 강합니다.

3. 10M 토큰 초장기 문맥 (Long Context)

Scout은 무려 10M tokens 길이의 초장기 문맥 처리가 가능합니다. 이는 Llama 3의 128K 토큰 대비 약 80배, Gemini 1.5 Pro(1M tokens) 대비 10배나 긴 수준입니다. 

비결은 기존 RoPE(rotary positional embedding)를 확장한 iRoPE(interleaved RoPE) 구조에 있습니다. 긴 문맥에서도 정보 손실 없이 추론할 수 있도록, 포지셔널 임베딩 없이 interleaved attention layer를 적용해 일반화 성능을 강화했습니다. 이제는 수백 개 문서를 통합 요약하거나, 대형 코드베이스를 분석·검색하거나, 사용자 기록에 기반한 개인화된 추론이 가능합니다.

4. Codistillation: Behemoth로부터 지식을 이식

Scout과 Maverick은 Meta 내부 초거대 ‘선생’ 모델인 Behemoth로부터 codistillation 학습을 받았습니다. 단순히 정답만 맞추는 게 아니라, 선생 모델에 해당하는 Behemoth가 출력하는 답변을 배우는 방식인데요. 선생 모델이 예측하는 ‘soft label(확률 분포)’까지 학습에 반영하기 때문에 Scout과 Maverick은 단순 암기형 모델이 아닌, Behemoth의 깊은 추론, 코딩, 멀티모달 이해 방식을 흡수한 ‘제자’라고 볼 수 있습니다.

✋🏼여기서 잠깐!

딥시크는 Codistillation과 비슷하지만 다른 Knowledge Distillation을 사용했습니다. 더 크고 똑똑한 ‘선생’ 모델로부터 지식을 증류(distill)해서 작고 빠른 ‘제자’ 모델을 만드는 걸 주요 전략으로 삼았는데요. 딥시크는 상대적으로 선생 모델 의존을 점진적으로 줄이는 Knowledge Distillation 방식을, Llama 4는 선생 모델과 끝까지 병행하는 Codistillation 방식을 전략으로 삼았다는 차이가 있습니다. 

• Codistillation: Compute을 더 많이 요구하지만, 제자 모델 품질이 올라감

• Knowledge Distillation: 학습 효율이 높지만, 선생 모델을 완전히 따라잡긴 어려움