높아진 효율성의 배경에는 ‘풀스택 최적화 전략’이 있습니다. 소비량을 계산할 때도 전 과정의 에너지 소모량을 측정했듯이, 효율화 또한 전 과정을 아울러서 관리했는데요. 모델을 설계하는 방식에서부터 이를 구동하는 칩과 서버, 그리고 그 서버를 담고 있는 데이터센터와 전력까지, AI가 작동하는 전 과정을 동시에 효율화하는 접근입니다. 간단하게 알아볼까요?

모델 아키텍처

• Transformer 구조: 기존 RNN·LSTM 대비 10~100배 효율적이며, 긴 문맥 처리에서 계산 낭비를 줄여 줍니다.
• Mixture-of-Experts (MoE): 거대한 모델이 항상 모든 파라미터를 쓰는 대신, 필요한 일부 전문가 모듈만 활성화하여 연산량을 10~100배 절약합니다.
• 효율적 Attention 기법: Sparse/Linear Attention 등을 적용해 입력 길이가 길어져도 계산량이 폭증하지 않도록 제어합니다.

알고리즘

• 양자화(Accurate Quantized Training): 숫자를 32비트 대신 8비트 등으로 줄여 표현해, 연산량과 메모리 사용을 줄입니다.
• 지식 증류(Distillation): 대형 모델이 학습한 지식을 소형 모델에 전수해, 더 작은 모델(Gemini Flash, Flash-Lite)도 고품질 결과를 내도록 합니다.
• Speculative Decoding: 소형 모델이 먼저 답안을 예측하고, 대형 모델이 이를 빠르게 검증하는 방식으로, 큰 모델이 모든 단계를 직접 연산하는 것보다 효율적입니다.

하드웨어 

• Ironwood TPU: 최신 TPU는 1세대 대비 30배 효율적이며, 범용 CPU보다 훨씬 높은 연산 대비 전력 효율을 자랑합니다.
• 모델 & 하드웨어 공동 설계: 새로운 모델이 하드웨어의 특성을 최대한 활용하도록 만들고, 반대로 하드웨어도 미래 모델의 요구사항을 반영해 개발합니다.

데이터센터

• PUE 1.09: 전력 사용 효율(Power Usage Effectiveness) 지표에서 1.3~1.5인 업계 평균에 비해 구글은 1.09를 달성했는데요. 이는 거의 이론적 한계에 근접한 수치입니다.
• 효율적인 서버 운영: 수요 예측과 실시간 스케줄링을 통해 유휴 장비를 최소화하고, CPU·TPU가 놀지 않도록 합니다.

에너지 & 물

• 24/7 무탄소 전력: 특정 시간대가 아니라 하루 24시간, 일주일 내내 청정에너지로 데이터센터를 운영하는 전략입니다.
• 물 사용 보충: 데이터센터 냉각에 쓰는 물만큼이 아니라, 평균적으로 120%를 자연에 환원하겠다는 목표를 세웠습니다.
• 지역별 최적화: 물 부족 지역에서는 수냉식이 아니라 공랭식 냉각을 우선 적용하여 물 소비를 줄입니다.

다양한 접근 덕분에 구글은 훨씬 적은 연산과 전력을 사용하면서도 품질은 유지할 수 있게 되었는데요. 구글의 발표는 AI 환경 영향에 대한 첫 투명한 기준을 제시했다는 점에서 의미가 큽니다.