Pre-training(사전 학습)은 머신러닝 모델을 특정 작업에 맞추기 전에 대규모 범용 데이터셋으로 먼저 학습시키는 과정입니다. 이 단계에서 모델은 패턴·구조·표현 방식을 폭넓게 익혀 이후 특정 작업에 맞춘 학습(Fine-tuning)을 더 효율적이고 정확하게 수행할 수 있습니다.

작동 방식:

1. 대규모 비지도 학습
•  텍스트·이미지·음성 등 레이블이 없는 방대한 데이터를 통해 데이터의 패턴과 분포를 스스로 학습

2. 표현(Representation) 구축
•  언어, 시각, 개념 간 관계를 일반화된 내부 표현으로 저장
•  다양한 작업에 재활용 가능

3. 특정 작업에 맞춘 파인튜닝(Fine-tuning)
•  소량의 레이블 데이터로 세부 조정
•  처음부터 학습하는 것보다 빠르고 데이터 요구량도 적음

중요성

• 성능 향상 : 다양한 작업에서 높은 정확도 달성

• 학습 효율성 : 적은 데이터와 시간으로도 좋은 결과

• AI 민주화 : 대규모 라벨 데이터 없이도 고품질 모델 개발 가능

• 광범위한 적용 : NLP, 컴퓨터 비전 등 여러 AI 분야 혁신 가속