사전 학습 ( Pre-training )사전학습은 대규모 데이터셋을 사용해서 모델을 처음부터 훈련시키는 과정이다. 일반적인 능력을 향상시키는 데 목적을 두고, 이 단계에서는 모델이 일반적인 패턴을 학습해서 다양한 작업을 수행할 수 있는 강력한 기본 표현을 형성하는 데 중점을 둔다.과정을 살펴보면, 사전학습은 일반적으로 대규모 데이터셋이 필요하다. 특히 BERT 모델은 파라미터가 상당히 많기 때문에 학습하기 위한 데이터셋이 크게 요구되는 편이다. 이 데이터셋들은 특정 작업에 국한되지 않고, 예를들어 자연어 처리의 경우에는 수백 혹은 수십억 개의 문장으로 구성돼서 데이터셋을 일반적 형태로 나타내게 된다. 특징을 알아보자. 특징을 살펴보면 알겠지만 사전학습 모델의 목적은 일반 언어의 이해다. 그래서 분류나 감..