TIL 37

RAG vs Prompt engineering vs Fine tuning

각각이 무엇이고, 차이점이 무엇인가?

• 이 3가지 개념은 생성형 AI 모델을 최적화하거나, 특정 목적에 맞춰 성능을 높이기 위한 방법들이다.

RAG

• Retrieval-Augmented Generation. 검색-증강 생성
• 외부 소스에서 가져온 사실을 통해 생성형 AI 모델의 정확성과 신뢰성을 향상시키는 기술
• 기존 정보 검색 시스템(예: 검색 및 데이터베이스)의 강점과 생성형 대규모 언어 모델(LLM)의 기능을 결합한 AI 프레임워크
• 개념 : 생성형 AI 모델이 정보를 생성할 때, 사전에 학습된 지식만을 사용하는 것이 아니라, 외부 데이터베이스에서 관련 정보를 검색하고, 이를 바탕으로 답변을 생성하는 방식이다.
• 예) 고객 지원 챗봇이 실시간으로 최신 정보를 참고해야할 때, RAG 모델은 데이터베이스에서 적절한 정보를 검색해 보다 정확한 답변을 생성할 수 있다.
• 주요 특징 : 검색을 통해 최신 정보와 문맥에 맞는 정보를 가져오기 때문에, 지식이 고정돼있는 모델보다 최신 정보에 유연하게 반응할 수 있다.

Prompt engineering

• 프롬프트 엔지니어링
• 원하는 출력을 생성하기 위해 프롬프트를 개발하고 최적화하는 기술
• 개념 : AI 모델에 원하는 출력을 얻기 위해 입력(프롬프트)을 설계하는 기술이다. AI 모델은 프롬프트 내용에 따라 결과가 달라지기 때문에, 모델의 출력 결과가 개선되도록 프롬프트를 구성하고 수정하는 것이 핵심이다.
• 주요 특징 : 모델의 내부 파라미터를 수정하는 것이 아니라, 프롬프트만을 수정하는 방식으로 출력을 조정하기 때문에, 비교적 빠르고 비용이 적게 든다.

Fine tuning

• 파인튜닝. 미세 조정
• 특정 작업이나 도메인에 높은 적합성을 확보하기 위해, 이미 훈련된 대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업
• 개념 : 사전에 학습된 모델을 특정 데이터셋으로 추가 학습하여, 특정 목적에 맞는 결과를 출력할 수 있도록 조정하는 방법이다.
• 예) 고객 응대에 특화된 모델을 만들기 위해 기존 모델에 고객 응대 데이터를 추가 학습시키는 것이 파인튜닝이다.
• 주요 특징 : 모델이 특정 영역에 대해 깊이 학습하게 하므로, 특정 분야나 목적에 특화된 모델을 구축할 수 있다. 다만, 파인튜닝은 많은 연산 자원과 시간, 그리고 모델의 재학습이 필요하다.

차이점

RAG	프롬프트 엔지니어링	파인튜닝
외부 검색을 통해 실시간 정보와 기존 모델 지식을 결합함	입력을 수정하는 방식으로 원하는 답변을 유도함. 모델 재학습이 필요없고, 신속히 출력 조정이 가능함	모델 자체를 특정 목적이나 분야에 맞게 재학습해 성능을 높이는 방법