1. 전이학습의 개념
기존 학습 모델이 축적한 표현, 구조, 패턴 등을 바탕으로 새로운 데이터셋이나 과제에 빠르게 적응하는 것이 목적이다.
- 기존 모델: 대량 데이터에서 일반적인 패턴을 학습 (예: GPT, BERT, ResNet 등)
- 새로운 작업: 소량의 데이터 또는 특화된 태스크 (예: 법률 문서 분류, 의료 이미지 분석 등)
2. 전이학습의 유형
(1) Feature Extraction (특징 추출형)
- 기존 모델의 중간층 또는 출력층을 고정된 feature extractor로 사용
- 새 데이터에 대해 새로운 분류기만 학습
(2) Fine-tuning (미세조정형)
- 기존 모델의 가중치를 일부 또는 전체 학습으로 조정
- 대부분 LLM, CNN 기반 이미지 분류에서 사용됨
(3) Multi-task Transfer (다중 작업 전이)
- 하나의 모델이 여러 태스크를 학습하면서 공통 지식을 서로 전이
3. 전이학습의 장점
- 적은 데이터로도 고성능 모델 구축 가능
- 훈련 시간 단축 (전체를 처음부터 학습하지 않아도 됨)
- 특화 도메인(예: 사이버 보안, 법률, 의학 등)에 LLM 등 모델 적용 가능
- 컴퓨팅 자원 절약
4. 예시
(1) LLM 기반
- GPT-3를 보안 로그 분석 모델로 fine-tuning
- 법률 문서 요약을 위한 BERT fine-tuning
(2) 이미지 처리
- ImageNet으로 사전학습된 ResNet → 폐 CT 영상 분석 fine-tuning
(3) 음성 처리
- Whisper 모델을 한국어 회의록 전사용으로 fine-tuning
5. 보안 분야에서 전이학습의 활용
| 악성코드 분류 | 사전학습된 바이너리 패턴 모델에 신규 악성 샘플 fine-tuning |
| 로그 분석 | LLM에 보안 로그 구조를 학습시켜 이상행위 분류 |
| 침해사고 분석 | 과거 사고보고서 기반 요약/분류 모델 구성 |
| 보안 Q&A 챗봇 | 보안 용어사전, 대응 프로세스를 기반으로 사내 챗봇 학습 |
GPT VS Bert
GPT(Generative Pre-trained Transformer)와 BERT(Bidirectional Encoder Representations from Transformers)는 모두 트랜스포머(Transformer) 기반의 언어 모델이지만, GPT는 문장을 왼쪽에서 오른쪽으로 생성하는 생성형(Autoregressive) 구조로 주로 텍스트 생성에 사용되며, BERT는 문장의 양방향 문맥을 동시에 고려하는 인코더 기반 구조로 주로 문장 이해와 분류 작업에 활용된다.