[HD][심화과정]Fine tuning (파인 튜닝) - Transformer (트랜스포머) 아키텍처 Part.3

- HuggingFace의 BertTokenizer와 BertModel을 활용하여 BERT 입력을 준비하고 인코더를 통과시켜 토큰별 벡터를 추출하는 코드를 구현할 수 있다.- BertForClassification 클래스를 직접 구현하여 pre-trained BERT에 Linear Layer를 추가하는 fine-tuning 구조를 이해할 수 있다.- torch.einsum의 동작 원리(축 이름, element-wise 곱셈, 합산)를 이해하고 MHA, MQA의 attention 연산을 einsum으로 표현할 수 있다.- KV Cache의 필요성과 동작 방식을 이해하고, MHA 대비 MQA와 GQA의 K, V 공유 구조의 차이를 설명할 수 있다.- GPT-2의 MHA 가중치를 mean pooling을 통해 GQA로 변환하는 convert_mha_to_gqa 함수와 GQAAttention 클래스를 구현할 수 있다.

본 과정은 AI 모델을 특정 목적에 맞게 최적화하는 핵심 기술인 Fine-tuning을 Transformer 아키텍처의 원리부터 실제 구현까지 체계적으로 학습합니다.Attention 메커니즘, Self-attention, Multi-head Attention 등 Transformer의 핵심 구조를 수식과 함께 이해하고, 사전학습(Pre-training)된 모델이 Fine-tuning을 통해 어떻게 새로운 태스크에 적응하는지 그 원리를 탄탄히 익힙니다.학습률(Learning Rate), 배치 크기(Batch Size), Epoch 등 주요 하이퍼파라미터의 역할을 이론적으로 파악하고, PyTorch와 Hugging Face를 활용한 실습을 통해 텍스트 분류, 감성 분석 등 실제 태스크에 Fine-tuning을 직접 적용해봅니다.이 과정을 통해 AI/ML을 처음 접하는 분도 Transformer 기반 모델의 동작 원리를 이해하고, 원하는 도메인에 맞는 모델을 스스로 학습시킬 수 있는 기초 역량을 갖추게 됩니다.

Transformer 아키텍처의 원리를 이해하고 PyTorch 기반 AI 모델 구현 및 Fine-tuning을 학습하고자 하는 개발자 및 AI 입문자