이 곳은 항해 플러스 코스 3기를 수강하면서 배운 것들과 과제를 올리는 공간입니다!
1~2주차. 딥러닝 이론 & 자연어 처리
🚀 Chapter 1에서는 AI 모델 학습 원리와 데이터 전처리 등을 학습하며, LLM 실무 프로젝트를 수행하기 위한 이론을 학습합니다.- 딥러닝 공통: 뉴럴 네트워크, 역전파, 경사 하강법
- 실습을 위한 라이브러리(NumPy, Pandas, Matplotlib, PyTorch) 학습
- 자연어 처리 기초: 워드 임베딩, 문서/문장의 표현, 언어 모델(language model), TF-IDF
과제 : 한국어 감정 분석 분류 모델 예시(뉴스 기사 긍정/부정 분류하기)
3주차 LLM의 원리와 작동 방식 학습
🚀 Chapter 2에서는 LLM의 원리와 작동 방식을 학습하며, 다양한 LLM 모델을 직접 다뤄봅니다.- PyTorch를 활용한 LLM 모델 구현 (GPT, BERT 구조를 참고한 LLM 모델 구현)
- LLM의 발전 동향 이해, 자신만의 서비스에 LLM을 적용할 수 있는 방법 연구
과제 : Hugging Face에서 다양한 LLM 모델 실습하기
4~5주차 LLM 라이브러리 활용법 및 서비스 제작 프로젝트
🚀 Chapter 3에서는 LLM을 활용하기 위한 라이브러리를 학습하고, 라이브러리를 활용한 서비스를 제작합니다.- 자연어 처리 심화: 통계적 언어 모델, RNN, LSTM, Transformer, Large Language Model (LLM)
- 자연어 처리 분류 모델(LSTM, RNN, Transformer) 심화
- 생성형 자연어 처리 모델(GPT)
과제 : ChatGPT 라이브러리 연동 및 서비스 개발
6~8주차. 클라우드 환경 배포 및 파인 튜닝
🚀 Chapter 4에서는 클라우드 환경에 오픈소스 LLM을 설치하고, 실제 데이터를 학습 시키며 파인튜닝의 과정을 거칩니다.- LLM 모델 튜닝, 데이터 전처리 (데이터 토큰화 및 인코딩)
- 정확도 평가 및 파인 튜닝
- 클라우드 서비스 사용 방법
과제 :
- 클라우드 환경에서의 환경 설정: VM 설정 및 라이브러리 설치
- 오픈소스 LLM 설치 및 설정: Hugging Face 트랜스포머
- 모델 성능 평가 및 튜닝: 테스트 데이터를 활용한 평가 및 하이퍼파라미터 조정
- 결과 분석 및 문서화: Fine-tuning 과정에서의 평가 보고서 작성