AI 도입을 위한 Llama 3 로컬 설치 및 이관 가이드

아래는 Llama 3 모델을 기반으로 AI를 도입하기 위한 로컬 PC 설치, 학습, 이관에 대한 상세 가이드입니다.
운영 체제는 Windows 11, 설치 환경은 로컬 PC, 최종 목적지는 대학교 내부 서버/PC입니다.

 

✅ 1. 개요

항목 설명

대상 모델	Meta AI Llama 3 (8B or 70B)
환경	Windows 11 (로컬 개발), 내부 서버
목적	전산망에서 자체 운영 가능한 한글 지원 AI
특징	한글 가능, 상업적 이용 가능 (Meta license 기준), 고성능

---

✅ 2. 사전 준비 사항

💻 로컬 PC (개발 및 테스트용)

항목 권장 사양

GPU	NVIDIA RTX 3090 / 4090 이상 (VRAM 24GB 이상)
RAM	64GB 이상
Storage	SSD 1TB 이상
OS	Windows 11 64bit
Python	3.10 이상
CUDA Toolkit	11.8 이상
Git	최신 버전 설치
Python 가상환경 (권장)	venv, conda 등

---

✅ 3. Llama 3 모델 다운로드 및 실행 환경 구축

---

🧩 Step 1. Python, CUDA, PyTorch 설치

# Python 설치
https://www.python.org/downloads/

# PyTorch 설치 (CUDA 11.8 이상 기준)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

---

🧩 Step 2. Text Generation WebUI 설치

# Git 설치 후 WebUI 클론
git clone https://github.com/oobabooga/text-generation-webui.git
cd text-generation-webui
pip install -r requirements.txt

---

🧩 Step 3. Meta Llama 3 모델 다운로드

⚠️ [Meta AI의 Llama 모델은 신청 후 승인 필요]
👉 https://ai.meta.com/resources/models-and-libraries/llama-downloads/

1. Meta 신청 후 Hugging Face 토큰 연동
2. Hugging Face CLI 설치:

pip install huggingface_hub
huggingface-cli login

1. 모델 다운로드 (예: 8B FP16):

git lfs install
[X]git clone https://huggingface.co/meta-llama/Meta-Llama-3-8B
GitHub처럼 Hugging Face도 2023년부터 패스워드 대신 토큰 인증만 허용
Token Name : viw

---

🧩 Step 4. 모델 디렉토리 복사

복사 위치 예시:

text-generation-webui/models/Meta-Llama-3-8B/

---

🧩 Step 5. 실행

python server.py --model Meta-Llama-3-8B --load-in-4bit --trust-remote-code

✅ 실행 완료 후 브라우저에서 http://127.0.0.1:7860 접속

---

✅ 4. Llama 3 파인튜닝(Fine-tuning) 방법

🔧 경량 파인튜닝: LoRA 사용 (QLoRA 권장)

---

📌 Step 1. Transformers + PEFT 설치

pip install transformers datasets peft accelerate bitsandbytes

---

📌 Step 2. 데이터셋 준비 (예: 대학 FAQ)

{
  "prompt": "대학교 등록금 고지서를 어디서 확인하나요?",
  "response": "대학교 포털 사이트의 등록금 탭에서 확인하실 수 있습니다."
}

---

📌 Step 3. LoRA 학습 스크립트 실행

사용 예시: trl 또는 qlora 스크립트 사용
(옵션: Hugging Face llama-recipes, text-generation-webui의 finetune.py)

필요 시 해당 학습 스크립트 예제 제공 가능

---

📌 Step 4. 학습 모델 적용

• 학습된 adapter 또는 LoRA weight를 기존 모델에 로딩

python server.py --model Meta-Llama-3-8B --lora PATH_TO_LORA

---

✅ 5. 대학교로 이관 방법

🏫 옵션 1: 외장 SSD / NAS 복사

항목 설명

모델	/text-generation-webui/models/Meta-Llama-3-8B
실행환경	/text-generation-webui/, .venv/, requirements.txt 포함
학습 데이터	/finetuned_models/ 또는 LoRA adapter

🏫 옵션 2: ZIP 압축 및 전송

7z a llama3_deploy.7z ./text-generation-webui ./models

대학교 PC에서 압축 해제 후 실행

---

🏫 옵션 3: Docker 배포 (추가 요청 시 Dockerfile 제공 가능)

• 도커 이미지로 생성 → 대학교 서버에서 실행
• Windows 11 / Linux 모두 가능

---

✅ 6. 대학교 서버에서의 실행 절차

1. Python, CUDA 설치
2. 모델 및 WebUI 복사
3. 가상환경 설정 후 의존성 설치

pip install -r requirements.txt

1. 실행

python server.py --model Meta-Llama-3-8B

---

✅ 7. 보안 및 운영 설정

항목 설명

내부망 전용	서버 IP 제한 또는 방화벽 설정
사용자 접근 제어	WebUI에 관리자 인증 설정 가능
API 서버 연동	대학 홈페이지 / 시스템과 연동 위한 Flask/FastAPI 추가 구성
운영 로그 관리	inference log, 질문/응답 저장 기능 설정 가능

---

✅ 8. 예상 활용 사례

분야 활용 예시

민원 처리	"수강 신청 변경 가능한가요?" 등 자동 응답
교수/학생 상담	시간표 추천, 졸업 요건 상담
문서 요약	학사 공지 요약, 강의 자료 정리
연구 도우미	논문 초안 요약, 검색 보조

---

✅ 9. 추가 지원 가능 항목 (요청 시 제공)

• Llama 3 fine-tuning 예제 코드 (QLoRA 기반)
• FastAPI + Llama3 연동 서버 예제
• Docker 기반 이식형 패키지
• WebUI 사용자 인증 설정 방법
• 대학교 서버 자동 배포 스크립트 (.bat or PowerShell)

---

✅ 요약 체크리스트

항목 완료 여부

Llama 3 모델 다운로드 및 실행 ✔
학습 데이터 구성 및 fine-tuning ✔
로컬 실행 확인 ✔
대학교로 모델/환경 이관 ✔
대학교 서버에서 실행 ✔
보안 설정 및 접근 제한 ✔

---

필요하신 경우 설치용 .bat 파일, Llama 3 파인튜닝 코드, 대학 내 도입 발표용 PPT, 학내 정책 적용 가이드라인까지 제공해 드릴 수 있습니다.
요청해 주세요!