deepseek AI 로컬 PC에서 할 수 있도록 알려주세요

DeepSeek AI를 로컬 PC에서 실행하기 위해서는 Ollama라는 도구를 사용해야 합니다.

Ollama는 무료 오픈소스 프로젝트로, 다양한 운영체제에서 대형 언어 모델(LLM)을 로컬로 구동할 수 있게 도와줍니다.

다음은 DeepSeek R1을 로컬에서 실행하는 방법입니다:

1. Ollama 설치

• Ollama 공식 웹사이트에 접속하여 사용자의 운영 체제에 맞는 버전을 다운로드하고 설치합니다.
• 설치가 완료되면 터미널(명령 프롬프트)을 열고 ollama -v 명령어를 실행하여 설치가 정상적으로 완료되었는지 확인합니다.

2. DeepSeek R1 모델 다운로드 및 실행

• Ollama를 실행하고, Models 탭으로 이동하여 검색창에 deepseek을 입력합니다.
•  
• 원하는 모델 크기를 선택하여 다운로드합니다. 예를 들어, 8B 모델을 실행하려면 아래 명령어를 사용합니다:

ollama run deepseek-r1:8b

• 모델 파일이 다운로드되면, 로컬 PC에서 바로 실행할 수 있습니다. 다운로드가 완료된 이후에는 인터넷 연결 없이도 모델이 동작합니다.

3. 추가 설정 및 활용

• Chatbox와 같은 인터페이스를 사용하여 DeepSeek R1과의 상호작용을 쉽게 할 수 있습니다.
• Python을 사용하여 DeepSeek R1을 호출할 수도 있습니다. 예를 들어:

from ollama import chat
response = chat(model='deepseek-r1:8b', messages=[{'role':'user', 'content':'What is DeepSeek R-1?'}])
print(response['message']['content'])

 

 

주의사항

• GPU 및 VRAM 요구사항: 모델 크기에 따라 필요한 하드웨어 사양이 다릅니다. 예를 들어, 8B 모델은 8GB VRAM이 필요합니다.
• 데이터 프라이버시: 로컬에서 실행하면 모든 데이터가 사용자 PC에만 저장되므로, 데이터 프라이버시가 보장됩니다.

 

 

유사한 오픈소스 도구

Elasticsearch + NLP 라이브러리: 

텍스트 데이터 색인과 검색을 위한 Elasticsearch와 Python의 SpaCy, Hugging Face Transformers 같은 NLP 라이브러리를 결합해 AI 검색 기능을 만듭니다.

 

FAISS: 

Facebook AI에서 만든 벡터 검색 라이브러리로, 문서 임베딩을 만들어 빠른 검색이 가능합니다.

 

LangChain: 

여러 AI 모델을 연결해 문서 검색, 질의응답 기능을 구축할 수 있는 프레임워크입니다.

 

 

기본적인 로컬 구축 예시 (Python)

 

문서 임베딩 생성: Hugging Face Transformers
벡터 색인 및 검색: FAISS

 

from sentence_transformers import SentenceTransformer
import faiss
import numpy as np

# 모델 로드
model = SentenceTransformer('all-MiniLM-L6-v2')

# 샘플 문서
docs = ["AI 기술 소개", "로컬 PC에서 AI 검색 구현", "DeepSeek 대체 방법"]

# 문서 임베딩 생성
embeddings = model.encode(docs)

# FAISS 인덱스 생성
dimension = embeddings.shape[1]
index = faiss.IndexFlatL2(dimension)
index.add(np.array(embeddings))

# 쿼리 임베딩
query = "AI 검색"
query_vec = model.encode([query])

# 검색 수행
D, I = index.search(np.array(query_vec), k=2)
print("Top results:", [docs[i] for i in I[0]])

 

 

Windows PC에서 사용할 수 있는 AI 검색 도구는 여러 가지가 있으며, 목적과 사용 환경에 따라 적합한 도구를 선택할 수 있습니다. 아래에 대표적인 AI 검색 도구들을 소개합니다.

1. Elasticsearch + OpenAI / Hugging Face 모델 연동
특징: 오픈소스 검색 엔진인 Elasticsearch에 AI 기반 자연어 처리(NLP) 모델을 결합하여 고급 검색 기능 구현 가능
장점: 대용량 데이터 처리, 확장성 뛰어남, 커스텀 가능
사용법: Windows에 Elasticsearch 설치 후, Python 등으로 OpenAI API 또는 Hugging Face 모델 연동

2. Microsoft Azure Cognitive Search
특징: Microsoft에서 제공하는 클라우드 기반 AI 검색 서비스이며, Windows 환경과 잘 통합됨
장점: 강력한 AI 기능 내장, 문서 인덱싱 및 자연어 질의 지원
단점: 클라우드 서비스로, 로컬 완전 독립형은 아님

3. Vespa
특징: 오픈소스 분산 검색 및 추천 엔진, AI 기반 벡터 검색 지원
장점: 대규모 데이터에 적합, 복잡한 검색 쿼리도 처리 가능
설치: Windows Subsystem for Linux(WSL) 등으로 설치하여 사용 가능

4. Weaviate
특징: 오픈소스 벡터 검색 엔진으로 AI 임베딩 기반 검색에 특화
장점: 간단한 REST API 제공, 다양한 AI 임베딩 모델과 연동 가능
설치: Docker를 통해 Windows에서 쉽게 설치 가능

5. Qdrant
특징: 벡터 검색 엔진으로 빠르고 효율적인 AI 기반 검색 제공
장점: 고성능, 쉬운 설치 및 사용법
설치: Windows Docker 환경에서 실행 가능

6. LocalAI
특징: 로컬 PC에서 실행 가능한 경량 AI 모델 서버, 오픈소스
장점: 인터넷 연결 없이도 AI 모델 사용 가능, 개인 정보 보호에 유리
용도: 텍스트 검색, 요약, 질의응답 등
요약 및 추천
로컬 완전 독립형 AI 검색을 원한다면:
Weaviate, Qdrant, LocalAI + Python 기반 임베딩 도구 추천
대규모 데이터와 확장성 중시:
Elasticsearch + AI 모델 연동
클라우드 연동 가능 시:
Azure Cognitive Search

 

 

커서(Cursor)와 유사한 무료 AI 코드 작성 및 보조 도구

Tabnine
설명: AI 기반 코드 자동 완성 도구
특징: 여러 프로그래밍 언어 지원, 로컬 및 클라우드 버전 존재
무료 플랜: 기본 기능 무료 제공
지원 IDE: VSCode, IntelliJ, Sublime Text 등
Tabnine 홈페이지

 

Codeium
설명: AI 기반 코드 작성 및 자동 완성 도구, 무료로 제공
특징: 다양한 언어 지원, VSCode, JetBrains 플러그인 제공
Codeium 홈페이지

 

 

오픈소스 기반

Tabby (오픈소스 AI 코드 어시스턴트)

GitHub에서 공개된 AI 기반 코드 어시스턴트 프로젝트
직접 설치 및 커스터마이징 가능
Tabby GitHub

 

CodeGeeX
오픈소스 AI 코드 생성기 프로젝트
무료로 사용할 수 있으며, 로컬 설치 가능

 

1. CodeGeeX란?
CodeGeeX는 중국의 AI 연구기관인 IDEA-CCNL(Institute of Data Science and Knowledge Engineering, Chinese Computer Network Laboratory)에서 개발한 오픈소스 AI 코드 생성 모델입니다.
GPT 계열의 대형 언어 모델을 기반으로 하며, 주로 프로그래밍 코드 생성에 특화되어 있습니다.
다양한 프로그래밍 언어를 지원하며, 자연어로 된 설명을 입력하면 해당하는 코드를 생성해 줍니다.
2. 주요 특징
다중 프로그래밍 언어 지원: Python, JavaScript, Java, C++, Go, Rust 등
대규모 사전 학습 모델: 공개된 대규모 코드 데이터셋으로 학습되어 높은 정확도를 자랑
오픈소스 및 무료 사용 가능: 누구나 GitHub 등에서 모델과 코드를 내려받아 직접 활용 가능
로컬 환경에서 실행 가능: 클라우드가 아닌 개인 PC에도 설치하여 사용 가능 (사양 요구는 다소 높을 수 있음)
API 형태로도 사용 가능: 자체 서버 구축 후 API 형태로 호출 가능
3. 활용 방법
1) GitHub 저장소 방문
CodeGeeX 공식 GitHub: https://github.com/THUDM/CodeGeeX
여기서 모델과 코드, 설치 가이드, 데모 등을 확인할 수 있습니다.
2) 설치 및 실행
Python 환경에서 PyTorch와 관련 라이브러리를 설치 후 모델을 다운로드하여 실행
예를 들어, 로컬에서 자연어 입력을 받아 코드를 생성하는 간단한 스크립트를 작성 가능

3) 예시 코드

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("THUDM/CodeGeeX")
model = AutoModelForCausalLM.from_pretrained("THUDM/CodeGeeX")

input_text = "Write a Python function that checks if a number is prime."
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(**inputs, max_length=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

4. 요구 사항 및 주의점
하드웨어: GPU가 있는 환경에서 실행하는 것이 권장되며, CPU만으로도 작동하지만 속도가 느릴 수 있음
언어 모델 크기: 모델 크기가 크므로 저장 공간과 메모리 요구량이 있음
학습 데이터 한계: 공개 모델이므로 특정 최신 라이브러리나 특수한 코드에는 부정확할 수 있음
라이선스 확인: 상업적 사용 시 라이선스 조건을 반드시 확인하세요
5. 요약
항목 내용
개발기관 IDEA-CCNL (중국)
모델 타입 GPT 계열, 대규모 AI 코드 생성 모델
지원 언어 Python, JavaScript, Java, C++, 등
사용 방법 오픈소스 GitHub에서 다운로드 및 실행 가능
하드웨어 요구 GPU 권장, CPU도 가능
라이선스 오픈소스 (상세 라이선스는 GitHub 참고)

1. 설치 환경 준비
필수 조건
Python 3.8 이상 설치 (권장: 3.9 또는 3.10)
PyTorch 설치 (GPU가 있으면 CUDA 버전에 맞게 설치)
Git 설치 (코드 클론용)
Windows Subsystem for Linux (WSL) 사용을 권장 (특히 GPU 활용 시)

 

2. 설치 단계
1) Python 설치 확인 및 가상환경 생성

python --version
python -m venv codegeex-env
codegeex-env\Scripts\activate  # Windows 기준

 

2) GitHub 저장소 클론

git clone https://github.com/THUDM/CodeGeeX.git
cd CodeGeeX

 

3) 필요한 라이브러리 설치

pip install -r requirements.txt

 

만약 requirements.txt가 없으면, 주요 패키지 수동 설치:

pip install torch transformers sentencepiece

4) PyTorch 설치 (GPU 지원 권장)
공식 사이트 https://pytorch.org/ 에서 CUDA 버전에 맞는 명령어 확인 후 설치
예: CUDA 11.7 + Windows PowerShell 기준

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

 

3. 모델 다운로드 및 실행 예제
1) 모델 로드 및 간단한 코드 생성 스크립트 (Python)

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

def generate_code(prompt):
    tokenizer = AutoTokenizer.from_pretrained("THUDM/CodeGeeX")
    model = AutoModelForCausalLM.from_pretrained("THUDM/CodeGeeX")
    inputs = tokenizer(prompt, return_tensors="pt")
    outputs = model.generate(**inputs, max_length=150, do_sample=True, temperature=0.7)
    return tokenizer.decode(outputs[0], skip_special_tokens=True)

if __name__ == "__main__":
    prompt = "Write a Python function that calculates factorial."
    code = generate_code(prompt)
    print(code)

 

위 스크립트를 generate_code.py로 저장 후 실행:

python generate_code.py

 

4. 활용 팁
max_length나 temperature 파라미터 조절로 생성 코드 길이 및 다양성 조절 가능
다양한 프로그래밍 언어 문법을 테스트해 보세요
대화형 인터페이스를 만들어 반복 질의 및 코드 생성도 가능

5. 참고사항
모델 다운로드 시 초기 로딩에 시간이 걸릴 수 있습니다.
GPU 메모리가 부족하면 CPU 모드로 실행하되 속도는 느립니다.
최신 버전이나 추가 기능은 GitHub 저장소 README와 이슈 페이지 참고 권장