728x90 반응형 SMALL AI&LLM3 LangServe 시스템 구성 메뉴얼 EEVE-Korean-10.8B 모델 기반 LangServe 시스템 구성 메뉴얼이 문서는 EEVE-Korean-10.8B 모델을 기반으로 한 로컬 LLM 시스템을 PyCharm, Ollama, LangChain, LangServe를 활용하여 구성하는 전체 절차를 설명합니다.1. Python 가상환경 구성1.1 PyCharm 설정PyCharm → File → Settings → Project → Python Interpreter 에서 Python 3.11 지정1.2 터미널에서 가상환경 생성 및 활성화python -m venv .venvsource .venv/bin/activate2. HuggingFace 모델 다운로드2.1 huggingface-hub 설치pip install huggingface-hub2.. 2025. 7. 4. Ollama + Python(Flask) chatbot 만들기 1. Ollama 설치 및 모델 다운로드# Ollama 설치curl https://ollama.ai/install.sh | shsudo systemctl enable --now ollama# 모델 다운로드 (예: Gemma3:4B)ollama pull gemma3:4b # 또는 gemma3:17b, gemma3:27b✅ Gemma3:4B 선택 이유한글화 지원 충분가볍고 빠름지식파일 기반 응답에 적합2. 챗봇 만들기2-1. 가상환경 설치 및 활성화sudo apt -y install python3-pip python3-venv python3-fullpython3 -m venv myenvsource myenv/bin/activate2-2. 디렉토리 구조 설계project/├── app.py├── stati.. 2025. 7. 3. AMD ROCm + PyTorch GPU 연산 환경 구축 가이드 (Ubuntu 24.04) 🧭 개요이 문서는 Ubuntu 24.04 시스템에서 AMD GPU(Radeon PRO W6800)를 활용해 ROCm 기반 PyTorch 연산 환경을 구축하는 절차를 설명합니다.⚠️ AMD의 ROCm은 공식적으로 Ubuntu 22.04까지 지원합니다. Ubuntu 24.04에서는 focal 저장소 등록 우회 방식이 필요합니다.📌 전제 조건GPU: AMD Radeon PRO W6800 (ROCm 5.7 공식 지원)OS: Ubuntu 24.04 (noble)Python 3.12 기반1️⃣ ROCm 저장소 등록 및 패키지 설치1-1. GPG 키 및 저장소 등록 # sudo mkdir -p /etc/apt/keyrings# curl -fsSL https://repo.radeon.com/rocm/rocm.gpg.. 2025. 7. 3. 이전 1 다음 728x90 반응형 LIST