AI 서버 활용 및 튜닝 가이드 1편: Docker 통합 및 vLLM 추론 최적화 서버 구축 포함)

# /mnt/data/docker-compose.yml
# 통합 서비스: Portainer · Watchtower · Open WebUI · ComfyUI · n8n · Meilisearch · Cloudflared

x-logging: &default-logging
  driver: "json-file"
  options:
    max-size: "10m"
    max-file: "3"

services:

  # ────────────────────────────────────────────────────────────
  # Portainer — 컨테이너 관리 Web UI
  # ────────────────────────────────────────────────────────────
  portainer:
    image: portainer/portainer-ce:latest
    container_name: portainer
    restart: unless-stopped
    ports:
      - "9000:9000"
      - "9443:9443"
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - /mnt/data/00_infra/portainer/data:/data
    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      # Portainer는 Watchtower 자동 업데이트 제외 (수동 관리)
      - "com.centurylinklabs.watchtower.enable=false"

  # ────────────────────────────────────────────────────────────
  # Watchtower — 컨테이너 자동 업데이트 (매일 새벽 4시)
  # ────────────────────────────────────────────────────────────
  watchtower:
    image: containrrr/watchtower:latest
    container_name: watchtower
    restart: unless-stopped
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
    environment:
      # Docker API 버전 명시 (불일치 오류 방지)
      - DOCKER_API_VERSION=1.45
      # 업데이트 후 구 이미지 자동 삭제
      - WATCHTOWER_CLEANUP=true
      # 중지된 컨테이너는 업데이트 제외
      - WATCHTOWER_INCLUDE_STOPPED=false
      # 매일 새벽 4시 실행 (cron 형식)
      - WATCHTOWER_SCHEDULE=0 0 4 * * *
      - TZ=Asia/Seoul
    networks:
      - ai-common-net
    logging: *default-logging

  # ────────────────────────────────────────────────────────────
  # Open WebUI — Ollama Web UI (ChatGPT 스타일)
  # Ollama는 네이티브 설치 → host.docker.internal:11434 으로 접근
  # ────────────────────────────────────────────────────────────
  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    restart: unless-stopped
    ports:
      - "3001:8080"
    volumes:
      - /mnt/data/01_ai/open-webui/data:/app/backend/data
    environment:
      # 네이티브 Ollama 접근 (host.docker.internal 사용)
      - OLLAMA_BASE_URL=http://host.docker.internal:11434
      - WEBUI_SECRET_KEY=${WEBUI_SECRET_KEY}
      - DEFAULT_LOCALE=ko-KR
      - ENABLE_RAG_WEB_SEARCH=true
      - ENABLE_IMAGE_GENERATION=true
      # ComfyUI 이미지 생성 연동
      - COMFYUI_BASE_URL=http://comfyui:8188
      - TZ=Asia/Seoul
    # 네이티브 Ollama 접근을 위한 host 추가
    extra_hosts:
      - "host.docker.internal:host-gateway"
    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      - "com.centurylinklabs.watchtower.enable=true"

  # ────────────────────────────────────────────────────────────
  # ComfyUI — AI 이미지 생성 (RTX 3060 12GB 최적화)
  # ────────────────────────────────────────────────────────────
  comfyui:
    image: yanwk/comfyui-boot:cu128-slim
    # cu128: 설치된 CUDA 12.8에 정확히 일치
    container_name: comfyui
    runtime: nvidia
    restart: unless-stopped
    ports:
      - "8188:8188"
    environment:
      # ── GPU 설정 ─────────────────────────────────────────────
      - NVIDIA_VISIBLE_DEVICES=0
      - NVIDIA_DRIVER_CAPABILITIES=compute,utility,video
      # RTX 3060 Ampere 아키텍처 명시 (compute 8.6)
      - TORCH_CUDA_ARCH_LIST=8.6
      # CUDA 모듈 지연 로딩 (시작 2~3초 단축)
      - CUDA_MODULE_LOADING=LAZY

      # ── ComfyUI 실행 옵션 ────────────────────────────────────
      # --cuda-malloc     RTX 30xx VRAM 단편화 30% 감소
      # --fast            불필요한 안전 검사 제거
      # --highvram        12GB: SDXL(6.5GB)·FLUX GGUF Q4(7~8GB) 상주
      # --preview-method latent2rgb  VAE 없이 빠른 프리뷰
      # --cache-none      워크플로우 전환 시 VRAM 즉시 해제 (OOM 방지)
      - CLI_ARGS=--listen 0.0.0.0 --port 8188 --cuda-malloc --fast --preview-method latent2rgb --highvram --cache-none

      # ── PyTorch 메모리 최적화 (RTX 3060 12GB 기준) ──────────
      # gc threshold 0.85: VRAM 85%(10.2GB) 시 GC 실행
      # max_split_size 256: 12GB 기준 최적 블록 크기
      # expandable_segments: PyTorch 2.x 동적 세그먼트 (단편화 감소)
      - PYTORCH_CUDA_ALLOC_CONF=garbage_collection_threshold:0.85,max_split_size_mb:256,expandable_segments:True

      - GIT_CONFIG_GLOBAL_SAFE_DIRECTORY=/root/ComfyUI
      - TZ=Asia/Seoul
      - PYTHONUNBUFFERED=1

    volumes:
      # yanwk cu128-slim 내부 경로: /root/ComfyUI
      - /mnt/data/01_ai/comfyui/models:/root/ComfyUI/models
      - /mnt/data/01_ai/comfyui/workflows:/root/ComfyUI/user/default/workflows
      - /mnt/data/01_ai/comfyui/output:/root/ComfyUI/output
      - /mnt/data/01_ai/comfyui/input:/root/ComfyUI/input
      - /mnt/data/01_ai/comfyui/temp:/root/ComfyUI/temp
      - /mnt/data/01_ai/comfyui/custom_nodes:/root/ComfyUI/custom_nodes
      - /mnt/data/01_ai/comfyui/user:/root/ComfyUI/user
      # pip·HuggingFace 캐시 영속화 (재생성 시 재다운로드 방지)
      - /mnt/data/01_ai/comfyui/dot-cache:/root/.cache

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids: ['0']        # --gpus all 보다 명시적
              capabilities: [gpu]
        limits:
          cpus: '16.0'
          memory: 64G
          # R730 128GB 기준: Wan 2.2 오프로딩 + FLUX GGUF 처리 여유

    # Wan 2.2 비디오 생성 시 공유 메모리 OOM 방지
    shm_size: '16g'
    ulimits:
      memlock:
        soft: -1
        hard: -1                       # GPU 메모리 전송 최적화
      nofile:
        soft: 65536
        hard: 65536                    # 대량 모델 파일 처리

    healthcheck:
      test: ["CMD-SHELL", "curl -sf http://localhost:8188/system_stats > /dev/null || exit 1"]
      interval: 30s
      timeout: 15s
      retries: 5
      # 첫 실행: Manager 설치 + custom_nodes 의존성 설치 여유
      start_period: 180s

    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      # ComfyUI는 자동 업데이트 제외 (워크플로우 호환성 관리)
      - "com.centurylinklabs.watchtower.enable=false"

  # ────────────────────────────────────────────────────────────
  # n8n-postgres — n8n 전용 DB (SQLite 기본값 대신 Postgres 권장)
  # 동시 워크플로우 실행이 많아지면 SQLite는 "database is locked" 발생 가능
  # ────────────────────────────────────────────────────────────
  n8n-postgres:
    image: postgres:15-alpine
    container_name: n8n-pg-db
    restart: unless-stopped
    ports:
      - "127.0.0.1:15434:5432"        # 외부 접속용, 로컬호스트로만 제한 (Dify 15432·Firecrawl 15433과 겹치지 않음)
    volumes:
      - /mnt/data/02_automation/n8n-postgres/data:/var/lib/postgresql/data
    environment:
      - POSTGRES_USER=n8n
      - POSTGRES_PASSWORD=${N8N_DB_PASSWORD}
      - POSTGRES_DB=n8n
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U n8n"]
      interval: 10s
      timeout: 5s
      retries: 5
    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      - "com.centurylinklabs.watchtower.enable=true"

  # ────────────────────────────────────────────────────────────
  # n8n — 워크플로우 자동화
  # ────────────────────────────────────────────────────────────
  n8n:
    image: n8nio/n8n:latest
    container_name: n8n
    restart: unless-stopped
    depends_on:
      n8n-postgres:
        condition: service_healthy
    ports:
      - "5678:5678"
    volumes:
      # n8n은 내부에서 node 유저(uid:1000)로 실행
      # → 사전에 chown 1000:1000 필요 (Section 05 참조)
      - /mnt/data/02_automation/n8n/data:/home/node/.n8n
    environment:
      # 최초 생성 후 절대 변경 금지 (변경 시 모든 자격증명 무효화)
      - N8N_ENCRYPTION_KEY=${N8N_ENCRYPTION_KEY}
      - N8N_HOST=${HOST_IP}
      - N8N_PORT=5678
      - N8N_PROTOCOL=http
      - WEBHOOK_URL=http://${HOST_IP}:5678
      - GENERIC_TIMEZONE=Asia/Seoul
      - N8N_LOG_LEVEL=info
      # 실행 이력 자동 정리 (7일 보존)
      - EXECUTIONS_DATA_PRUNE=true
      - EXECUTIONS_DATA_MAX_AGE=168
      # ── DB: Postgres 사용 (서비스명 n8n-postgres로 접근, container_name 아님) ──
      - DB_TYPE=postgresdb
      - DB_POSTGRESDB_HOST=n8n-postgres
      - DB_POSTGRESDB_PORT=5432
      - DB_POSTGRESDB_DATABASE=n8n
      - DB_POSTGRESDB_USER=n8n
      - DB_POSTGRESDB_PASSWORD=${N8N_DB_PASSWORD}
      # N8N_RUNNERS_ENABLED는 최신 버전에서 deprecated (기본 내장되어 더 이상 불필요)
    # 네이티브 Ollama, NAS SSH 등 호스트 서비스 접근
    extra_hosts:
      - "host.docker.internal:host-gateway"
    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      - "com.centurylinklabs.watchtower.enable=true"

  # ────────────────────────────────────────────────────────────
  # Meilisearch — 고속 검색 엔진
  # ────────────────────────────────────────────────────────────
  meilisearch:
    image: getmeili/meilisearch:latest
    container_name: meilisearch
    restart: unless-stopped
    ports:
      - "7700:7700"
    volumes:
      # Meilisearch는 uid 1000으로 실행
      # → 사전에 chown 1000:1000 필요 (Section 05 참조)
      - /mnt/data/02_automation/meilisearch/data:/meili_data
    environment:
      - MEILI_MASTER_KEY=${MEILI_MASTER_KEY}
      - MEILI_ENV=production
      - TZ=Asia/Seoul
    networks:
      - ai-common-net
    logging: *default-logging
    labels:
      - "com.centurylinklabs.watchtower.enable=true"

  # ────────────────────────────────────────────────────────────
  # Cloudflared — 공인 IP 없이 외부 안전 접속
  # network_mode: host → 내부 서비스에 직접 접근 가능
  # ────────────────────────────────────────────────────────────
  cloudflared:
    image: cloudflare/cloudflared:latest
    container_name: cloudflared
    restart: unless-stopped
    network_mode: host
    command: tunnel --no-autoupdate run --token ${CLOUDFLARE_TOKEN}
    environment:
      - TZ=Asia/Seoul
    logging: *default-logging
    labels:
      - "com.centurylinklabs.watchtower.enable=false"

# ────────────────────────────────────────────────────────────────
# 네트워크 정의 — Dify·Firecrawl이 external로 참조
# ────────────────────────────────────────────────────────────────
networks:
  ai-common-net:
    name: ai-common-net
    driver: bridge
    ipam:
      config:
        - subnet: 172.20.0.0/16

cd ~/ai-server/compose

## ── 1단계: .env 설정 (실행 전 필수!) ─────────────
cp .env.example .env         # 예시 파일 복사
nano .env                    # 비밀번호·키 전부 변경

# 비밀번호 자동 생성 도우미
echo "WEBUI_SECRET_KEY=$(openssl rand -hex 32)"
echo "QDRANT_API_KEY=$(openssl rand -hex 24)"
echo "POSTGRES_PASSWORD=$(openssl rand -hex 16)"
echo "REDIS_PASSWORD=$(openssl rand -hex 16)"
echo "N8N_ENCRYPTION_KEY=$(openssl rand -hex 32)"

## ── 2단계: PostgreSQL 초기화 스크립트 생성 ────────
mkdir -p configs/postgres
cat > configs/postgres/init.sql << 'SQL'
CREATE DATABASE n8n WITH OWNER aiserver ENCODING 'UTF8' TEMPLATE template0;
CREATE DATABASE openwebui WITH OWNER aiserver ENCODING 'UTF8' TEMPLATE template0;
CREATE DATABASE dify WITH OWNER aiserver ENCODING 'UTF8' TEMPLATE template0;
\c aiserver_main;
CREATE EXTENSION IF NOT EXISTS vector;
\c openwebui;
CREATE EXTENSION IF NOT EXISTS vector;
SQL

## ── 3단계: 핵심 서비스 시작 ───────────────────────
# 처음에는 core+database+manage만 시작 (가장 안전한 시작)
docker compose \
  --profile core \
  --profile database \
  --profile manage \
  --env-file .env \
  up -d

## ── 4단계: 기동 상태 모니터링 (모두 healthy 될 때까지) ─
# 약 1~3분 소요. Ctrl+C로 종료
watch -n 3 'docker ps --format "table {{.Names}}\t{{.Status}}\t{{.Ports}}" | grep ai-'

## ── 5단계: AI 모델 다운로드 ────────────────────────
# 추천 기본 세트 (총 약 20GB)
docker exec -it ai-ollama ollama pull qwen2.5:14b        # 한국어 최강 ~9GB
docker exec -it ai-ollama ollama pull nomic-embed-text   # RAG 임베딩 필수 ~270MB
docker exec -it ai-ollama ollama pull gemma3:12b          # Vision 지원 ~8GB
docker exec -it ai-ollama ollama pull deepseek-r1:8b      # 수학·코딩 ~5GB

# 모델 목록 및 GPU 사용 확인
docker exec -it ai-ollama ollama list
docker exec -it ai-ollama ollama ps

## ── 6단계: Portainer 초기 설정 ─────────────────────
# 브라우저에서 http://서버IP:9000 접속
# 1. 관리자 계정 생성 (최초 5분 내 완료해야 함)
# 2. "Get Started" → "local" 환경 선택
# 3. 모든 컨테이너·볼륨·네트워크가 GUI에서 보임
echo "Portainer: http://$(hostname -I | awk '{print $1}'):9000"

## ── 7단계: Open WebUI 초기 설정 ────────────────────
# 브라우저에서 http://서버IP:3000 접속
# 1. 첫 번째 계정 생성 → 자동으로 Admin 권한 부여
# 2. .env에서 ENABLE_SIGNUP=false 로 변경
# 3. docker compose up -d 로 재시작 (변경사항 적용)
docker compose --profile core --profile database --profile manage up -d

## ── 8단계: 추가 서비스 기동 ────────────────────────
# 자동화 서비스 추가
docker compose --profile automation --env-file .env up -d

# 이미지 생성 (GPU VRAM 여유 있을 때)
docker compose --profile imaging --env-file .env up -d

# 음성 AI
docker compose --profile voice --env-file .env up -d

# 모니터링
docker compose --profile monitoring --env-file .env up -d

## ── 9단계: 전체 상태 확인 ──────────────────────────
# 서비스 상태
docker ps --format "table {{.Names}}\t{{.Status}}" | grep ai-

# 디스크 사용량
docker system df

# GPU 상태
nvidia-smi

services:
  vllm:
    image: vllm/vllm-openai:latest
    container_name: vllm_server
    restart: unless-stopped
    ports:
      - "8001:8000"   # Ollama 8000과 충돌 방지
    volumes:
      - huggingface_cache:/root/.cache/huggingface
    environment:
      - HUGGING_FACE_HUB_TOKEN=your_hf_token  # 비공개 모델 접근용
    command: >
      --model Qwen/Qwen2.5-14B-Instruct
      --served-model-name qwen2.5-14b
      --api-key your_vllm_api_key
      --max-model-len 16384
      --gpu-memory-utilization 0.90
      --tensor-parallel-size 1      # GPU 수 (멀티 GPU 시 2, 4 등)
      --enable-chunked-prefill
      --enable-prefix-caching       # 시스템 프롬프트 캐싱 (성능↑)
      --max-num-seqs 256            # 최대 동시 시퀀스 수
      --host 0.0.0.0
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    shm_size: '16gb'    # PagedAttention 공유 메모리
    networks:
      - ai_net

volumes:
  huggingface_cache:

networks:
  ai_net:
    external: true
    name: ai_network

from openai import OpenAI

# vLLM을 OpenAI 클라이언트로 그대로 사용!
client = OpenAI(
    api_key="your_vllm_api_key",
    base_url="http://192.168.1.100:8001/v1"
)

## 스트리밍 응답
stream = client.chat.completions.create(
    model="qwen2.5-14b",
    messages=[{"role": "user", "content": "AI 서버 최적화 방법을 알려줘"}],
    max_tokens=500,
    temperature=0.7,
    stream=True
)
for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

## 배치 처리 (여러 요청 동시)
import asyncio
from openai import AsyncOpenAI

async_client = AsyncOpenAI(
    api_key="your_vllm_api_key",
    base_url="http://192.168.1.100:8001/v1"
)

async def batch_inference(prompts: list[str]) -> list[str]:
    """여러 프롬프트를 동시에 처리 (vLLM의 진가)"""
    tasks = [
        async_client.chat.completions.create(
            model="qwen2.5-14b",
            messages=[{"role": "user", "content": p}],
            max_tokens=300,
        )
        for p in prompts
    ]
    results = await asyncio.gather(*tasks)
    return [r.choices[0].message.content for r in results]

# 100개 요청 동시 처리 (Ollama는 순차, vLLM은 병렬)
prompts = [f"질문 {i}: AI 서버 구축 팁을 한 줄로" for i in range(100)]
answers = asyncio.run(batch_inference(prompts))
print(f"✅ {len(answers)}개 응답 동시 완료")

# llama.cpp GPU 지원 빌드
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
cmake -B build -DLLAMA_CUDA=ON -DCUDA_ARCHITECTURES=89  # RTX 4090: 89, RTX 3090: 86
cmake --build build --config Release -j$(nproc)

# HuggingFace에서 원본 모델 다운로드
pip install huggingface_hub
huggingface-cli download Qwen/Qwen2.5-14B-Instruct \
  --local-dir ./models/qwen2.5-14b-fp16

# FP16으로 변환 (중간 단계)
python convert_hf_to_gguf.py ./models/qwen2.5-14b-fp16 \
  --outtype f16 \
  --outfile ./models/qwen2.5-14b-f16.gguf

# 다양한 양자화 수준으로 변환
./build/bin/llama-quantize \
  ./models/qwen2.5-14b-f16.gguf \
  ./models/qwen2.5-14b-Q4_K_M.gguf \
  Q4_K_M    # 12GB VRAM: Q4_K_M 추천

./build/bin/llama-quantize \
  ./models/qwen2.5-14b-f16.gguf \
  ./models/qwen2.5-14b-Q8_0.gguf \
  Q8_0      # 16GB VRAM: Q8_0 고품질

# 양자화 품질 벤치마크 (perplexity로 품질 측정)
./build/bin/llama-perplexity \
  -m ./models/qwen2.5-14b-Q4_K_M.gguf \
  -f wikitext-2-raw/wiki.test.raw

# llama.cpp 서버 실행 (OpenAI 호환)
./build/bin/llama-server \
  --model ./models/qwen2.5-14b-Q4_K_M.gguf \
  --host 0.0.0.0 \
  --port 8002 \
  --n-gpu-layers 48 \      # GPU로 올릴 레이어 수 (많을수록 빠름)
  --ctx-size 8192 \
  --n-parallel 4 \         # 동시 처리 요청 수
  --flash-attn             # Flash Attention 활성화

# Modelfile 생성 (커스텀 파라미터 포함)
cat > Modelfile << 'EOF'
FROM /path/to/qwen2.5-14b-Q4_K_M.gguf

PARAMETER num_ctx 8192
PARAMETER num_gpu 48
PARAMETER num_thread 8
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.1

SYSTEM """당신은 한국어 전문 AI 어시스턴트입니다.
항상 정확하고 도움이 되는 답변을 제공합니다."""
EOF

# Ollama에 등록
docker exec -it ollama ollama create qwen2.5-14b-custom -f Modelfile

# 등록 확인
docker exec -it ollama ollama list
docker exec -it ollama ollama run qwen2.5-14b-custom "안녕하세요"

## 설치: pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"
##       pip install --no-deps trl peft accelerate bitsandbytes

from unsloth import FastLanguageModel
from trl import SFTTrainer
from transformers import TrainingArguments
from datasets import Dataset
import torch

## ── 1. 모델 로드 (4bit 양자화로 VRAM 절약) ────────
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name      = "Qwen/Qwen2.5-14B-Instruct",
    max_seq_length  = 4096,
    dtype           = None,          # 자동 감지 (RTX: BF16)
    load_in_4bit    = True,          # 24GB VRAM으로 14B 학습 가능
)

## ── 2. LoRA 어댑터 설정 ─────────────────────────
model = FastLanguageModel.get_peft_model(
    model,
    r              = 32,        # LoRA 랭크. 높을수록 정교하지만 느림. 16~64 권장
    target_modules = ["q_proj", "k_proj", "v_proj", "o_proj",
                      "gate_proj", "up_proj", "down_proj"],
    lora_alpha     = 64,        # LoRA 스케일. r * 2 권장
    lora_dropout   = 0.05,
    bias           = "none",
    use_gradient_checkpointing = "unsloth",  # VRAM 40% 추가 절약
    random_state   = 42,
)

## ── 3. 학습 데이터셋 준비 ──────────────────────
# Alpaca 형식 데이터 (instruction, input, output)
ALPACA_PROMPT = """Below is an instruction that describes a task.
Write a response that appropriately completes the request.

### Instruction:
{}

### Input:
{}

### Response:
{}"""

def format_prompts(examples):
    instructions = examples["instruction"]
    inputs       = examples.get("input", [""] * len(instructions))
    outputs      = examples["output"]
    texts = []
    for inst, inp, out in zip(instructions, inputs, outputs):
        text = ALPACA_PROMPT.format(inst, inp, out) + tokenizer.eos_token
        texts.append(text)
    return {"text": texts}

# 커스텀 데이터셋 (예: AI 서버 구축 Q&A)
raw_data = [
    {
        "instruction": "Docker Compose에서 GPU를 사용하는 방법을 설명해줘",
        "input": "",
        "output": "Docker Compose에서 GPU를 사용하려면 services 하위에 deploy.resources.reservations.devices 블록을 추가하고..."
    },
    # ... 수백~수천 개의 Q&A 데이터
]

dataset = Dataset.from_list(raw_data).map(
    format_prompts,
    batched=True,
    remove_columns=["instruction", "input", "output"]
)

## ── 4. 학습 설정 ──────────────────────────────
trainer = SFTTrainer(
    model=model,
    tokenizer=tokenizer,
    train_dataset=dataset,
    dataset_text_field="text",
    max_seq_length=4096,
    dataset_num_proc=4,
    packing=True,             # 짧은 샘플 패킹으로 학습 효율↑
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,    # 실질 배치: 2*4 = 8
        warmup_steps=10,
        num_train_epochs=3,
        learning_rate=2e-4,
        fp16=not torch.cuda.is_bf16_supported(),
        bf16=torch.cuda.is_bf16_supported(),
        logging_steps=10,
        optim="adamw_8bit",               # 8bit Adam: VRAM 절약
        weight_decay=0.01,
        lr_scheduler_type="cosine",
        output_dir="./outputs/lora_checkpoint",
        save_steps=100,
    )
)

# 학습 시작 (RTX 3090, 14B, 1000 샘플 기준 ~2시간)
trainer_stats = trainer.train()
print(f"학습 완료: {trainer_stats.metrics}")

## ── 5. GGUF 변환 후 Ollama 배포 ──────────────
model.save_pretrained_gguf(
    "lora_model",
    tokenizer,
    quantization_method="q4_k_m"   # 동시에 GGUF로 저장
)

# Ollama에 배포
import subprocess
subprocess.run([
    "docker", "exec", "-it", "ollama",
    "ollama", "create", "my-custom-model",
    "-f", "/models/lora_model/Modelfile"
])

# docker-compose.yml Ollama 환경변수에 추가
environment:
  - OLLAMA_FLASH_ATTENTION=1        # Flash Attention 활성화
  - OLLAMA_NUM_PARALLEL=4           # 동시 요청 처리 수
  - OLLAMA_MAX_LOADED_MODELS=2      # 메모리 상주 모델 수 제한
  - OLLAMA_KEEP_ALIVE=30m           # 미사용 모델 30분 후 언로드
  - OLLAMA_MAX_QUEUE=512            # 대기열 최대 크기

# Modelfile에서 모델별 KV Cache 최적화
cat > /tmp/Modelfile << 'EOF'
FROM qwen2.5:14b

PARAMETER num_ctx 8192           # KV Cache 크기 (컨텍스트 길이)
PARAMETER num_batch 512           # 배치 크기 (높을수록 빠름, VRAM↑)
PARAMETER num_gpu 48              # GPU 레이어 수 (최대 = 모두 GPU)
PARAMETER num_thread 8            # CPU 스레드 (GPU 보조)
PARAMETER use_mlock 1             # 메모리 고정 (스왑 방지)
PARAMETER use_mmap 1              # 메모리 매핑 활성화
PARAMETER rope_frequency_base 1000000  # RoPE 스케일링 (긴 컨텍스트)
EOF

docker exec -it ollama ollama create qwen2.5-14b-optimized -f /tmp/Modelfile

services:
  vllm-70b:
    image: vllm/vllm-openai:latest
    container_name: vllm_70b
    restart: unless-stopped
    ports:
      - "8003:8000"
    volumes:
      - huggingface_cache:/root/.cache/huggingface
    command: >
      --model meta-llama/Llama-3.3-70B-Instruct
      --tensor-parallel-size 2         # GPU 2개로 분산
      --gpu-memory-utilization 0.92
      --max-model-len 8192
      --api-key your_api_key
      --host 0.0.0.0
      --quantization awq               # AWQ 양자화 버전 사용
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all               # 모든 GPU 사용
              capabilities: [gpu]
    ipc: host                          # GPU 간 통신 최적화 (필수!)
    shm_size: '32gb'
    networks:
      - ai_net

networks:
  ai_net:
    external: true
    name: ai_network