Dify 완전 정복 가이드 2편: Ollama 연동·고급 워크플로우·에이전트 설계 (2/3)

# 공식 설치 스크립트
curl -fsSL https://ollama.com/install.sh | sh

# 서비스 등록
sudo systemctl enable --now ollama

# 버전 확인
ollama --version

# Ollama 서비스 환경변수 편집
sudo systemctl edit ollama

# 아래 내용 추가
# [Service]
# Environment="OLLAMA_HOST=0.0.0.0"          # 외부 접근 허용
# Environment="OLLAMA_FLASH_ATTENTION=1"     # Flash Attention 활성화
# Environment="OLLAMA_NUM_PARALLEL=2"        # 동시 요청 처리 수
# Environment="OLLAMA_MAX_LOADED_MODELS=1"   # 메모리 보존
# Environment="OLLAMA_KEEP_ALIVE=24h"        # 모델 메모리 유지 시간
# Environment="CUDA_VISIBLE_DEVICES=0"       # GPU 0번만 사용

# 재시작
sudo systemctl restart ollama

# GPU 인식 확인
ollama ps  # 모델 실행 중이면 GPU 사용량 표시
nvidia-smi # GPU 메모리 사용량 확인

# ── 한국어/영어 균형 (RTX 3060 12GB 적합) ──
ollama pull qwen2.5:7b                      # 가장 가볍고 빠름
ollama pull qwen2.5:14b-instruct-q4_K_M    # 고품질, 한국어 최우수

# ── 영어 기술문서/논문 특화 ──
ollama pull mistral-nemo:12b               # 128K 컨텍스트

# ── 코드 생성 특화 ──
ollama pull qwen2.5-coder:7b               # 코드 생성 최적화
ollama pull deepseek-coder-v2:16b          # 고성능 코드 모델

# ── 임베딩 모델 (RAG 필수) ──
ollama pull bge-m3                         # 한국어 포함 100개+ 언어
ollama pull nomic-embed-text               # 영어 전용, 빠름

# 설치된 모델 목록 확인
ollama list

Model Provider: OpenAI-API-compatible
Model Name: 실제 모델 이름 (예: qwen2.5-72b-instruct)
API Key: 없으면 임의 값 입력 (예: none)
API endpoint URL:
  └── vLLM:      http://YOUR_SERVER:8000/v1
  └── LM Studio: http://localhost:1234/v1
  └── LocalAI:   http://localhost:8080/v1
  └── Azure:     https://YOUR_RESOURCE.openai.azure.com/openai/deployments/YOUR_DEPLOY

당신은 [회사명]의 내부 지식 관리 AI 어시스턴트입니다.

[역할]
- 제공된 지식베이스 문서를 바탕으로 정확한 정보를 제공합니다.
- 임직원의 업무 질문에 친절하고 전문적으로 답변합니다.

[응답 규칙]
1. 반드시 제공된 컨텍스트(지식베이스 문서)에 기반해서 답변하세요.
2. 컨텍스트에 없는 내용이라면 "제공된 문서에서 해당 정보를 찾을 수 없습니다. 관련 담당자에게 문의하시거나 문서를 업데이트해 주세요"라고 안내하세요.
3. 답변 말미에 참고한 문서명을 [출처: 문서명] 형식으로 명시하세요.
4. 단계별 절차가 있는 질문에는 번호 목록으로 구조화해서 답변하세요.
5. 한국어로 답변하세요.

[금지 사항]
- 외부 인터넷 정보나 학습 데이터로 추측하여 답변하지 마세요.
- 법률, 의료, 재무 관련 전문 조언을 직접 제공하지 마세요.

-- 시스템 변수 --
{{sys.query}}           사용자 입력 텍스트
{{sys.user_id}}         사용자 ID
{{sys.conversation_id}} 대화 ID

-- 노드 출력 변수 --
{{노드이름.output}}      노드의 text 출력
{{llm1.text}}           LLM 노드 "llm1"의 텍스트 출력
{{code1.result}}        Code 노드 "code1"의 result 변수
{{retriever1.result}}   Knowledge Retrieval 결과

-- Start 노드 입력 변수 --
{{input_text}}          Start 노드에서 정의한 변수
{{language}}            Start 노드에서 정의한 언어 선택 변수

Start (input: document_text, target_lang)
    ↓
LLM #1 "summarizer"
    System: "다음 문서를 핵심 포인트 5개로 요약하세요"
    User: {{document_text}}
    ↓ summarizer.text
LLM #2 "translator"
    System: "다음 텍스트를 {{target_lang}}로 번역하세요"
    User: {{summarizer.text}}
    ↓ translator.text
End (output: translator.text)

Start (input: document_list Array)
    ↓
Iteration (items: document_list)
    ├── LLM: 개별 문서 요약
    └── Code: 결과 포맷팅
    ↓
Variable Aggregator (각 문서 요약 통합)
    ↓
LLM: 통합 인사이트 생성
    ↓
HTTP Request: Slack으로 결과 전송
    ↓
End

Start (input: user_query)
    ↓
LLM #1: 의도 분류 → "technical" / "billing" / "general"
    ↓
Condition
    ├── IF intent == "technical" → Knowledge Retrieval (기술 문서 KB)
    ├── IF intent == "billing"   → Knowledge Retrieval (청구 정책 KB)
    └── ELSE                     → LLM (일반 답변)
    ↓
Variable Aggregator
    ↓
LLM #2: 최종 답변 생성
    ↓
End

# Chatbot: 메시지 전송 (blocking)
curl -X POST 'http://YOUR_DIFY_URL/v1/chat-messages' \
  -H 'Authorization: Bearer app-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "inputs": {},
    "query": "안녕하세요, 테스트 질문입니다.",
    "response_mode": "blocking",
    "conversation_id": "",
    "user": "user-001"
  }'

# 응답 구조
# {
#   "answer": "AI 응답 내용",
#   "conversation_id": "xxxx",
#   "message_id": "xxxx"
# }

# Workflow 실행
curl -X POST 'http://YOUR_DIFY_URL/v1/workflows/run' \
  -H 'Authorization: Bearer app-YOUR_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{
    "inputs": {
      "document_text": "분석할 문서 내용",
      "target_language": "한국어"
    },
    "response_mode": "blocking",
    "user": "user-001"
  }'