Dify 엔터프라이즈 셀프 호스팅 및 RAG 지식 인프라 구축 가이드

# OS 필수 패키지 동기화 및 GPG 암호화 키 수입 준비
sudo apt-get update && sudo apt-get install -y ca-certificates curl gnupg lsb-release

# Docker 공식 아카이브 GPG 키 등록
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /etc/apt/keyrings/docker.gpg
sudo chmod a+r /etc/apt/keyrings/docker.gpg

# 최신 안정판(Stable) 저장소 소스리스트 등록
echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

# Docker Engine 및 Docker Compose 플러그인 패키지 최종 설치
sudo apt-get update && sudo apt-get install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 런타임 활성화 및 시스템 데몬 상시 등록
sudo systemctl start docker && sudo systemctl enable docker

# 충돌 가능성이 있는 구형 컨테이너 패키지 사전 소거
sudo dnf remove -y docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

# 레포지토리 관리 유틸리티 추가 및 정식 Docker 저장소 주입
sudo dnf install -y dnf-plugins-core
sudo dnf config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# Docker 코어 엔진 및 최신 Compose 통합 컴포넌트 일괄 인스톨
sudo dnf install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

# 가상화 레이어 소켓 상시 구동 및 서비스 활성화
sudo systemctl start docker && sudo systemctl enable docker

# 대용량 NVMe 또는 가상 VM 매핑 스토리지 최상위에 AI 전용 작업 영역 빌드
sudo mkdir -p /app/ai-infra/dify-stack
cd /app/ai-infra/dify-stack

# Dify 공식 배포 소스코드 트리 안전 수입
sudo git clone https://github.com/langgenius/dify.git .

# 컨테이너 내부의 데이터가 호스트 볼륨에 원활히 쓰이도록 소유권 격리 및 권한 마이그레이션
# 755 보안 권한을 지정하여 비인증 프로세스의 데이터 침투 방어
sudo chown -R $USER:$USER /app/ai-infra/dify-stack
sudo chmod -R 755 /app/ai-infra/dify-stack/docker/volumes

# docker 폴더 내부로 이동하여 샘플 환경 변수를 정식 파일로 복사
cd /app/ai-infra/dify-stack/docker
cp .env.example .env

# OpenSSL 명령어로 초고강도 64글자 16진수 보안 토큰 및 암호화 난수 추출
openssl rand -hex 32

# 발급된 암호화 난수를 .env 파일 내부의 다음 3가지 핵심 보안 필드에 덮어쓰기 수정 진행
# SECRET_KEY=값수정
# GENERATE_SECRET_KEY=값수정
# JWT_SECRET_KEY=값수정

# 데이터베이스 안정성 및 동시 접속 처리를 위한 풀 수치 최적화 설정 수동 변경
# DB_POOL_SIZE=50
# DB_MAX_OVERFLOW=30

[Unit]
Description=Dify AI BaaS Infrastructure Container Cluster Stack Service
After=docker.service network-online.target
Requires=docker.service

[Service]
Type=oneshot
RemainAfterExit=yes
WorkingDirectory=/app/ai-infra/dify-stack/docker
ExecStart=/usr/bin/docker compose up -d
ExecStop=/usr/bin/docker compose down
Restart=no

[Install]
WantedBy=multi-user.target

# 데몬 리로드 및 부팅 자동 실행 서비스 활성화
sudo systemctl daemon-reload
sudo systemctl enable dify-infra.service
sudo systemctl start dify-infra.service

# ── 방법 A: Ubuntu UFW 방화벽 체계 통제 ──
sudo ufw default deny incoming
sudo ufw default allow outgoing
sudo ufw allow 22/tcp comment 'SSH 통제포트'
sudo ufw allow 80/tcp comment 'Dify HTTP 포트'
sudo ufw reload

# ── 방법 B: Rocky / Oracle Linux Firewalld 존 통제 ──
sudo firewall-cmd --permanent --zone=public --add-service=http
sudo firewall-cmd --permanent --zone=public --add-port=22/tcp
sudo firewall-cmd --reload

# 네이티브 런타임 스크립트를 주입하여 시스템 백엔드 엔진으로 Ollama 인스톨
curl -fsSL https://ollama.com/install.sh | sh

# 다중 동시 요청이 들어올 때 병목 현상과 VRAM 스와핑 지연을 억제하기 위해 데몬 환경 변수 오버라이드 커스텀 설정 수행
sudo mkdir -p /etc/systemd/system/ollama.service.d

[Service]
# Dify 컨테이너 대역에서 로컬 호스트 Ollama 포트로 통신 가능하도록 모든 IP 개방 바인딩 설정
Environment="OLLAMA_HOST=0.0.0.0"
# 동시 추론 연산 처리가 다중으로 밀려올 때 큐 대기 없이 병렬 처리할 연산 슬롯 개수 할당
Environment="OLLAMA_NUM_PARALLEL=4"
# VRAM 내부에서 사용 빈도가 적은 모델을 비우지 않고 유지하여 재호출 시 반응 속도를 0초대로 축소
Environment="OLLAMA_MAX_LOADED_MODELS=2"

# 변경된 GPU 오버라이드 설정을 커널 단에 전면 동기화 적용
sudo systemctl daemon-reload
sudo systemctl restart ollama

# ── 문법 원형 구조: {{#노드아이디.변수명#}} ──

# 예시 A: 시작 노드를 통해 인바운드 수입된 유저의 가입 아이디 정보 참조 시
{{#pre_start.user_id#}}

# 예시 B: 3번 노드 자리에 위치한 LLM 엔진이 마크다운으로 렌더링 완료한 텍스트 전문 참조 시
{{#llm_03.text#}}

# 예시 C: 외부 날씨 수신 HTTP Request 노드(ID: http_get_weather)가 반환한 JSON 바디 내 특정 키 파싱 참조 시
{{#http_get_weather.body.current.temperature#}}

import re

def main(inputs: dict) -> dict:
    """
    Dify 가상 샌드박스 컨테이너 안에서 안전하게 실행되는 텍스트 클렌징 메인 함수
    inputs 파라미터를 통해 이전 노드의 라우팅 토큰 문자열 수입
    """
    raw_document = inputs.get('raw_text', '')
    
    # 1. 보안 유해 요소 정보 조치 및 HTML 불필요 태그 정규식 소거 정제
    cleaned = re.sub(r'<[^>]+>', '', raw_document)
    
    # 2. 연속된 공백 및 이중 줄바꿈 기호를 단일 공백으로 치환하여 프롬프트 토큰 소모 세이브
    cleaned = re.sub(r'\s+', ' ', cleaned).strip()
    
    # 3. 데이터 가공 결과물을 하위 노드로 토스하기 위한 정형 JSON 사전 구조 정의 반환
    return {
        "processed_text": cleaned,
        "total_char_length": len(cleaned),
        "is_valid_structure": True
    }

                       [ 외부 L4 로드밸런서 (AWS ALB / 하드웨어 스위치) ]
                                             │
               ┌─────────────────────────────┴─────────────────────────────┐
               ▼                                                           ▼
  [Dify App VM Server - Node 1]                               [Dify App VM Server - Node 2]
  (dify-web & api 컨테이너 전용 가동)                         (dify-web & api 컨테이너 전용 가동)
               │                                                           │
               └─────────────────────────────┬─────────────────────────────┘
                                             ▼
        ┌────────────────────────────────────┴────────────────────────────────────┐
        ▼                                    ▼                                    ▼
[외부 독립 Managed DB]              [분산 Redis Cluster 스택]              [분산 Celery Worker 노드 군]
(PostgreSQL DB 커넥션 풀 가속)       (동시 세션 동기화 일원화 관리)         (독립 스케일 확장 전용 인스턴스)
                                                                                  │
                                                                                  ▼
                                                                     [중앙 집중 Vector DB Cluster]
                                                                     (Milvus / Qdrant 분산 가속화)

location /v1/chat-messages {
    proxy_pass http://api:5001;
    # 스트리밍 청크 트래픽 유입 시 프록시 단에서 버퍼링하지 않고 브라우저로 즉시 릴리즈 렌더링 강제 명령
    proxy_buffering off;
    proxy_cache off;
    proxy_set_header X-Accel-Buffering "no";
    chunked_transfer_encoding on;
}

# 크로스 도메인 유입 시 쿠키 차단 정책 해제 수동 적용 변경
CONSOLE_COOKIE_SAME_SITE=Lax
API_COOKIE_SAME_SITE=Lax
# 사설 내부 SSL 미인증 환경 테스트 기동 시 전면 가짜 보안 플래그 강제 허용 변경
CONSOLE_COOKIE_SECURE=False
API_COOKIE_SECURE=False
# 세션 유지 라이프 타임 한계 지표 최대 증설 (단위: 일)
SESSION_EXPIRY_DAYS=30

volumes:
  # 후미에 공유 권한 부여 플래그 명시적 선언으로 커널 샌드박스 차단 권한 무력화 극복 해결
  - ./volumes/sandbox/dependencies:/dependencies:z
  - ./volumes/sandbox/conf:/conf:z

# 1. 실행 중인 가동 컨테이너 리스트 중 메인 api 컨테이너 명칭 확인 후 내부 강제 접속
docker exec -it dify-api-1 /bin/bash

# 2. Flask 내장 데이터베이스 최신 형상 동기화 마이그레이션 컴파일 스크립트 강제 수행
flask db upgrade

# 3. 마이그레이션 완료 후 컨테이너 이탈 및 전체 스택 재부팅 구동 완료
exit
docker compose restart

# ── 호스트 CPU 물리 코어 사양의 2배~4배 수치로 워커 컨커런시 동시성 최대 할당 변경 ──
CELERY_WORKER_CONCURRENCY=8
# 대량 트래픽 웹 리스닝 반응 타임아웃 마지노선 5분 이상으로 연장 설정 변경
GUNICORN_TIMEOUT=300

#!/bin/bash
BACKUP_DIR="/app/ai-infra/dify-stack/backups"
DATE_TAG=$(date +%Y%m%d_%H%M%S)
mkdir -p $BACKUP_DIR

# 1. PostgreSQL 원본 메타데이터 및 회원 데이터 덤프 일괄 추출
docker exec dify-db-1 pg_dumpall -U postgres > $BACKUP_DIR/dify_db_$DATE_TAG.sql

# 2. 업로드 파일 원본 저장소 도큐먼트 아카이브 통째로 압축 백업
tar -czf $BACKUP_DIR/dify_files_$DATE_TAG.tar.gz -C /app/ai-infra/dify-stack/docker/volumes/app/storage .

# 3. 디스크 공간 절약을 위한 30일 경과 수명 만료 구형 백업 파일 자동 소거 디렉터리 정리
find $BACKUP_DIR -type f -mtime +30 -delete

# 리눅스 시스템 크론탭에 등록하여 매일 새벽 3시 정각마다 무중단 백업 루틴 자동 실행 관철
chmod +x /app/ai-infra/dify-stack/docker/backup_crontab.sh
(crontab -l 2>/dev/null; echo "0 3 * * * /app/ai-infra/dify-stack/docker/backup_crontab.sh") | crontab -