Open WebUI 핵심 기능 마스터: 문서 RAG, 멀티모달 이미지 분석 (3/5)

시리즈글 3 / 5
업데이트2025년 5월
버전Open WebUI v0.6.x
난이도초급 ~ 중급
Open WebUI RAG 문서 AI 이미지 분석 음성 챗봇 보안 관리
Open WebUI의 진가는 단순 채팅을 넘어선 핵심 기능들을 조합할 때 드러납니다. RAG로 사내 문서 검색 AI를 만들고, Vision으로 이미지를 분석하고, STT/TTS로 음성 챗봇을 구성하는 방법까지 — 이 글 하나로 Open WebUI의 모든 핵심 기능을 완벽하게 파악할 수 있습니다.
SECTION01

채팅 기능 완전 활용

Open WebUI 채팅 기능은 겉보기에 ChatGPT와 비슷해 보이지만, 실제로는 훨씬 강력한 기능들이 숨어 있습니다. 특히 멀티 모델 비교 모드시스템 프롬프트 프리셋은 Open WebUI만의 차별화된 기능입니다. 팀 단위로 사용할 때는 모델 프리셋을 잘 설정해두면 팀원들이 복잡한 설정 없이 최적화된 AI를 바로 사용할 수 있습니다.

💬 핵심 채팅 단축키 & 기능

기능방법실전 활용
새 채팅 시작사이드바 ✏️ 또는 Ctrl+Shift+O이전 대화 컨텍스트 없이 새 주제 시작
멀티 모델 비교모델 선택기 + 버튼GPT-4o vs Claude 동시 비교로 최적 모델 파악
답변 재생성AI 답변 하단 ↺ 버튼다른 관점의 답변이 필요할 때. 무한 재시도 가능
메시지 편집내 메시지 옆 ✏️ 클릭질문을 수정해 재전송. 이전 답변은 히스토리에 남음
대화 내보내기채팅 ⋯ → ExportJSON(전체 히스토리) 또는 PDF 형식으로 저장
대화 공유채팅 ⋯ → Share팀원과 공개 링크로 공유 (관리자 허용 시)

⚙️ 시스템 프롬프트 — AI의 역할·전문성 고정

시스템 프롬프트는 AI의 역할, 말투, 전문 분야를 대화 전체에 걸쳐 고정하는 설정입니다. 예를 들어 “당신은 15년 경력의 DevOps 엔지니어입니다. 모든 답변은 한국어로, 명령어는 항상 복사 가능한 코드 블록으로 제공하세요.”라고 설정하면 매번 역할을 설명하지 않아도 됩니다.

1
대화별 임시 설정
채팅창 좌측 하단 슬라이더(⚙️) 아이콘 → System Prompt 입력란에 직접 입력. 해당 대화에만 적용됩니다.
2
모델 프리셋으로 저장 (팀 운영 추천)
Admin Panel → Models → 모델 편집 → System Prompt 저장. 해당 모델 선택 시 자동 적용. 팀원이 별도 설정 없이 사용 가능.
💡
Artifacts 기능 — 코드 즉시 실행·미리보기

AI가 코드(Python, JavaScript), HTML, SVG, React 컴포넌트를 생성하면 채팅창 우측에 Artifacts 패널이 자동으로 열립니다. HTML 코드는 브라우저 안에서 바로 렌더링되고, JavaScript는 실행 결과를 즉시 확인할 수 있습니다. 간단한 데이터 시각화나 UI 프로토타이핑을 코드 에디터 없이 채팅에서 처리할 수 있어 개발자·디자이너 모두에게 유용합니다.

SECTION02

파일 업로드 & 문서 분석

채팅창 📎 아이콘 클릭이나 드래그&드롭으로 파일을 AI와 즉시 공유할 수 있습니다. 이 기능은 해당 대화 세션에서만 유효합니다. 여러 대화에서 반복 활용할 문서라면 S5의 RAG Knowledge에 등록하는 것이 더 효율적입니다. 파일 분석은 텍스트 기반으로 처리되므로, 스캔 이미지 형태의 PDF는 텍스트가 추출되지 않을 수 있습니다.

📄 지원 파일 포맷 & 실전 활용 프롬프트

포맷지원 확장자실전 활용 프롬프트 예시
문서PDF, DOCX, TXT, MD“이 보고서의 핵심 내용을 5줄로 요약해줘. 주요 수치와 결론 위주로.”
스프레드시트CSV, XLSX“월별 매출 트렌드를 분석하고 전월 대비 증감률을 계산해줘.”
코드.py, .js, .ts 등 전체“이 코드의 보안 취약점을 OWASP Top 10 기준으로 점검해줘.”
이미지JPG, PNG, WEBP“이 차트에서 가장 중요한 트렌드를 설명하고 이상치를 찾아줘.”
✅ 파일 분석 실전 활용 사례
  • 계약서 위험 조항 검토 — DOCX 첨부 후 “갑에게 불리한 조항을 모두 찾아 이유와 함께 설명해줘”
  • 논문 핵심 추출 — PDF 첨부 후 “연구 방법, 핵심 결과, 한계점을 각각 3줄로 요약해줘”
  • 코드 리팩토링 — 소스 파일 첨부 후 “가독성 향상을 위한 리팩토링 버전을 작성해줘”
  • 회의록 정리 — TXT 첨부 후 “결정사항, 액션 아이템, 담당자를 표로 정리해줘”
SECTION03

이미지 기능 — Vision · OCR · 이미지 생성

Open WebUI 이미지 분석 기능은 Vision(멀티모달)을 지원하는 모델을 선택할 때만 활성화됩니다. 채팅창에 이미지를 드래그하거나 📎로 첨부 후 질문하면 됩니다. 실제 업무에서는 에러 스크린샷을 바로 AI에게 보여주거나, 계약서나 명함을 사진 찍어 텍스트로 변환하는 용도로 가장 많이 활용됩니다.

👁️ Vision 모델 지원 현황

모델종류이미지 분석 품질추천 상황
gpt-4oOpenAI API🟢 최고복잡한 도표, 의료 이미지, 손글씨 OCR
claude-sonnet-4-6Claude API🟢 최고세밀한 이미지 설명, 차트 분석, 디자인 피드백
gemini-2.0-flashGemini API🟢 우수무료 티어, 일반 이미지 분석
gemma3:12bOllama 로컬🟡 양호기본 이미지 설명, 로컬 전용 환경
llava:13bOllama 로컬🟡 양호이미지 설명 전용, 경량 로컬 모델

🎨 이미지 생성 설정 (Admin Panel → Images)

이미지 생성 엔진설정 방법비용
DALL-E 3OpenAI API Key 등록 후 Image Engine → DALL-E 선택$0.04~$0.12/장
ComfyUI (로컬)ComfyUI 컨테이너 실행 후 URL 연결무료 (전기세만)
Automatic1111 (로컬)A1111 서버 URL 입력 (기본 포트 7860)무료 (전기세만)
SECTION04

음성 기능 — STT · TTS · 음성 챗봇 구성

Open WebUI 음성 기능은 단순히 편의 기능이 아니라 이동 중 완전한 AI 비서를 구현하는 핵심입니다. STT(음성→텍스트)와 TTS(텍스트→음성)를 조합하면 스마트폰에서 AI와 실제 전화 통화하듯 대화하는 Call 모드가 활성화됩니다. 운전 중, 운동 중에도 AI에게 질문하고 답변을 들을 수 있습니다.

🎤 STT(음성 입력) 엔진 설정

Admin Panel → Settings → Audio → STT Engine에서 설정합니다.

STT 엔진한국어비용추천 상황
브라우저 내장 WebSpeech🟡 보통무료테스트 용도, 별도 설정 불필요
OpenAI Whisper API🟢 우수$0.006/분정확도 중요한 비즈니스 환경
Whisper (Ollama 로컬)🟢 우수무료프라이버시 중요한 환경

🔊 TTS(음성 출력) 엔진 설정

TTS 엔진한국어비용특징
브라우저 내장 WebSpeech🟡 보통무료기본 제공, 자연스러움 부족
OpenAI TTS🟢 우수$15/1M 글자매우 자연스러운 6가지 목소리
ElevenLabs🟡 보통무료 플랜감정 표현, 음성 클로닝 가능
✅ 음성 챗봇 추천 조합
  • 최고 품질 — STT: OpenAI Whisper + 모델: gpt-4o-mini + TTS: OpenAI TTS (alloy 목소리)
  • 완전 무료 — STT: Ollama Whisper + 모델: qwen2.5:7b + TTS: 브라우저 WebSpeech
  • Call 모드 활성화 — 채팅창 우상단 📞 버튼 클릭 → 마이크에 말하면 AI가 음성으로 답변
SECTION05

Open WebUI RAG 구축 & 문서 AI 만들기

Open WebUI RAG(Retrieval-Augmented Generation)는 내 문서를 AI의 장기 기억으로 만드는 기술입니다. 일반 LLM에 “우리 회사 휴가 정책이 어떻게 되나요?”라고 물으면 모른다고 합니다. 하지만 사내 규정 PDF를 RAG에 등록하면 AI가 해당 문서를 참조해 정확하게 답변합니다. 단순 파일 첨부와 달리, 한 번 등록하면 모든 채팅에서 반복 사용이 가능하며 수백 개의 문서도 동시에 검색할 수 있습니다.

🔄 Open WebUI RAG 처리 흐름

📄 문서 업로드 PDF · DOCX · URL ✂️ 청킹 1,500자 단위 분할 🔢 임베딩 변환 벡터로 변환 🗄️ ChromaDB 저장 벡터 DB 영속 저장 🤖 LLM 답변 생성 유사 청크 + 질문 질문 시: 질문 벡터화 → ChromaDB에서 유사 청크 검색 → LLM에 청크 + 질문 전달 → AI 답변

📚 Knowledge Base 등록 단계별 가이드

1
Workspace → Knowledge → + New Knowledge
Knowledge Base 이름과 설명을 입력합니다. 예: “IT 인프라 매뉴얼”, “인사 규정집”. 부서별로 분리 생성 권장.
2
문서 업로드
PDF, DOCX, TXT, MD, 웹 URL 등 여러 파일을 한 번에 업로드 가능. 스캔 PDF는 텍스트 추출이 안 될 수 있으므로 텍스트 기반 PDF 권장.
3
임베딩 처리 완료 대기
파일 크기·개수에 따라 수 초~수 분 소요. 처리 완료 후 파일 옆에 초록색 체크가 표시됩니다.
4
채팅에서 Knowledge 참조
채팅창 📎 → Knowledge 선택 → 원하는 Knowledge Base 첨부 후 질문. 또는 채팅창에서 # 입력 후 Knowledge 이름 검색.

⚙️ 임베딩 모델 & Chunk 설정 최적화

Open WebUI RAG 품질은 임베딩 모델 선택에 크게 좌우됩니다. 한국어 문서라면 OpenAI 임베딩 모델이 가장 정확하며, 완전 로컬 환경이라면 mxbai-embed-large를 권장합니다.

임베딩 모델방식한국어추천
text-embedding-3-smallOpenAI API🟢 우수한국어 최추천
text-embedding-3-largeOpenAI API🟢 최고최고 품질
mxbai-embed-largeOllama 로컬🟡 보통로컬 추천
nomic-embed-textOllama 로컬🟡 보통경량 로컬
Chunk 설정기본값권장 조정
Chunk Size1,500자짧은 FAQ→500 / 긴 보고서→1,500~2,000
Chunk Overlap100자문맥 연결 중요 시 200~300으로 증가
Top K (검색 결과 수)5정밀도 중요 시 3, 포괄적 검색 시 10
⚠️ Open WebUI RAG 구축 시 흔한 실수
  • 스캔 이미지 형태 PDF 사용 — 텍스트가 없어 임베딩이 안 됩니다. OCR 처리된 텍스트 기반 PDF를 사용하거나 AI로 먼저 텍스트 추출 후 등록.
  • 임베딩 모델을 바꾸면 기존 Knowledge 재처리 필요 — 모델 변경 후 기존 문서를 다시 업로드해야 합니다. 처음부터 한국어에 맞는 모델 선택 중요.
  • Knowledge 등록 후 채팅에서 참조를 안 함 — Knowledge를 등록해도 채팅에서 명시적으로 첨부하거나 # 검색으로 참조해야 적용됩니다.
SECTION06

사용자 & 보안 관리

Open WebUI 보안 관리는 외부에 공개하거나 팀 단위로 운영할 때 반드시 설정해야 하는 부분입니다. 보안 설정을 소홀히 하면 무단 접근으로 API 비용이 폭증하거나 기밀 문서가 노출될 수 있습니다. 특히 LDAP/SSO 연동은 사내 AI를 기업 규모로 운영할 때 사용자 관리를 획기적으로 단순화합니다.

🔐 LDAP / OAuth / SSO 연동

방식설정 위치특징 & 추천 상황
LDAPAdmin Panel → Settings → Auth → LDAPActive Directory, OpenLDAP 연동. 퇴직자 계정 자동 차단. 기업 IT 환경 필수.
Google OAuthAdmin Panel → Settings → Auth → OAuthGoogle Workspace 계정으로 로그인. 스타트업·중소기업 추천.
OIDC (Keycloak 등)Admin Panel → Settings → Auth → OIDC자체 SSO 서버 연동. 대규모 기업 환경.

🛡️ 외부 공개 보안 체크리스트

  • HTTPS 적용 필수 — HTTP 공개 시 API Key, 대화 내용이 평문 전송. Cloudflare Tunnel 또는 Nginx + Let’s Encrypt 사용.
  • 관리자 비밀번호 강화 — 최소 12자, 특수문자 포함. 기본 [email protected] 계정은 절대 사용 금지.
  • Default User Role → Pending — 무단 가입 후 무제한 API 사용 차단의 핵심 설정.
  • 포트 3000 직접 노출 금지 — 방화벽으로 차단, 443(HTTPS)만 외부 허용.
  • !Cloudflare Zero Trust Access 추가 — 이메일 OTP 또는 Google 계정 추가 인증 레이어. 최강 보안.
  • !OpenAI API 사용량 Hard Limit 설정 — 무단 접근 시에도 비용 폭탄 방지. platform.openai.com에서 설정.

🚀 글 3 완료! 이제 Open WebUI의 모든 핵심 기능을 파악했습니다. 글 4 — 실전 활용 사례 & 경쟁 솔루션 비교에서 개인·기업·홈랩 환경별 최적 구성과 Dify·LibreChat과의 차이를 알아보세요.

Leave a reply

Please enter your comment!
Please enter your name here