셀프 호스팅

AI 도구에서 셀프 호스팅이란?

셀프 호스팅 AI 도구는 여러분이 통제하는 인프라에서 실행됩니다. 노트북, 전용 VM, VPC의 Kubernetes, 자체 데이터센터 랙입니다. 소프트웨어는 오픈소스일 수도, 상용 라이선스일 수도 있습니다. 핵심은 프롬프트, 문서, 임베딩, 대화 로그, 자격 증명이 공급자의 멀티테넌트 SaaS가 아니라 조직 경계 안에 남는 것입니다.

셀프 호스팅은 자동으로 더 안전하지 않습니다. 업그레이드, 백업, TLS, 신원, 비밀, 용량, 사고 대응이 팀으로 넘어갑니다. 데이터 상주, 네트워크 격리, 계약이 요구할 때 선택하세요. 온프레미스가 더 안전해 보인다는 이유만으로는 부족합니다.

팀이 AI를 직접 호스팅하는 이유

데이터 상주. 공개 SaaS 리전 목록이 계약이나 규제에 부족할 때 코퍼스와 상호작용 로그를 지정 리전이나 온프레미스에 둘 수 있습니다.

네트워크 격리. 공개 모델 API를 호출할 수 없는 환경이 있습니다. 셀프 호스팅 스택은 완전 오프라인 또는 승인한 사설 게이트웨이만 사용할 수 있습니다.

맞춤. 인증, 보존, 모델 라우팅, 연동을 공급자 로드맵을 기다리지 않고 바꿀 수 있습니다.

규모 비용. 이미 Kubernetes나 GPU를 운영 중이라면 좌석 과금 SaaS가 같은 컨트롤 플레인을 직접 돌리는 것보다 비쌀 수 있습니다.

그래도 직접 운영해야 하는 것

패치, 로그 디스크 증가, CPU/GPU 여유, 관측 가능성, 파괴적 작업을 승인하는 사람입니다. 매주 컨테이너를 롤백할 수 없다면 라이선스가 무료여도 관리형 제품이 더 안전한 경우가 많습니다.

에이전트가 만든 변경은 프로덕션 배포와 같이 다루세요. 버전 관리, 검토, 백업, 비밀과 모델 엔드포인트의 명확한 담당자가 필요합니다.

흔한 배포 형태

• 단일 VM 또는 Docker Compose — 소규모 팀, 개념 검증, 내부 랩.
• Kubernetes — 복제본, 헬스 체크, 롤링 업데이트.
• 클라우드 VPC(AWS, GCP, Azure) — 신축성은 필요하지만 대화를 멀티테넌트 SaaS에 넘기고 싶지 않을 때.
• 완전 격리 온프레미스 — 아웃바운드 인터넷 없음. 설치 프로그램, 라이선스 확인, 크래시 리포터가 외부 통신하지 않는지 확인하세요.

Compose, Helm, Terraform 제공 여부와 라이선스·임베딩·텔레메트리로 클러스터를 떠나는 데이터를 확인하세요.

셀프 호스트 AI 도구 평가 방법

1. 데이터 경로 — 트레이스, 임베딩, 라이선스 핑이 네트워크를 떠나나?
2. 신원 — SSO, 역할, 감사 로그, 시크릿 저장소.
3. 업그레이드 — 마이그레이션, 호환 깨짐, 롤백.
4. 자원 — RAM, 로그 디스크, 로컬 모델용 GPU.
5. 라이선스 — Apache 2.0, AGPL, 유료 셀프 호스트 SKU.
6. 지원 — 커뮤니티만인지, 응답 시간이 있는 계약인지.

셀프 호스트, SaaS, 하이브리드

SaaS는 시작이 빠릅니다. 하이브리드는 민감 로그를 내부에 두고 컨트롤 플레인은 관리형을 씁니다. 법률·보안·고객 계약이 제3자의 대화 처리를 금지하면 완전 셀프 호스트가 기본값입니다.

자주 묻는 질문

셀프 호스트는 오픈소스와 같나요?

아닙니다. 라이선스 키로 독점 소프트웨어도 셀프 호스트할 수 있습니다. 오픈소스여도 사실상 호스티드 클라우드 제품으로만 쓸 수 있는 도구가 있습니다.

셀프 호스트하면 GDPR이나 HIPAA를 충족하나요?

아닙니다. 접근 제어, 보존, 처리 기록은 따로 필요합니다. 셀프 호스트는 하위 처리자 한 줄을 줄일 뿐 컴플라이언스를 끝내지 않습니다.

어떤 하드웨어가 필요하나요?

로깅과 학습 컨트롤 플레인은 작은 VM으로 충분한 경우가 많습니다. 로컬 LLM은 GPU가 필요합니다. 구매 전 공식 하드웨어 노트를 읽으세요.

누가 셀프 호스트하면 안 되나요?

당직, 검증된 백업, 패치 주기가 없는 팀입니다. 그때는 데이터 처리 계약이 있는 신뢰할 수 있는 SaaS가 방치된 내부 클러스터보다 위험이 낮은 경우가 많습니다.