shaide

WHAT IT DOES

무엇을 하나요?

shaide는 자체 Kubernetes 클러스터에 추론 엔진, 오케스트레이션, 게이트웨이, 모델 레지스트리, 저장소, 관측 기능을 하나의 플랫폼으로 설치한다. vLLM과 llm-d를 이용해 여러 모델과 복제본을 분산 운영하고, Pulumi 기반 코드로 인프라를 재현한다. 내부 OCI 레지스트리를 통해 인터넷이 완전히 차단된 환경에서도 운영할 수 있다.

KEY FEATURES

주요 기능

• 대화형 터미널 설치기로 전체 플랫폼 설치
• 생성 및 임베딩 모델의 동시·독립 확장
• 다중 모델 라우팅과 KV 캐시 인식 스케줄링
• OpenAI 호환 API 제공
• Pulumi Go 기반 인프라 코드 관리
• 내부 OCI 레지스트리를 통한 무외부통신·에어갭 운영