REQUEST ROUTER
Fleet 요청 분배
세션 고정 → 최소 활성 요청 → 동률 순환 · 서버별 동시 처리 설정 적용
매니저 한도 초과 시 503·429 · worker 실행·대기·준비 상태는 아래 카드에서 확인합니다.
Fleet Manager에 오신 것을 환영합니다
관리자 로그인
OVERVIEW
대시보드
지금 처리 가능한 연결과 확인할 문제를 한눈에 확인하세요.
서버별 처리 비중
현재 조회 기준 · 저장된 실제 요청의 최종 처리 서버 기준 (최대 500건)
최근 요청 흐름
현재 조회 기준 · 최근 15분, 1분 단위 완료 기록 · 실시간 진행 요청은 위 카드에 표시
3초 간격 관측으로 짧은 요청은 완료 기록에서 확인합니다. 자동 제외는 전체 이력을 보내는 replay-safe 요청에 적용됩니다. 일반 요청·고정 세션·모델에 따라 경로가 달라집니다. 카드 상태는 선택한 제공자 기준입니다. 다른 활성 제공자는 독립적으로 배분되며, 설정된 잔여 한도 이하 계정은 배분에서 제외됩니다.
확인할 항목
바로 시작하기
연결된 모델과 대화를 시작하거나 계정을 관리하세요.
계정 한도는 계정 카드에서, 대화 토큰은 ChatBot에서 확인합니다.
Worker 현황
최근 모델 요청
저장된 최근 최대 500건 중 실제 모델 요청 기준입니다. 모의 테스트는 통계에서 제외합니다.
시스템 상태
핵심 서비스
Docker 실행 상태를 조회합니다. 실행 중 표시는 서비스 기능의 정상 응답까지 보장하지 않습니다.
전환 기록 · 일시 제외 상태
이 영역은 대화창이 아니라 요청을 처리한 worker가 바뀌었는지 확인하는 운영 기록입니다. 예: server1 중지 → 다음 질문을 server2가 처리. 한도·장애가 난 worker는 표시된 시각까지 새 요청 배정에서 잠시 제외됩니다. 응답 전송 시작 후에는 자동 전환하지 않습니다.
계정 컨테이너
검증 보고서 · 복제 준비
동시 처리, 긴 대화, 인증 복구, 동일 계정 복제의 실제 결과와 제한 사항을 확인하세요.
종합 테스트 보고서 열기 ↗ · 보고서 보기각 서버의 ‘복제 준비’에서 Codex 직접 대화용 복제본을 생성할 수 있습니다. 같은 계정의 한도를 공유하며, 만료 시 원본 인증을 다시 동기화합니다. 자동 갱신 토큰은 복사하지 않습니다.
입력한 이름으로 컨테이너와 인증 볼륨 이름을 자동 생성합니다. 영문 소문자·숫자·하이픈으로 정리하며, 중복 시 같은 짧은 식별자를 붙입니다. 영문·숫자가 없는 이름은 account로 생성합니다.
각 컨테이너에서 Codex·Claude·GPT·Gemini를 각각 연결합니다. 필요한 제공자만 로그인해도 됩니다. 같은 계정의 한도는 컨테이너 수만큼 늘어나지 않습니다.
배포 구조 · 서비스 역할 · Docker 이름 안내
Compose 배포 설정 기준입니다. worker 카드의 Docker 정보는 실행 환경에서 조회합니다.
구조도 원본 열기 · PDF 다운로드| 역할 | 컨테이너 | 이미지 | 담당 역할 |
|---|---|---|---|
| HTTP 진입점 | cli-llm-fleet-edge | nginx:1.28-alpine | 브라우저와 API 클라이언트의 HTTP 요청을 받아 manager-router로 전달합니다. |
| 관리 서버 + API 라우터 | cli-llm-fleet-manager-router | cli-llm-fleet-manager-router:local | 통합 관리 화면을 제공하고 계정·API 키·요청 로그를 관리합니다. API 키를 검증하고 모델과 worker를 선택해 요청을 전달합니다. |
| Docker 관리 에이전트 | cli-llm-fleet-docker-agent | cli-llm-fleet-docker-agent:local | 관리 서버의 요청에 따라 Docker worker 생성·시작·정지·삭제·업그레이드와 상태 조회를 수행합니다. |
| 계정 실행 환경 | cli-llm-fleet-worker-<표시이름> | cli-llm-fleet-worker:0.1.1 | server1, server2 같은 계정별 실행 환경입니다. 제공자 로그인과 모델 호출을 수행하고 연결 상태·사용량을 제공합니다. |
접속 흐름: 관리자 브라우저 → edge → manager-router의 관리 화면. 모델 요청은 manager-router → worker → 모델 제공자로 이어집니다.
- 인증 볼륨 · cli-llm-fleet-auth-server1 / server2
- 각 worker의 /data에 연결해 제공자 인증 정보와 실행 데이터를 보관합니다. worker를 재시작해도 유지됩니다.
- 관리 데이터 볼륨 · cli-llm-fleet_manager-data
- manager-router의 /data에 연결해 관리자 설정, worker 목록, API 키 해시와 요청 메타데이터를 보관합니다.
인증 저장소는 각 worker의 전용 Docker 볼륨입니다. 현재 진입점은 로컬 HTTP이며 HTTPS는 구성되지 않았습니다.
FLEET GUIDE
사용법 · 샘플
처음 연결할 때는 빠른 시작부터, 개발할 때는 연동 자료부터 확인하세요.
빠른 시작
- 계정을 연결하세요. worker에 사용할 제공자를 연결합니다. 자동 전환을 시험하려면 같은 모델이 준비된 worker가 두 개 필요합니다.
- API 키를 발급하세요. API 키 · 사용법에서 필요한 제공자 권한을 선택합니다.
- 첫 대화를 시작하세요. ChatBot에서 키를 입력하고 모델을 선택합니다. 실제 답변 생성에는 계정 사용량이 발생합니다.
일반 채팅·요약·코드 질문은 Codex direct를 권장합니다. API 키는 서버 환경 변수에 보관하고 공개 코드에 넣지 마세요.
계정 연결
계정·컨테이너에서 worker별로 사용할 제공자를 연결합니다.
Claude 전용 로그인 창
계정·컨테이너 탭의 각 제공자 카드에서 계정 연결을 누르면 worker 전용 Edge 창이 열립니다. 다른 worker나 기존 Chrome·Edge 로그인 쿠키와 공유하지 않습니다.
- Windows에서
fleet/scripts/start-login-helper.ps1을 실행하세요. Windows 재시작 후 다시 실행합니다. - server1·server2의 계정 연결을 각각 누르고 각 공식 Claude 탭에서 사용할 계정으로 로그인하세요.
- 전용 창에서 공식 로그인 페이지를 열고 로그인한 뒤, 최종 인증 코드를 worker 이름이 표시된 전용 창에 붙여넣으세요. 연결 완료는 자동 확인합니다. 이메일 인증번호·비밀번호는 공식 페이지에만 입력합니다.
로그인마다 일반 Edge의 새 전용 프로필을 사용합니다. 완료·취소 후 해당 창의 모든 탭을 닫으면 임시 프로필을 정리합니다. 기존 인증 볼륨은 유지합니다. 현재 로컬 Windows 관리 환경에서 Claude를 지원하며, 기존 계정 로그인도 사용할 수 있습니다.
OpenAI · Codex / GPT
한 OpenAI 카드에서 두 연결을 관리합니다. 상단 단계 버튼은 이미 연결된 제공자를 건너뛰고 필요한 연결만 엽니다. Codex와 GPT는 각각 공식 승인이 필요하며, 다음 연결에서도 카드에 표시된 같은 계정을 선택하세요. 계정 불일치나 확인 불가 안내가 있으면 각 연결의 계정을 확인하세요. 기존 인증을 자동으로 복사·삭제하지 않습니다.
Codex에서 조회한 사용량만 표시하며 GPT 앱별 한도까지 같다고 판단하지 않습니다. 실제 플랜·앱 한도는 ChatGPT 사용량 설정에서 확인하세요.
실행 방식 선택
Fleet API 전체에서 Codex는 옵션을 생략하면 direct입니다. 기존 Codex 로그인과 계정 한도를 사용하므로 GPT 추가 로그인은 필요하지 않습니다. 준비된 모델 ID는 /v1/models에서 확인하세요.
| 할 일 | 선택 | 실행 범위 |
|---|---|---|
| 일반 채팅·요약·코드 질문 | 옵션 생략 또는 direct | CLI 기본 지침·도구 목록 없이 대화 |
| Fleet CLI로 코드 검토·수정안 받기 | cli 명시 | 빈 작업 폴더·읽기 전용, 사용자 설정·프로젝트 규칙 제외 |
| 프로젝트 파일 수정·테스트 (바이브 코딩) | 프로젝트 폴더를 연 Codex 앱·CLI | Fleet 채팅 API에는 작업 폴더 지정·파일 편집 기능이 없습니다. |
Codex direct와 Claude의 지원 모델은 tools / tool_choice와 도구 결과 재입력을 지원합니다. 실제 도구 실행은 클라이언트가 담당합니다. Fleet 연결만으로 프로젝트 파일·터미널 권한이 생기지는 않습니다.
도구 호출과 자동 전환은 다릅니다. 도구 요청·도구 이력에는 X-Fleet-Replay-Safe를 보내지 마세요. 자동 재전송은 전체 텍스트 이력을 보낸 Chat Completions에만 적용됩니다.
API 요청 예제 · direct / CLI
아래 예제는 POST /v1/chat/completions 본문입니다. Authorization: Bearer YOUR_FLEET_API_KEY와 Content-Type: application/json 헤더를 함께 보내세요. 실제 키는 서버 환경 변수에 보관합니다.
일반 채팅: 옵션 없이 direct
{
"model": "codex/gpt-6-astra",
"messages": [
{
"role": "system",
"content": "한국어로 간결하게 답하세요."
},
{
"role": "user",
"content": "회의 준비 체크리스트를 만들어줘."
}
],
"stream": false
}명시하려면 "execution_mode": "direct"를 추가하세요. SSE는 "stream": true, 이어지는 대화는 완료된 이력을 messages에 포함합니다.
CLI 코드 검토: 같은 모델에 cli 옵션
{
"model": "codex/gpt-6-astra",
"execution_mode": "cli",
"messages": [
{
"role": "user",
"content": "다음 함수를 검토하고 수정 코드와 테스트 예제를 답변으로 제안해줘: function add(a,b){ return a-b; }"
}
],
"stream": false
}수정 코드를 답변으로 받는 예제이며 사용자 PC의 파일을 수정하지 않습니다. 실제 바이브 코딩은 프로젝트 폴더를 연 Codex 앱·CLI에서 “로그인 폼 검증을 구현하고 관련 테스트를 실행해줘”처럼 요청하세요. Fleet의 cli 옵션만으로 프로젝트가 연결되지는 않습니다.
기존 CLI 연동과 호환 옵션
CLI가 필요한 기존 호출은 같은 모델에 execution_mode: "cli"를 명시하세요. 기존 codex/direct-gpt-6-astra 별칭도 direct로 동작하지만, 새 연동에는 표준 모델명을 사용하세요. direct- 별칭과 cli를 함께 지정하면 400 오류입니다.
CLI 기본 문맥으로 입력 토큰이 늘 수 있으며 고정 소모량은 아닙니다. ChatBot의 실행 방식·모델은 새 대화에서 변경합니다. Node.js 샘플 실행 방법은 아래 API 연동 가이드에 있습니다.
연동 자료
목적에 맞는 자료 하나부터 시작하세요. 모든 다운로드에는 실제 API 키가 포함되지 않습니다.
VS Code 확장
사용할 확장에 맞는 설정과 사용법을 선택하세요.
VS Code · Codex
공식 Codex 확장 확인·설치 ↗공식 Codex 확장에서 Fleet의 Codex 모델을 사용합니다. Responses API로 연결합니다.
설정 다운로드 모델 목록 다운로드 연결 사용법 (.md)VS Code · Claude Code
공식 Claude Code 확장 확인·설치 ↗공식 Claude Code 확장에서 Fleet의 Claude 모델을 사용합니다. Messages API로 연결합니다.
설정 다운로드 연결 사용법 (.md)VS Code · Continue 연결
Continue – open-source AI code agent ↗게시자: Continue · 공식 Marketplace에서 확인·설치Codex·Claude를 한 목록에서 선택하는 Continue 확장용 설정입니다. 다운로드 후 YOUR_API_KEY를 기존 Fleet 키로 바꾸세요.
VS Code 설정 YAML 다운로드 VS Code 연결 사용법 (.md)브라우저 연동
브라우저에서 모델을 선택하고 도구를 사용합니다.
Aside 설정 JSON
준비된 Codex·Claude 모델과 별칭을 Aside에 등록합니다. 다운로드 후 YOUR_API_KEY를 기존 키로 바꾸세요.
개발자용 API · 샘플
직접 개발하는 프로그램과 코딩 도구에 전달할 자료입니다.
모델 별칭·추론 강도·클라이언트 설정
LiteLLM Base URL은 /v1까지 입력합니다. LiteLLM 모델은 openai/astra 또는 openai/fable, 직접 API는 목록에 있는 astra 또는 fable을 사용하세요. 설정 · 자동 확장에서 자동 선택·버전 고정과 현재 모델을 확인합니다.
Aside JSON의 컨텍스트 한도는 확인된 모델별 값을 사용합니다. 출력 한도 8192는 조정 가능한 클라이언트 설정이며, 컨텍스트 표시는 구독 잔여량이 아닙니다. 모델을 바꾸면 JSON을 다시 다운로드하세요.
추론 강도는 모델별 지원 목록에서 선택합니다. 버전이 명시된 Claude 모델로 지원 여부를 확인하세요. Pi 호환 클라이언트는 thinkingLevelMap을 사용하며, ultra는 지원 모델의 API reasoning_effort로 요청합니다. 관리자 상한에 따라 실제 전달 강도가 낮아질 수 있습니다.
다른 PC에서는 접근 가능한 Fleet 주소를 사용하세요. localhost는 접속하는 PC 자신입니다. 이미지·오디오는 지원하지 않습니다.
고급 테스트
일반 연결 확인 후 자동 전환과 오류 처리를 검증할 때 사용하세요.
모의 오류와 자동 전환 확인
모의 오류 테스트 방법과 예상 결과
- ChatBot 테스트를 열어 API 키·모델·첫 worker(server1)를 선택하고 별칭을 알려주는 첫 대화를 완료합니다.
- 모의 오류 종류를 선택하고 ‘다음 질문 한 번에 선택한 모의 오류 적용’을 체크한 뒤 질문합니다.
- 전환 경로, 중단 안내와 전환 기록을 확인합니다. 적용 체크는 자동 해제됩니다.
| 선택 | 재현 방식 | 예상 결과 |
|---|---|---|
| 429 한도 초과 | 응답 시작 전 모의 429 | 같은 모델에 준비된 server2로 전환. 이전 기대 값을 입력하면 완료 답변의 일치를 확인합니다. |
| 504 시간 초과 | 합성 부분 답변 뒤 약 1초 대기 제한 만료 | 시간 초과 안내·최종 504. 이미 출력했으므로 자동 전환하지 않고 부분 답변을 이력에서 제외합니다. |
| 연결 끊김 | 합성 부분 답변 뒤 연결 오류 | worker 연결 끊김·최종 502. 실제 worker를 중지하지 않습니다. 미완료 이력을 제외합니다. |
504·연결 끊김 이후 ‘같은 질문 다시 시도’는 모의 오류 없이 새 요청을 보냅니다. 성공하면 완료된 이전 이력에만 이어집니다. 실제 계정 한도·컨테이너·운영 제한 시간·다른 대화의 쿨다운은 변경하지 않습니다. 504·단절 재현은 제공자 호출이 없지만 첫 대화·429 전환 후 생성·수동 재시도에는 일반 사용량이 발생합니다. 전환 기록은 모의 테스트 종류를 표시합니다.
실제 worker 중지는 다른 클라이언트에도 영향을 줍니다. 먼저 모의 오류를 사용하고, 실제 중지 시험은 운영 영향을 확인한 뒤 진행하며 시험 후 worker를 다시 시작하세요.
대화 이력과 재시도 구현 주의사항
클라이언트가 사용자별 완료 대화 이력을 저장하고 같은 X-Session-ID로 순서대로 요청해야 합니다. Fleet은 대화 원문을 저장하지 않습니다. 텍스트 자동 전환은 같은 모델의 worker를 최대 3개까지 시도합니다.
부분 스트리밍이 시작되면 자동 전환하지 않습니다. 미완료 답변은 확정하지 말고 재시도를 별도 응답으로 처리하세요. SDK 자동 재시도는 끄고 중복 생성을 방지하세요. 이전 응답 ID·도구 이력은 자동 재전송 대상이 아닙니다. 자세한 계약은 API 연동 가이드에서 확인하세요.
과거 토큰·동시 실행·동일 계정 복제 측정은 성능 시험 보고서 (2026-10-20)에서 확인하세요. 특정 시점의 결과이며 현재 설정·보장 성능을 뜻하지 않습니다.
설정
아래 메뉴에서 모델, 서버 운영과 백업을 관리하세요.
ChatBot
새 대화
모델을 연결하고 대화를 시작하세요
연결 설정 · 모델과 실행 방식
API 키를 입력하고 모델을 연결하세요.
고급 테스트 · 오류 재현과 worker 제어
모의 오류는 현재 대화의 다음 요청 한 번에만 적용합니다. 504와 연결 끊김은 합성 부분 답변으로 재현하며 제공자를 호출하지 않습니다. 429 전환 후 답변과 수동 재시도에는 일반 사용량이 발생합니다.
API 키
키는 지금 한 번만 표시합니다.
API 접근 제어 · 접속 기록
모델 API에만 적용됩니다. 전체 정책과 키별 정책을 모두 통과해야 하며 차단 목록이 우선합니다. 관리자 페이지는 제한하지 않습니다.
PC 식별은 접속 IP와 클라이언트 정보 기준의 참고 자료입니다. 공유기·프록시 뒤에서는 여러 PC가 같은 IP로 보일 수 있고, 클라이언트 정보는 위조될 수 있습니다. 설정된 Fleet 프록시가 직접 관찰한 주소만 신뢰합니다. Docker가 주소를 변환한 경우 PC의 실제 LAN IP와 다를 수 있습니다.
최근 최대 500건·30일의 API 접근 판정만 집계합니다. 허용은 모델 호출 성공을 의미하지 않습니다. 24시간 내 여러 IP는 확인 신호이며 자동 차단하지 않습니다.
호출 예제
연결된 모델은 GET /v1/models로 확인합니다. 연속 요청은 X-Session-ID를 동일하게 지정하세요. Gemini는 gemini/default로 텍스트 Chat Completions 일반·스트리밍을 지원합니다. 기존 API 키에 Gemini 권한이 없으면 새 키를 발급하세요.
최근 요청
보관 중인 모델·상태·처리 시간·제공자 보고 토큰을 기간별로 조회합니다. 프롬프트와 응답 내용은 기록하지 않습니다.