Ingress
Proxy проверяет identity, TLS и tenant quotas, затем передаёт запрос на :8080.
Components & request flow
Тонкий control layer внутри inference-платформы
Chat и Responses используют общий generation service: контекст, лимиты токенов, LoRA и отмену. Triton и vLLM отвечают за модели, scheduling, batching и GPU-выполнение.
Trust boundary
Клиентский трафик должен входить через внешний TLS/auth proxy. Raw Triton и metrics остаются в доверенной сети.
System map
Компоненты и границы доверия
Внешняя зона
Доверенная inference-сеть
AI clientsSDK · LiteLLM · LibreChat
Auth proxyTLS · auth · quotas
FastAPI Gateway :8080protocol · context · media · queues
NVIDIA Tritonrepository · lifecycle · metrics
Model backendsvLLM · multimodal · hybrid embeddings · rerank
Model lifecycle
S3 model repositoryweights · config · gateway.json
→Triton workspacetemporary repository-agent paths
→Model watchertemp paths · active links · cleanup
→Active model linktokenizer · metadata · gateway.json
Gateway readsTelemetry
GatewayTriton / vLLMDCGM
→Prometheus + OTLPmetrics · optional joined traces
Client response: Server-Timing · X-Request-ID · optional X-Trace-IDRequest lifecycle
Что происходит от POST до первого SSE-токена
Admission
Chat и Responses используют общий generation service и admission. Очереди и concurrency ограничены; перегрузка даёт HTTP 429.
Prepare
Media проходит проверки, а chat template, fitting контекста и токенизация выполняются в ограниченном CPU pool. LoRA и output budget проверяются до inference.
Infer
Gateway вызывает Triton, а vLLM выполняет scheduling, continuous batching и генерацию на GPU.
Normalize
Ответ оформляется как Chat JSON/SSE или Responses JSON/events. Actual visual usage берётся из проверенных processor-счётчиков отдельно от оценочных резервов Gateway; функции выполняет клиент.
Stream / cancel
При disconnect gateway закрывает iterator и снимает запрос с очереди. Выполняющаяся CPU-задача удерживает slot до завершения native call; остановка GPU зависит от backend и transport.
Request policy · v0.6
Два API, единая подготовка и контроль генерации
Общий budget
Chat: max_completion_tokens / max_tokens. Responses: max_output_tokens. Контекст модели обязателен; явные лимиты не меняются молча.
CPU worker pool
По умолчанию 4 worker-а, очередь до 64 задач и ожидание до 30 секунд. Метрики показывают active, queued, rejected, wait и duration.
История у клиента
Responses не сохраняет объекты и историю. triton-gateway restart перезапускает только Gateway без Triton и моделей, но прерывает текущие HTTP/SSE-соединения.
Responsibility matrix
Кто за что отвечает
Проведите влево, чтобы увидеть остальные столбцы
| Компонент | Отвечает за | Не отвечает за |
|---|---|---|
| External proxy | TLS, auth, authorization, tenant quotas | Prompt processing и model inference |
| Gateway | OpenAI protocol, context, media, tools parsing, admission, telemetry | GPU scheduling и выполнение tools |
| Triton | Model repository, lifecycle, backend execution, metrics | OpenAI messages и пользовательская аутентификация |
| vLLM backend | Token generation, batching, KV cache, parallelism | Client protocol и внешняя trust boundary |
| Application | Business logic и фактическое выполнение tools | Model lifecycle внутри Triton |
Переведите схему в production-конфигурацию
На странице развёртывания — закреплённая runtime-матрица, Docker/Helm, telemetry и checklist безопасности.