Пересоберите runtime
Перейдите на Triton 26.10, NVIDIA vLLM 0.31.0 и согласованные зависимости. Обновите image tag в Docker/Helm и пройдите руководство по миграции.
Operate safely
Развёртывание с закреплённым runtime и явными границами
v0.6.0 обновляет runtime до Triton 26.10 и vLLM 0.31.0. Добавлены opt-in изображения DeepSeek, visual usage и отдельный restart Gateway. Пересоберите образ и проверьте поведение на своих моделях.
Важно
26.10 нужно проверять как цельную runtime-матрицу. Не обновляйте vLLM, Triton client или core-зависимости независимо от базового образа.
Release runtime
Runtime релиза v0.6.0
Основной runtime — Triton 26.10 и NVIDIA vLLM 0.31.0 (vendor build 0.31.0+88641915.nv26.10.75644909). Для DeepSeek остаётся отдельная vLLM 0.32. Зависимости обновляются вместе с образом; GPU-инференс, память и производительность проверяются на целевом оборудовании.
Проведите влево, чтобы увидеть остальные столбцы
| Компонент | Роль | Версия | Изменение в v0.6.0 |
|---|---|---|---|
| Triton Server | Inference runtime | 26.10 / 2.74.0 | Обновлён |
| NVIDIA vLLM | Основной generation / pooling | 0.31.0 | Vendor build из образа 26.10 |
| Python | Gateway | 3.12.3 | В составе runtime |
| Transformers | Model templates | 5.17.0 | В составе runtime |
| Triton client | gRPC client | 2.74.0 | Обновлён вместе с runtime |
| DeepSeek vLLM | Текст и opt-in изображения | 0.32 | Изолированная среда; нужна GPU-квалификация |
v0.6.0 · Upgrade notes
Перед переходом на v0.6.0
Проверьте изображения DeepSeek
Сохраните text-only defaults или явно включите images для совместимого checkpoint и политики модели. Проверьте GPU-инференс, память, производительность и состояния visual usage на целевом оборудовании.
Проверьте правила reasoning
Проверьте model-local reasoning.effort_map, допустимость целевого effort и политику thinking. Без effort сохраняются defaults; constrained JSON отключает thinking.
Подготовьте перезапуск Gateway
triton-gateway status/restart не перезапускает Triton и модели, но прерывает текущие HTTP/SSE. Согласуйте окно, повторное подключение клиентов и проверку /health и /ready после запуска.
Pilot path
Пилот на одной модели: build → run → verify
01NVIDIA GPU + driver02Container Toolkit / GPU Operator03Triton model repository04Одна некритичная модель
docker build \
-f Dockerfile.triton-gateway \
-t triton-openai-gateway:26.10 .image :26.10runtime verificationbuilt
Замените S3_ENDPOINT/BUCKET/PREFIX и your-model; подготовьте .env и загрузите модель. Веса моделей не входят в проект; нужны NVIDIA driver, Container Toolkit и совместимая GPU.
Pilot acceptance
Критерии успешного пилота
OpenAI contract
SDK выполняет Chat и Responses SSE, JSON Schema output и function calling; клиент передаёт history и function results.
Retrieval
Hybrid embeddings возвращают dense + sparse, а большой rerank проходит bounded micro-batches.
Cancellation
Disconnect закрывает stream и снимает ожидающие задачи. Проверьте завершение CPU-подготовки и отмену на выбранном backend.
Observability
Метрики видны; при настроенном OTLP trace связывает Gateway и Triton.
Три разных состояния готовности
Gateway process
/healthFastAPI отвечаетTriton runtime
/readyTriton readyTarget model
/v1/models + repository indexloading → readyНаблюдаемость
Найдите узкое место по этапам одного запроса
Server-Timing показывает время на каждом этапе, а метрики Gateway, Triton/vLLM и GPU помогают определить источник задержки или перегрузки.
Путь одного запроса
01Очередьadmission wait
02Подготовкаmedia · context · tokens
03Tritonscheduler · inference
04Постобработкаreasoning · tools · SSE
05Итогоend-to-end
Источники сигналов
01
:8080/metricsGateway metrics
API latency, admission/CPU queues, 429, context, rerank и TTFT.
02
:8002/metricsTriton + vLLM
Scheduler, running/waiting, KV cache, prefill и decode.
03
:9400/metricsDCGM
Загрузка GPU/MIG, память, питание и состояние оборудования.
04
OTLP collectorOpenTelemetry
Путь конкретного запроса Gateway → Triton при общем trace context.
05
HTTP · SSEОтвет клиенту
Request ID, inference timing, trace ID и состояние context policy.
Без payload по умолчанию
Метрики и traces не содержат prompts, media, responses, tool results или reasoning content. DEBUG_LOG_PAYLOADS может раскрыть preview пользовательских данных.
Production checklist
Что проверить перед внешним трафиком
Edge security
TLS, authentication, authorization и tenant quotas перед :8080.
Network
Raw Triton :8000–8002 и metrics не публикуются наружу; NetworkPolicy разрешает только нужные связи.
Secrets
S3 credentials хранятся в Kubernetes Secret или внешнем secret manager.
Limits
Request body, remote media, pages, pixels, frames, queue и timeout ограничены по результатам тестов.
Lifecycle
Проверены load/unload, restart pod, client cancellation и termination grace period.
Canary
Chat, Responses, LoRA, output limits, hybrid embeddings, rerank, tools и media проверены на каждой TP/PP/DP/EP-топологии.
Monitoring
Alerts настроены на errors, queue growth, latency, memory pressure и model availability.
Supply chain
Image закреплён по digest; runtime verification, NOTICE и third-party license notices сохранены.
v0.6.0
Документация и условия перехода на v0.6.0
Triton 26.10 migrationDeepSeek image opt-inActual visual usageGateway-only restart
Открыть release notesCommunity release без коммерческого SLA
Поддержка идёт через GitHub Issues, уязвимости — по SECURITY policy. Оператор отвечает за GPU/driver, модель, capacity limits, network boundary и canary на своей топологии.
Triton OpenAI Gateway v0.6.0
Основной runtime — Triton 26.10 и NVIDIA vLLM 0.31.0 (vendor build 0.31.0+88641915.nv26.10.75644909). Для DeepSeek остаётся отдельная vLLM 0.32. Зависимости обновляются вместе с образом; GPU-инференс, память и производительность проверяются на целевом оборудовании.