01Compatibility
Один контракт для разных клиентов
Знакомые /v1 endpoint-ы для OpenAI SDK, LiteLLM, LibreChat и внутренних сервисов.
v0.6.0 · Open source · Apache 2.0
OpenAI-совместимый APIдля Triton с vLLM backend
Подключайте OpenAI SDK, LiteLLM, LibreChat и внутренние AI-приложения к собственному inference-контуру — с Chat и Responses API, мультимодальностью, hybrid embeddings и контролем нагрузки.
Triton управляет моделями, vLLM — batching и генерацией. Gateway добавляет клиентский API, model-specific preprocessing и контроль запроса.
Что нового в v0.6.0Независимый community-проект. Не является продуктом NVIDIA.
gateway ready
01
OpenAI clientinput · tools · images
POST /v1/responses02
Gateway :8080admission · context · routing
03
Triton 26.10 / vLLM backendscheduling · inference · lifecycle
SSE streamcontent · reasoning · telemetry
20026.10NVIDIA Triton
0.31.0vLLM
JSON / SSEChat + Responses
v0.6.0актуальный релиз
Зачем нужен gateway
Между модельным runtime и AI-приложением не хватает продуктового слоя
Gateway сохраняет inference внутри Triton/vLLM, но берёт на себя клиентский протокол, мультимодальные входы, контроль ресурсов и наблюдаемость.
02Orchestration
Сложные входы без клиентского хаоса
Изображения, видео, аудио и PDF проходят контролируемую предобработку и маршрутизацию.
03Control
Контроль перегрузки inference
Очереди и лимиты внутри gateway pod, отмена и HTTP 429 защищают runtime; TLS, auth и tenant quotas остаются на внешнем proxy.
Выбор архитектуры
Когда нужен именно Triton OpenAI Gateway
Это не универсальный multi-provider proxy. Gateway нужен, когда Triton должен остаться основным runtime, а продуктовым клиентам требуется знакомый контракт и model-specific orchestration.
Direct Triton
Выбирайте, если клиент уже умеет работать с Triton API, repository и tensor contract.
Direct vLLM
Подходит для чистого vLLM endpoint, когда стандартного OpenAI server достаточно.
LiteLLM
Маршрутизирует провайдеры и модели; при необходимости может располагаться уровнем выше gateway.
Triton Gateway
Сохраняет Triton и добавляет OpenAI-клиентов, media, context/reasoning policies, admission и telemetry.
ПодходитTriton уже используется; нужны OpenAI SDK, LibreChat или LiteLLM; в одном контуре работают chat, structured outputs, hybrid embeddings, rerank и multimodal модели.
Может быть лишнимНужен hosted API без собственной GPU-инфраструктуры, универсальный routing между SaaS-провайдерами или только один стандартный vLLM endpoint.
Релиз v0.6.0 · 4 ноября 2026
Triton 26.10 и новые возможности
DeepSeek с изображениями по явному opt-in, фактические visual-счётчики, модельные правила reasoning и отдельный перезапуск Gateway. Инференс на GPU, память и производительность проверяются на целевом оборудовании.
DeepSeek с изображениями
V4.1 Flash работает с текстом по умолчанию. Native image input включается отдельно для совместимого checkpoint и политики модели; optional backend остаётся в vLLM 0.32.
Прозрачный visual usage
Фактические visual-счётчики от processor отделены от оценочных резервов Gateway. Недоступное значение не считается нулём; это не стоимость и не GPU-время.
Правила reasoning
reasoning.effort_map позволяет переназначить уровень effort для конкретной модели. Результат проверяется по шаблону; настройки по умолчанию и политика thinking сохраняются.
Перезапуск только Gateway
triton-gateway status/restart помогает обслуживать API без перезапуска Triton и моделей. Текущие HTTP/SSE-соединения прерываются — запланируйте окно обслуживания.
Runtime v0.6.0Triton
26.10vLLM0.31.0DeepSeekimages opt-inКоротко об архитектуре
Gateway соединяет приложения с runtime — не заменяя его
Authentication и TLS остаются на внешнем proxy. Gateway управляет запросом, Triton — жизненным циклом моделей, vLLM — выполнением и batching.
Открыть полную схемуrequest & trust flow
AI-клиентыSDK · LiteLLM · LibreChat
Auth proxyTLS · auth · tenant quotas
Gatewayprotocol · context · media
Triton + vLLMmodels · scheduling · inference
Изучить подробнее
От API-контракта до production-развёртывания
Проверьте поддерживаемые сценарии, разберите путь запроса и подготовьте пилот в своём контуре.
01API & workloads
Возможности
Chat и Responses, media, structured outputs, hybrid embeddings и rerank.
02Components & flowАрхитектура
Trust boundary, ответственность компонентов и полный жизненный цикл запроса.
03Operate safelyРазвёртывание
Runtime 26.10, Docker, Helm, monitoring, migration и production checklist.
Open source · Apache 2.0
Проверьте gateway на одной некритичной модели
Проверьте Chat и Responses через SDK, явные token limits, JSON Schema, hybrid retrieval и управляемый 429 на вашей GPU-топологии.