Метрики задержки API ИИ: TTFT, первый ответ и скорость вывода

Руководство по временной шкале запроса: заголовки поставщика, первое событие SSE, первый полезный ответ, видимый текст, полная задержка и скорость вывода.

Метрики задержки API ИИ: TTFT, первый ответ и скорость вывода

Задержка AI API — не одна цифра. Для потокового запроса нужно отдельно фиксировать заголовки ответа поставщика, первое непустое событие SSE, первый полезный контент или действие, первый видимый текст и завершение ответа. Эти точки отвечают на разные вопросы и не должны все называться TTFT.

Для текстового чата время до первого видимого текста обычно отражает пользовательское восприятие. В процессе с рассуждением или инструментами аргументы функции могут стать первым полезным результатом раньше. Скорость генерации измеряется отдельно после начала вывода.

Сначала построить временную шкалу запроса

Используйте монотонные часы и единую точку отсчёта:

t0  шлюз получает запрос
t1  начинается запрос к поставщику
t2  приходят заголовки ответа поставщика
t3  первое непустое событие SSE
t4  первый полезный контент или действие
t5  первое видимое приращение текста
t6  тело ответа поставщика завершается или закрывается
t7  обработчик шлюза завершает работу

Не в каждом запросе есть все точки. Отсутствующее значение должно оставаться отсутствующим, а не превращаться в 0.

Поле Что измеряет Граница
auth_ms Аутентификация Локальная фаза
distribution_ms Выбор канала и маршрута Локальная фаза
body_read_ms Чтение тела запроса Выявляет медленную загрузку до маршрутизации
upstream_headers_ms От начала запроса до заголовков поставщика Точка отсчёта — начало запроса поставщику
first_sse_event_ms От получения шлюзом до первого события Может содержать только метаданные
first_response_ms От получения до первого полезного контента или действия Текст, рассуждение или аргументы функции
first_text_delta_ms От получения до видимого текста Может отсутствовать
upstream_done_ms От получения до закрытия ответа поставщика Закрытие не всегда означает успех
total_handler_ms От получения до конца ретрансляции Ближайшая оценка полной длительности на шлюзе
visible_output_tps Токены / видимое окно Пользовательская диагностика, не общий TPS

Нельзя вычитать длительности с разными точками отсчёта.

У TTFT несколько практических значений

Руководство NVIDIA NIM по сравнительным измерениям обычно включает в TTFT сеть, очередь и предварительную обработку запроса, а пустые начальные ответы исключает. Современный поток до текста может отправить метаданные, рассуждение, аргументы функции, входные данные инструмента или сигнал активности.

Название Рекомендуемое значение Применение
Время до заголовков От начала до заголовков поставщика Сеть и этап приёма
Время до первого события До первого непустого события SSE Активность транспорта
Время до первого полезного ответа До полезного контента или действия Отзывчивость агента и рассуждения
Время до первого видимого текста До отображаемого текста Пользовательское восприятие чата

Если панель показывает TTFT, она должна указывать конкретное определение.

Разделить отзывчивость и скорость генерации

end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds

Задержка между токенами исключает TTFT и обычно делит оставшееся время на output_tokens - 1. Нельзя считать события SSE токенами: одно событие может содержать ноль или несколько токенов.

Ранний текст с низким TPS быстро начинается и медленно продолжается; поздний текст с высоким TPS выглядит зависшим и быстро заканчивается. TPS на пользователя и общий поток токенов также являются разными показателями.

Рассуждение и инструменты могут предшествовать тексту

В чисто текстовом ответе first_response_ms и first_text_delta_ms близки. Аргументы функции на 1,8 секунды и текст на 6,4 означают раннее полезное действие без видимого текста.

  • терминальный агент может измерять первое полезное действие;
  • текстовый интерфейс — первый видимый текст;
  • API инструментов может вообще не выдавать текст;
  • ранняя оболочка SSE подтверждает активность соединения, но не полезный прогресс.

Руководство по потоковым ответам AI API описывает разбор, отмену и тайм-аут бездействия. Метрики считаются после корректной классификации событий.

Диагностировать этапы в фиксированном порядке

Симптом Метрика Проверить
Медленно до заголовков upstream_headers_ms Сеть, приём, очередь, маршрут, регион
Заголовки быстро, вывод поздно first_response_ms Очередь модели, предобработка, рассуждение, активные запросы
Событие быстро, вывод поздно Разница между SSE и ответом Метаданные, сигнал активности, запуск рассуждения
Действие быстро, текст поздно Разница между ответом и текстом Инструмент, рассуждение или компоновка
Текст быстро, генерация медленно visible_output_tps Декодирование, конкуренция ресурсов, длинный контекст
Поставщик работает нормально Локальные поля Аутентификация, политика, загрузка клиента

Одна метрика не доказывает первопричину. Нужны данные о маршруте, регионе, поставщике и одновременной нагрузке.

Прочитать три синтетические трассы

Трасса A: ожидание заголовков

Метрика Значение
upstream_headers_ms 6 100 ms
first_sse_event_ms 6 300 ms
first_response_ms 6 350 ms
first_text_delta_ms 6 400 ms
total_handler_ms 9 200 ms
visible_output_tps 42

Основное ожидание происходит до заголовков. Проверяйте маршрут, этап приёма, сеть, регион и нагрузку до пользовательского интерфейса.

Трасса B: действие раньше текста

Метрика Значение
upstream_headers_ms 240 ms
first_sse_event_ms 310 ms
first_response_ms 2 900 ms
first_text_delta_ms 8 700 ms
total_handler_ms 10 200 ms
visible_output_tps 55

Полезное действие появляется на 2,9 секунды, а текст — ещё через 5,8. Исследуйте рассуждение или инструменты; увеличение тайм-аута заголовков бесполезно.

Трасса C: быстрый старт, медленная генерация

Метрика Значение
upstream_headers_ms 260 ms
first_sse_event_ms 330 ms
first_response_ms 420 ms
first_text_delta_ms 430 ms
total_handler_ms 20 430 ms
visible_output_tps 9,8

Текст начинается быстро, но генерируется около 20 секунд. Сравните длину вывода, контекст, канал, число активных запросов и поставщика. Тайм-аут первой выдачи не обнаружит эту проблему.

Сравнивать только контролируемые условия

Фиксируйте модель и маршрут, распределения токенов, режим потоковой передачи, объём рассуждения, инструменты, регион, сетевой путь, параллелизм, параметры выборки, максимальный вывод, прогрев, политику повторных попыток, размер выборки и метод расчёта перцентилей.

Сравнивайте p50, p95 и p99, а не одно среднее значение. Ошибки и тайм-ауты должны оставаться в данных. Разные запросы, длины и уровни параллелизма нельзя выдавать за рейтинг скорости моделей.

Хранить метаданные, а не содержимое

Для диагностики достаточно идентификатора запроса, временной метки, модели, группы, ссылки на канал, статуса, числа токенов, полей времени, числа событий, активных запросов, приблизительного региона и классификатора вроде upstream_headers_slow.

Не требуется хранить запросы, ответы, API-ключи или открытые идентификаторы клиентов. Для метаданных также нужны сроки хранения и контроль доступа.

Начинайте с временной шкалы, используйте надёжную маршрутизацию AI API для сравнения попыток и диагностику ошибок AI API для связи времени с итоговым статусом. Это разделяет этап приёма, запуск модели, рассуждение или инструменты, видимую генерацию и локальные накладные расходы.