Метрики задержки API ИИ: TTFT, первый ответ и скорость вывода
Руководство по временной шкале запроса: заголовки поставщика, первое событие SSE, первый полезный ответ, видимый текст, полная задержка и скорость вывода.

Задержка AI API — не одна цифра. Для потокового запроса нужно отдельно фиксировать заголовки ответа поставщика, первое непустое событие SSE, первый полезный контент или действие, первый видимый текст и завершение ответа. Эти точки отвечают на разные вопросы и не должны все называться TTFT.
Для текстового чата время до первого видимого текста обычно отражает пользовательское восприятие. В процессе с рассуждением или инструментами аргументы функции могут стать первым полезным результатом раньше. Скорость генерации измеряется отдельно после начала вывода.
Сначала построить временную шкалу запроса
Используйте монотонные часы и единую точку отсчёта:
t0 шлюз получает запрос
t1 начинается запрос к поставщику
t2 приходят заголовки ответа поставщика
t3 первое непустое событие SSE
t4 первый полезный контент или действие
t5 первое видимое приращение текста
t6 тело ответа поставщика завершается или закрывается
t7 обработчик шлюза завершает работу
Не в каждом запросе есть все точки. Отсутствующее значение должно оставаться отсутствующим, а не превращаться в 0.
| Поле | Что измеряет | Граница |
|---|---|---|
auth_ms |
Аутентификация | Локальная фаза |
distribution_ms |
Выбор канала и маршрута | Локальная фаза |
body_read_ms |
Чтение тела запроса | Выявляет медленную загрузку до маршрутизации |
upstream_headers_ms |
От начала запроса до заголовков поставщика | Точка отсчёта — начало запроса поставщику |
first_sse_event_ms |
От получения шлюзом до первого события | Может содержать только метаданные |
first_response_ms |
От получения до первого полезного контента или действия | Текст, рассуждение или аргументы функции |
first_text_delta_ms |
От получения до видимого текста | Может отсутствовать |
upstream_done_ms |
От получения до закрытия ответа поставщика | Закрытие не всегда означает успех |
total_handler_ms |
От получения до конца ретрансляции | Ближайшая оценка полной длительности на шлюзе |
visible_output_tps |
Токены / видимое окно | Пользовательская диагностика, не общий TPS |
Нельзя вычитать длительности с разными точками отсчёта.
У TTFT несколько практических значений
Руководство NVIDIA NIM по сравнительным измерениям обычно включает в TTFT сеть, очередь и предварительную обработку запроса, а пустые начальные ответы исключает. Современный поток до текста может отправить метаданные, рассуждение, аргументы функции, входные данные инструмента или сигнал активности.
| Название | Рекомендуемое значение | Применение |
|---|---|---|
| Время до заголовков | От начала до заголовков поставщика | Сеть и этап приёма |
| Время до первого события | До первого непустого события SSE | Активность транспорта |
| Время до первого полезного ответа | До полезного контента или действия | Отзывчивость агента и рассуждения |
| Время до первого видимого текста | До отображаемого текста | Пользовательское восприятие чата |
Если панель показывает TTFT, она должна указывать конкретное определение.
Разделить отзывчивость и скорость генерации
end_to_end_latency = final_response_time - request_start_time
visible_generation_window = final_response_time - first_visible_text_time
visible_output_tps = output_tokens / visible_generation_window_seconds
Задержка между токенами исключает TTFT и обычно делит оставшееся время на output_tokens - 1. Нельзя считать события SSE токенами: одно событие может содержать ноль или несколько токенов.
Ранний текст с низким TPS быстро начинается и медленно продолжается; поздний текст с высоким TPS выглядит зависшим и быстро заканчивается. TPS на пользователя и общий поток токенов также являются разными показателями.
Рассуждение и инструменты могут предшествовать тексту
В чисто текстовом ответе first_response_ms и first_text_delta_ms близки. Аргументы функции на 1,8 секунды и текст на 6,4 означают раннее полезное действие без видимого текста.
- терминальный агент может измерять первое полезное действие;
- текстовый интерфейс — первый видимый текст;
- API инструментов может вообще не выдавать текст;
- ранняя оболочка SSE подтверждает активность соединения, но не полезный прогресс.
Руководство по потоковым ответам AI API описывает разбор, отмену и тайм-аут бездействия. Метрики считаются после корректной классификации событий.
Диагностировать этапы в фиксированном порядке
| Симптом | Метрика | Проверить |
|---|---|---|
| Медленно до заголовков | upstream_headers_ms |
Сеть, приём, очередь, маршрут, регион |
| Заголовки быстро, вывод поздно | first_response_ms |
Очередь модели, предобработка, рассуждение, активные запросы |
| Событие быстро, вывод поздно | Разница между SSE и ответом | Метаданные, сигнал активности, запуск рассуждения |
| Действие быстро, текст поздно | Разница между ответом и текстом | Инструмент, рассуждение или компоновка |
| Текст быстро, генерация медленно | visible_output_tps |
Декодирование, конкуренция ресурсов, длинный контекст |
| Поставщик работает нормально | Локальные поля | Аутентификация, политика, загрузка клиента |
Одна метрика не доказывает первопричину. Нужны данные о маршруте, регионе, поставщике и одновременной нагрузке.
Прочитать три синтетические трассы
Трасса A: ожидание заголовков
| Метрика | Значение |
|---|---|
upstream_headers_ms |
6 100 ms |
first_sse_event_ms |
6 300 ms |
first_response_ms |
6 350 ms |
first_text_delta_ms |
6 400 ms |
total_handler_ms |
9 200 ms |
visible_output_tps |
42 |
Основное ожидание происходит до заголовков. Проверяйте маршрут, этап приёма, сеть, регион и нагрузку до пользовательского интерфейса.
Трасса B: действие раньше текста
| Метрика | Значение |
|---|---|
upstream_headers_ms |
240 ms |
first_sse_event_ms |
310 ms |
first_response_ms |
2 900 ms |
first_text_delta_ms |
8 700 ms |
total_handler_ms |
10 200 ms |
visible_output_tps |
55 |
Полезное действие появляется на 2,9 секунды, а текст — ещё через 5,8. Исследуйте рассуждение или инструменты; увеличение тайм-аута заголовков бесполезно.
Трасса C: быстрый старт, медленная генерация
| Метрика | Значение |
|---|---|
upstream_headers_ms |
260 ms |
first_sse_event_ms |
330 ms |
first_response_ms |
420 ms |
first_text_delta_ms |
430 ms |
total_handler_ms |
20 430 ms |
visible_output_tps |
9,8 |
Текст начинается быстро, но генерируется около 20 секунд. Сравните длину вывода, контекст, канал, число активных запросов и поставщика. Тайм-аут первой выдачи не обнаружит эту проблему.
Сравнивать только контролируемые условия
Фиксируйте модель и маршрут, распределения токенов, режим потоковой передачи, объём рассуждения, инструменты, регион, сетевой путь, параллелизм, параметры выборки, максимальный вывод, прогрев, политику повторных попыток, размер выборки и метод расчёта перцентилей.
Сравнивайте p50, p95 и p99, а не одно среднее значение. Ошибки и тайм-ауты должны оставаться в данных. Разные запросы, длины и уровни параллелизма нельзя выдавать за рейтинг скорости моделей.
Хранить метаданные, а не содержимое
Для диагностики достаточно идентификатора запроса, временной метки, модели, группы, ссылки на канал, статуса, числа токенов, полей времени, числа событий, активных запросов, приблизительного региона и классификатора вроде upstream_headers_slow.
Не требуется хранить запросы, ответы, API-ключи или открытые идентификаторы клиентов. Для метаданных также нужны сроки хранения и контроль доступа.
Начинайте с временной шкалы, используйте надёжную маршрутизацию AI API для сравнения попыток и диагностику ошибок AI API для связи времени с итоговым статусом. Это разделяет этап приёма, запуск модели, рассуждение или инструменты, видимую генерацию и локальные накладные расходы.