Mesurer coût et économie du Prompt Caching

Guide de production : Mesurer coût et économie du Prompt Caching. Il comprend un artefact déterministe, des limites d’échec, des contrôles de déploiement et des sources vérifiées.

Décider d’abord

Mesurer coût et économie du Prompt Caching est un contrat de production explicite, pas une modification isolée. Définissez réussite, échec terminal et rollback avant de déplacer le trafic ; l’artefact sépare preuve et hypothèse.

Commencez par prefix, prouvez eligibility avec un cas déterministe et faites de expiry une condition de mise en production.

Artefact réutilisable

Une ligne ne passe que si sa preuve vient de la même requête, fenêtre de test ou version de configuration.

Point de contrôle	Preuve à conserver	Condition de réussite
prefix	stable_exact_prefix_before_dynamic_suffix	La valeur est préservée et comparée exactement à la frontière du protocole.
eligibility	model,minimum_prompt_length,provider-specific_rules	Owner, source, date et limite sont consignés.
usage	uncached,cache_read,cache_write_tokens_kept_separate	La valeur est préservée et comparée exactement à la frontière du protocole.
rates	dated_source_for_each_token_category	Owner, source, date et limite sont consignés.
comparison	same_workload_with_and_without_confirmed_cache_hit	Réservation, observation et valeur finale se rapprochent dans un registre durable.
expiry	cache_lifetime_and_invalidation_are_not_assumed	La limite est explicite et l’échec est fermé.

Exemple détaillé

L’exemple est synthétique et déterministe. Utilisez vos valeurs revues, sans secret ni donnée client.

baseline_total = (all_input_tokens * input_rate
                + output_tokens * output_rate) / 1_000_000
write_cost     = cache_write_tokens * cache_write_rate / 1_000_000
read_cost      = cache_read_tokens * cache_read_rate / 1_000_000
uncached_cost  = uncached_tokens * input_rate / 1_000_000
output_cost    = output_tokens * output_rate / 1_000_000
cached_total   = write_cost + read_cost + uncached_cost + output_cost

measured_savings = baseline_total - cached_total
break_even_reuses = ceil(write_premium / per_reuse_read_savings)

Procédure de mise en œuvre

1. Figer requête, réponse, configuration et référence observable.
2. Exécuter un cas positif déterministe et conserver le résultat complet.
3. Exécuter le cas négatif ou limite associé.
4. Relier les tentatives à un ID logique et consigner temps, état final et usage sans contenu sensible.
5. Déployer sur une cohorte bornée avec critères d’arrêt.
6. Relire l’état durable et le comportement public ; revenir en arrière si une invariance échoue.

Modes d’échec

Ces échecs invalident le résultat même si le HTTP externe semble réussir :

• Un prix ou contrat volatil n’est pas revérifié.
• Un champ pratique est lu et les sorties typées, tools, refus ou résultats partiels sont perdus.
• Une réponse texte est prise pour une preuve complète de compatibilité.
• Le coût partagé est alloué sans rapprochement du total.

Limite de Modelflare

Modelflare centralise routage compatible OpenAI, clés, groupes, usage et erreurs, mais une route configurée ne prouve aucune capacité optionnelle. Vérifiez modèle et canal par le protocole natif, conservez les zéros explicites et prenez le règlement durable comme vérité de facturation.

La page parente couvre la décision générale et la documentation la configuration actuelle.

Liste avant publication

• Répondre à la question principale avant le contexte.
• Nommer un owner pour chaque champ, état, métrique et formule.
• N’utiliser que des identifiants synthétiques.
• Conserver structure, code, limites et avertissements dans toutes les langues.
• Revérifier contrats, support et prix à T-1 ; déplacer la date si un fait change.
• Avant l’heure, exclure de l’API publique, des routes et du sitemap.

Sources et date de vérification

Sources vérifiées le 2026-08-07 ; elles ne prouvent pas une route non testée.

• OpenAI: Prompt caching
• OpenAI: API pricing