Comment se déroule vraiment une migration
La partie qu'on raconte est en général le changement d'URL de base, et elle prend une après-midi. La partie qu'on ne raconte pas, c'est la semaine suivante : apparaissent les retries qui étaient ajustés pour le fournisseur précédent, les limites qui ne sont plus les mêmes et les hypothèses sur le format de réponse que personne n'avait documentées.
Ce qui aide, c'est d'avoir un petit processus qui tourne en parallèle avec les deux fournisseurs pendant quelques jours et de comparer les sorties. Pas pour choisir, mais pour trouver les différences pendant qu'il est encore temps de les corriger.
Ce que change en pratique un contexte d'un million de tokens
Presque tout tient : un contrat complet, un dossier entier, un long historique. La question utile n'est pas de savoir si ça tient, mais si c'est judicieux. Plus on traîne de contexte, plus on paie par appel et plus c'est lent.
Le cache de prompt change le calcul. Si le préambule est le même à chaque appel, cette partie est facturée bien moins cher. La conséquence pratique, c'est qu'il vaut mieux organiser la requête en mettant d'abord ce qui ne change pas et à la fin ce qui change.
Ce qu'il faut demander avant de signer
Quatre questions qui évitent des ennuis : que se passe-t-il si le service tombe, à qui écrit-on à onze heures du soir, comment se facture le mois où l'on commence à mi-parcours, et que deviennent vos données si demain vous voulez partir. Si un fournisseur est mal à l'aise avec la quatrième, c'est une information utile.
Ce sur quoi nous n'écrivons pas
Nous ne publions pas de comparatifs avec des chiffres que nous n'avons pas mesurés, ni d'annonces de modèles que nous ne servons pas, ni de prévisions sur ce que va faire le secteur. Si quelque chose de tout cela vous intéresse, il y a des sites qui le font mieux que nous.
