Como uma migração acontece de verdade
A parte que se conta costuma ser a troca da URL base, e dura uma tarde. A parte que não se conta é a semana seguinte: aparecem as retentativas que estavam ajustadas para o fornecedor anterior, os limites que já não são os mesmos e as suposições sobre o formato da resposta que ninguém documentou.
O que ajuda é ter um processo pequeno rodando em paralelo com os dois fornecedores durante alguns dias e comparar as saídas. Não para escolher, mas para encontrar as diferenças enquanto ainda há margem para corrigi-las.
O que um contexto de um milhão de tokens muda na prática
Cabe quase qualquer coisa: um contrato completo, um processo inteiro, um histórico longo. A pergunta útil não é se cabe, mas se vale a pena. Quanto mais contexto você arrasta, mais paga por chamada e mais demora.
O cache de prompt muda o cálculo. Se o preâmbulo é o mesmo em cada chamada, essa parte é faturada muito mais barata. A consequência prática é que vale ordenar a requisição colocando primeiro o que não muda e no final o que muda.
O que perguntar antes de assinar
Quatro perguntas que evitam aborrecimentos: o que acontece se o serviço cair, para quem se escreve às onze da noite, como se fatura o mês em que se começa no meio, e o que acontece com os seus dados se amanhã você quiser ir embora. Se um fornecedor fica incomodado com a quarta, é informação útil.
Sobre o que não escrevemos
Não publicamos comparativos com números que não tenhamos medido, nem anúncios de modelos que não servimos, nem previsões sobre o que a indústria vai fazer. Se algo disso interessa a você, há sites que fazem melhor do que nós.
