Миграция
Токенизация, краевые случаи потоковой передачи и системные промпты, которые тихо перестают переноситься.
Что на самом деле меняетсяТри вещи, которые мы объясняем почти на каждом звонке. Написано для инженера, который принимает решение, а не для поисковой системы.
Три заметки. Читайте ту, которая нужна, — они не зависят друг от друга.
Токенизация, краевые случаи потоковой передачи и системные промпты, которые тихо перестают переноситься.
Что на самом деле меняетсяЧто очень большое окно убирает из вашего плана — и что оно не убирает.
Что меняет окно в 1 млн токеновВосемь вопросов, которые мы задали бы на месте покупателя — со ссылками на наши ответы.
Что спросить до подписанияКороткая версия: меньше, чем ожидаешь, и не там, где ожидаешь. Формат запроса совместим с OpenAI SDK, поэтому для большинства команд первое изменение — это базовый адрес и ключ, и первый запрос проходит успешно. Именно этот успех и делает следующую часть неприятной: выглядит законченным раньше, чем оно закончено.
Токенизация другая, поэтому лимиты сдвигаются. Количество токенов не переносится между семействами моделей. Промпт, который спокойно помещается в окно контекста у текущего поставщика, здесь может оказаться совсем в другом месте — то же верно и для бюджета ответа. До переключения посчитайте токены на представительной выборке вашего реального трафика тем токенизатором, который действительно применяется, а не оценкой по количеству символов.
Интеграции ломаются на краевых случаях потоковой передачи. Границы блоков, то, как приходит причина завершения, и то, как выглядит поток, оборвавшийся раньше времени, — всё это места, где две реализации, обе называющие себя совместимыми, ведут себя по-разному. Если у вашего клиента есть логика повторных попыток, проверьте её на намеренно прерванном потоке, а не предполагайте, что успешный путь обобщается.
Системный промпт — не переносимый актив. Промпт, настроенный под одну модель, несёт привычки этой модели. Инструкции, которые делали реальную работу, могут стать избыточными, а избыточные — неожиданно несущими. Прогоните ваш набор проверок заново, а не полагайтесь на интуицию.
Практический метод: неделю ведите оба пути параллельно на реальном трафике, записывайте ответы и сравнивайте их на тех случаях, на которые жалуются пользователи. Это скучнее, чем переключение за выходные, и это план, который не заканчивается откатом.
Очень большое окно контекста убирает целую категорию инженерной работы. Оно не убирает необходимость думать о том, что вы в него кладёте. Команды, которые считают «поместилось» синонимом «понято», обычно узнают разницу в продакшене.
Качество извлечения неравномерно по окну. К информации, размещённой глубоко внутри очень длинного ввода, внимание обращается не так надёжно, как к информации по краям. Если ваш сценарий зависит от конкретного пункта в длинном документе, проверьте этот пункт на разных позициях, а не предполагайте, что один удачный прогон обобщается.
Задержка растёт вместе с вводом, и это не линейно по терпению пользователей. Запрос, несущий целый документ, идёт заметно дольше, чем несущий одну страницу. Если ваш интерфейс интерактивный, измерьте путь с длинным вводом целиком, прежде чем обещать время ответа, — модель здесь лишь один из компонентов.
Структура важнее объёма. Длинный ввод с ясными разделителями, поставленной задачей и явно заданным форматом вывода работает лучше, чем тот же материал, вставленный сплошным текстом. Если вы собираете ввод программно, потратьте усилие на каркас, а не на попытку втиснуть ещё один документ.
Работающий шаблон: дайте модели задачу в начале и в конце длинного ввода, середину отведите под материал, а проверяйте на своих самых трудных случаях, а не на демонстрационном документе.
Это вопросы, которые нам задают хорошие службы закупки, и те, что задали бы мы сами, если бы покупали. Они применимы к нам в той же мере, что и к другим, поэтому там, где мы записали ответы, стоят ссылки.
Поставщик, который прямо отвечает на все восемь, говорит вам что-то. Тот, кто отвечает на три и меняет тему, — тоже.
БЛОГ · О ЧЁМ МЫ ПИШЕМ
ЧТО ПУБЛИКУЕМ
Миграция, OCR, объёмы, оплата
то, что решает вопрос о запуске
КАК ПИШЕМ
Из работы, которую делали
с цифрами, на которые можно указать
ЧЕГО НЕ ДЕЛАЕМ
Без статей ради галочки
ничего «для наполнения»
Обычно ответим в течение одного рабочего дня: условия и персональный менеджер.