В мире, где AI-инструменты для разработчиков становятся все более изощренными и, зачастую, дорогими, Cohere решила сделать ход конем. Они представили North Mini Code – новый open-source AI-агент для написания кода, который, по их словам, способен работать даже на одном, казалось бы, таком монструозном GPU, как NVIDIA H100. Это, без сомнения, важный шаг для тех, кто ищет более доступные и гибкие решения для своих инженерных задач.
North Mini Code – это не просто очередная модель, адаптированная из общего назначения. Cohere специально заточили ее под агентные рабочие процессы в разработке программного обеспечения. Это означает, что модель интегрирована с возможностью использования инструментов, поддерживает "интерливинг" мышления (что, по заверениям разработчиков, улучшает работу в многошаговых задачах) и заточена под задачи, которые требуют более глубокого понимания контекста и взаимодействия.
Что же конкретно умеет эта модель? Во-первых, это полноценная поддержка программной инженерии. North Mini Code может анализировать и визуализировать архитектуру систем, выявлять зависимости и проводить ревью кода в больших проектах. А благодаря огромному контекстному окну в 256 тысяч токенов, она способна обрабатывать даже самые объемные многофайловые проекты за один проход.
Во-вторых, модель отлично справляется с терминальными задачами. Она обучена работать в командной строке, обрабатывать скрипты и различные утилиты. Cohere даже протестировали ее на бенчмарке Terminal-Bench v2, который имитирует реальные сценарии работы в терминале, а не просто генерирует код.
В основе North Mini Code лежит архитектура "sparse mixture-of-experts" (MoE) с 128 "экспертами", из которых активируются 8 на каждый токен. Это позволяет добиться впечатляющей производительности, сравнимой с моделями на 3 миллиарда параметров, при общем объеме в 30 миллиардов. Более того, как сообщается, один из сооснователей Cohere, Ник Фрост, даже демонстрировал работу модели на своем Mac Studio с использованием MLX, потребляя всего около 20 гигабайт оперативной памяти. Это открывает двери для локального развертывания даже на относительно скромном железе.
Процесс обучения North Mini Code был весьма основательным. Он включал два этапа обучения с учителем (supervised fine-tuning), а затем обучение с подкреплением (reinforcement learning) с верифицируемыми наградами. Модель прошла через более чем 70 тысяч проверенных задач, охватывающих около 5 тысяч репозиториев. Интересно, что Cohere тренировали модель на трех разных типах агентных фреймворков, что, по их словам, дало прирост производительности в оценке OpenCode на 10 процентных пунктов, сохраняя при этом производительность на SWE-Agent.
На рынке, где уже присутствуют такие игроки, как Mistral Devstral Small 2, GitHub Copilot и Claude Fable 5, North Mini Code предлагает интересную альтернативу. Cohere утверждает, что их модель превосходит Mistral Devstral Small 2 по пропускной способности выдачи в 2.8 раза и имеет 30% преимущество в задержке между токенами при одинаковых аппаратных конфигурациях. Независимые тесты Artificial Analysis также ставят North Mini Code высоко по скорости вывода – 210 токенов в секунду.
Однако есть и нюанс. В независимых тестах Artificial Analysis модель сгенерировала 75 миллионов выходных токенов для выполнения задачи, в то время как медиана по классу составила 25 миллионов. Эта "многословность" может существенно увеличить стоимость инференса и время обработки в высоконагруженных конвейерах. Как отметил Ник Фрост, "люди начинают задумываться, действительно ли они получают достаточную экономическую ценность от токенов модели?".
В противовес дорогим облачным сервисам, вроде Claude Fable 5, который стоит 50 долларов за миллион выходных токенов, North Mini Code предлагает совершенно иной подход. Фрост описывает его как "маленький, экономичный, с лицензией Apache 2.0 и возможностью локального развертывания. Вот как должны развиваться LLM: маленькие, с открытым исходным кодом, прозрачные и суверенные, в отличие от больших, дорогих, проприетарных и гегемонистских".Для компаний, строящих продакшн-конвейеры для агентного кодинга, выход North Mini Code означает необходимость переосмысления ряда решений. Во-первых, становится очевидно, что специализированное обучение для агентных задач – это уже не роскошь, а необходимость. Различие между моделями, дообученными для кода, и теми, что специально тренировались для агентных рабочих процессов с верифицируемыми вызовами инструментов, становится критически важным фактором.
Во-вторых, "скрытая стоимость" многословности модели – это то, что не всегда отражается в стандартных бенчмарках. Реальные тесты производительности на объеме рабочей нагрузки становятся все более важными.
Наконец, выбор между моделями с гибкой ценовой политикой, как Fable 5, и локально развертываемыми решениями, как North Mini Code, становится настоящим архитектурным решением. Команды, работающие с большими объемами агентного кодинга, должны тщательно просчитать оба варианта, прежде чем принимать окончательное решение.