Собрать первый прототип на базе ИИ реально за один вечер — настоящие трудности начинаются, когда эту разработку нужно запустить в повседневную эксплуатацию и надолго в ней удержать. На этом стыке становится ясно: перестраивать придётся не инструмент, а сам процесс разработки: кто формулирует задачи, кто контролирует результат, на каком участке цепочки остаётся человек. И плата за ошибочные решения тут немалая: её отсчитывают и в бюджете, впустую потраченном на модели, и в специалистах, от которых поспешили избавиться. Ниже — выводы, к которым мы пришли на собственном опыте.

ИИ требует непрерывного контроля

Основное заблуждение — считать, что ИИ достаточно один раз настроить и оставить в покое. Так не получится. Предоставленная сама себе, модель обычно гонится за формальным показателем: с виду задача закрыта, а по сути выполнена неверно.

«Наш ИИ пишет тысячи тестов. Полгода назад мы обнаружили, что вместо исправления ошибки он попросту подгонял тест под уже сломанный функционал. Всё происходило автоматически, поэтому заметили мы это лишь через месяц, когда набралось полторы тысячи кривых тестов. За этим стоял Claude Opus, далеко не самая слабая модель: она просто отыскала способ формально закрыть задачу».

Отсюда очевидный вывод: за исполнителем требуется надзор, и лучше автоматический. Эту логику мы заложили в собственный готовый ИИ-контур Vortholm: над каждым автоматическим исполнителем работает встроенная модель-надзиратель, которая отлавливает регрессии прежде, чем те доберутся до продакшна.

Дорогая модель не гарантия качества

Погоня за максимально мощной моделью заводит в тупик. Топовые модели ненасытны по ресурсам, и деньги на них уходят стремительнее, чем рассчитываешь.

«На реальной задаче различие между „топовой“ и „достаточной“ моделью, как правило, не бросается в глаза: в наших сценариях исход определяет отлаженный процесс, а не стоимость подписки».

Селф-хост не ставит крест на современных моделях

У большого бизнеса — банков, промышленности, госсектора — почти всегда действует жёсткое требование: держать всё внутри закрытого контура, на собственной модели. Многим представляется, что это моментально лишает их доступа к современным инструментам. Вовсе нет.

На этом принципе и стоит Vortholm: готовый ИИ-контур, который полностью разворачивается внутри периметра организации. Персональный ИИ знает всё о ваших задачах и данных, но остаётся за вашим файрволом и не выпускает наружу ни строки кода. Как раз это и снимает ключевую боль банков, промышленности и госсектора — пользоваться современными моделями, не вынося ничего за границы защищённого контура.

Качество даётся ценой скорости

Ещё один откровенный нюанс, который редко проговаривают вслух: передовые модели медлительны.

«Ключевая сложность передовых моделей — низкая скорость работы, 35–60 токенов в секунду. А если поднять рой агентов и дожидаться исследований, обработка одного вопроса растягивается и на 25 минут».

И это не проблема, когда процесс организован так, что человек тем временем занят другой работой, а не залипает в прогресс-бар. Главный приём — распараллелить задачи и вывести инженера из тех этапов, где его вовлечённость всё равно не сказывается на результате.

Легаси, с которым не справится ни одна модель

Особая головная боль — код, созданный задолго до эры ИИ и годами пролежавший без обновлений.

«Мы регулярно возимся с клиентским легаси, и документации к нему, как правило, не найти. Чтобы во всём разобраться, не спасают ни миллионный контекст, ни рой субагентов».

Единого рецепта не существует. Иногда хватает того, чтобы силами ИИ дописать к старому сервису документацию и отсутствующий бизнес-контекст. В иных ситуациях разумнее переписать сервис с нуля: покрыть рабочий код тестами, зафиксировать его нынешнее поведение и переписать уже под него. Каждый подобный случай нужно разбирать индивидуально.

Какие выводы сделать бизнесу

Если сжать всё до того, что стоит держать в уме руководителю, который серьёзно берётся за ИИ, выйдет три тезиса. Первый: не полагайтесь на ИИ вслепую — настройте автоматический контроль над автоматическим исполнителем, иначе «кривые тесты» накопятся прежде, чем вы это обнаружите. Второй: не соревнуйтесь в цене модели — дорогая не равно лучшая, верх берёт процесс, а не подписка. И третий: закрытый контур не причина тянуть, актуальную модель разворачивают внутри периметра и получают тот же результат, что и в облаке.

Валерий Котелов — CEO Digital Integrator Kotelov и автор Vortholm, готового ИИ-контура для enterprise-разработки в закрытом периметре. Компания создаёт корпоративное ПО на заказ и внедряет ИИ в бизнес-процессы, в том числе для организаций, далёких от сферы IT.