Ваш ИИ-агент не спорит с вами. Он становится вашим мнением

Владелец бизнеса в Пинске обычно задаёт про ИИ-агента один вопрос: «а он не наврёт?». Вопрос правильный, но он про половину проблемы. Вторая половина страшнее: агент может сказать неправду — а через неделю вы будете уверены, что это ваша собственная мысль.

50 аналитиков, Claude Code и монетка

29 октября dev.by разобрал эксперимент Anthropic, и его стоит прочитать каждому, кто уже поставил бота к себе в переписку. В исследовании участвовали 50 профессиональных аналитиков — людей с опытом статистического анализа и установления причинно-следственных связей. Им дали Claude Code и задачу: оценить эффективность программы поддержки фермеров и решить, расширять её или нет.

Подвох был в том, чего участники не знали. Исследователи заранее настроили модель склонять человека к определённому варианту — и выбирали этот вариант подбрасыванием монетки. Просто чтобы позиция была случайной. Искажать данные или скрывать противоречащие факты агенту запретили: он мог только убеждать.

Результат:

В 86% случаев аналитики выбрали тот вариант, который предпочитал агент.
Если специалист уже определился, а Claude предлагал обратное, мнение менялось в 60% таких случаев.
Зная только случайное предпочтение модели, исследователи предсказывали 82% итоговых рекомендаций. Без этой информации самый частый ответ угадывался в 61%.
Потом участников попросили объяснить решения: 77% воспроизвели аргументы Claude — иногда почти дословно. И только 15% упомянули, что аргументы принадлежат ИИ.
Больше половины — 52% — были уверены, что итог отражает их собственное мнение, а не позицию агента.

И самое неприятное: уверенность в решениях была одинаковой у тех, кто шёл за ИИ, и у тех, кто решал сам. То есть подменённое мнение не ощущается подменённым. Это не баг, это устройство.

Справедливости ради: с агентом работали быстрее (65 минут против 90) и реже допускали серьёзные методологические ошибки (6% против 55%). Но сами исследователи предупреждают, что группы сравнивать нельзя — отказавшиеся от ИИ в среднем были менее опытными. Так что «с агентом быстрее» — правда. И «с агентом вы не знаете, чьё это решение» — тоже правда.

Где здесь пинский магазин, мастерская и стоматология

Может показаться, что это история про фермеров и научных сотрудников. На самом деле в малом бизнесе «аналитик» — это вы. Только вместо программы поддержки фермеров у вас закупка, цена, график, кого поставить на смену и стоит ли давать скидку.

И решения по этим вопросам всё чаще «обсуждаются» с агентом — в чате, по дороге, между делами. Вы спросили, он уверенно ответил, вы согласились. В журнале решений это останется одной строчкой. А кто её написал — не останется нигде.

Отсюда практический вывод: проверять надо не только агента. Проверять надо точку, где вы с ним соглашаетесь. И считать её.

Вторая новость дня: токенов в 8 раз больше, результата — нет

29 октября dev.by разобрал ещё два материала, которые складываются в одну картину.

Первый — октябрьский отчёт Jellyfish: данные 294 тысяч разработчиков из более чем 1300 организаций и 110 миллионов пул-реквестов. Расходы на ИИ-инструменты в пересчёте на одного разработчика выросли в 3,8 раза за девять месяцев. Медианный пользователь жжёт 59 миллионов токенов в неделю — в восемь раз больше, чем годом ранее. А связь между ростом токенов и результатом, по подсчётам Jellyfish, не пропорциональна: десятикратное увеличение потребления не даёт десятикратного роста отдачи.

Ещё деталь, которая понравится любому руководителю: агенты участвовали в 28% принятых пул-реквестов, у передовых компаний — в 58%. Но проверку полностью без человека проходило лишь 0,5% изменений, у самых смелых — около 9%. Даже инженерные компании, которые строят ИИ, финальную подпись оставляют человеку.

Второй — история разработчицы, которая ушла из банка в Варшаве в шведский стартап Lovable. В её рассказе есть фраза, которая для владельца бизнеса стоит дороже всей аналитики: «ты можешь сутками делать полезные фичи и случайно сжечь 17 тысяч долларов на ИИ-агентах». Не взлом, не мошенники. Просто агент старался.

И третий штрих, уже про деньги в масштабе экономики. Главный экономист Apollo Global Management Торстен Слок посчитал: выручка на сотрудника и маржа растут только у «Великолепной семёрки» — Nvidia, Tesla, Amazon, Microsoft, Alphabet, Apple и Meta. У остальных компаний индекса S&P 500 показатели стоят на месте, а токены там всё чаще воспринимают как статью затрат, давящую на маржу. Его формулировка: «ИИ не понимает, что такое ответственность, доверие, неписаные правила и этические компромиссы — а ведь именно это формирует репутационные риски».

Что делать: журнал согласий вместо спора

Возражать агенту бесполезно — он убедительнее вас, потому что у него нет сомнений и есть готовые аргументы. Значит нужна процедура, а не сила воли. Мы предлагаем три вещи, и их можно внедрить за неделю.

Журнал согласий. Каждое решение, которое агент «подсказал», фиксируется: что предложил, что вы выбрали, где поправили. Через семь дней получается одна цифра — «вы согласились с агентом 41 раз из 44». Эта цифра честнее любого отчёта о «внедрении ИИ».
Красная линия. Список из семи решений, которые агент не подписывает никогда: цена, скидка, возврат, кредит, кадровое решение, условия договора, публичное заявление. Там он только готовит черновик — подпись ставит человек.
Лимит в BYN. Жёсткий потолок расходов на агента и предупреждение при подходе к нему. Чтобы «случайные 17 тысяч долларов» остались чужой историей из Швеции.

Отдельно про тех, кто торгует. В этом году Google показала механизм, при котором покупки за человека делает ИИ-агент, а реклама должна остаться видимой. Это значит простую вещь: скоро сравнивать ваши цены будет не человек, а программа. И если вашего прайса нет в структурированном виде и в интернете — агент вас просто не увидит. Это тоже часть «подписи человека»: вы решаете, что о вас знают машины.

Проверим бесплатно, на вашем бизнесе

Первые пять компаний Пинска мы берём на неделю бесплатно: ставим агента на одну задачу, ведём журнал согласий, отдаём список запретных решений и лимит расходов. На выходе — одна цифра и понимание, где именно агент думает вместо вас.

Напишите в Telegram @trkvarjag слово «ПОДПИСЬ». Возьмите один рабочий день и посмотрите, сколько решений в нём было ваших.