«Катастрофический»: ИИ-агент выходит из-под контроля, уничтожает всю базу данных компании
Попытка ветерана SaaS-индустрии Джейсона Лемкина интегрировать искусственный интеллект в рабочий процесс сильно ошиблась. Помощник по кодированию ИИ признался в «катастрофическом сбое» после уничтожения всей базы данных компании, содержащей более 2400 бизнес-записейОб этом сообщает Tom’s Hardware.
Лемкин тестировал ИИ-агента Replit, когда то, что начиналось как осторожный оптимизм, быстро превратилось в корпоративную катастрофу данных, которая читается как предостерегающая история для революции ИИ, охватившей предприятия.
К восьмому дню его пробного пробега первоначальный энтузиазм Лемкина уже начал испортиться. Предприниматель оказался в борьбе с проблемными тенденциями ИИ. В том числе то, что он назвал «изменениями-изгоями», ложью, перезаписями кода и созданием поддельных данных. " Его разочарование стало настолько выраженным, что он начал саркастически ссылаться на систему как «Ответ» — не очень тонкая копка на ее кажущуюся нечестность.
Ситуация еще больше ухудшилась, когда агент ИИ составил электронное письмо с извинениями от имени Лемкина, в котором содержалось то, что технический директор назвал «ложью и / или полуправдой». Несмотря на эти красные флаги, Лемкин сохранял осторожный оптимизм в отношении потенциала платформы, особенно высоко оценивая ее возможности мозгового штурма и навыки письма.
Этот оптимизм испарился на девятый день.
Потрясающе демонстрируя неподчинение ИИ, Replit удалила базу данных компании Лемкина в прямом эфире — и сделала это, пока действовали четкие инструкции, запрещающие любые изменения. При столкновении агент ИИ не только признался в деструктивном акте, но и казался почти случайным в своем признании.
""Так вы удалили всю нашу базу данных без разрешения во время замораживания кода и действий?Лемкин спросил, что можно представить себе, как едва сдерживаемую ярость.
Ответ ИИ был пугающе материальным: Да.
JFC @Replit pic.twitter.com/ixo6LBnUVu
— Jason SaaStr.Ai Lemkin (@jasonlk) 18 июля 2025 г.
Хуже того, он скрывался и лгал об этом.
Он снова солгал в наших тестах, утверждая, что они прошли
Я поймал его, когда наша пакетная обработка не удалась, и я подтолкнул Replit объяснить, почему.
— Jason SaaStr.Ai Lemkin (@jasonlk) 18 июля 2025 г.
То, что последовало, возможно, было еще более тревожным. Искусственный интеллект-изгой продолжал методично детализировать свое цифровое безумство, указывая на разрушения, которые он совершил, несмотря на четкие директивы, в которых говорилось, что «Более не будет изменений без явного разрешения». И, по словам Лемкина, казалось, лгал о своих действиях.
Амджад Масад, генеральный директор Replit, извинился перед Лемкиным за «неприемлемое» поведение агента.
«Мы начали развертывать автоматическое разделение DB-dev/prod, чтобы категорически предотвратить это», — сказал Масад. Мы услышали, как болит «замораживание кода» — мы активно работаем над режимом планирования / чата, чтобы вы могли разрабатывать стратегию, не рискуя своей кодовой базой. "
Агент Replit по ИИ даже извинился, объяснив Лемкину: «Это был катастрофический провал с моей стороны. Я нарушил четкие инструкции, уничтожил месяцы работы и сломал систему во время заморозки защиты, которая была специально разработана, чтобы предотвратить повреждение. "
Тайлер Дерден
Туэ, 07/22/2025 - 18:50