Вооруженные силы США почти осуществили вооруженную посадку на китайское грузовое судно.
Причина? Сгенерированный ботом полностью ложный отчет разведки, который неверно идентифицировал груз, перевозимый в качестве секретных ядерных компонентов.
Как она раскрылась Станция CNNи описал услугу Ars TechnicaИнцидент произошел весной того же года, во время войны с Ираном. Аналитик Командования специальных операций США (US SOCOM) использовал неопознанный чат-бот для анализа документации груза китайского подразделения. Инструмент объединил общедоступные данные с секретной информацией электронной разведки, в результате чего «выводил», что корабль несет ядерные компоненты. Военные начали подготовку к перехвату подразделения при авиационной поддержке.
Аналитик во второй раз использовал искусственный интеллект, чтобы превратить полученные результаты в стандартный военный отчет. Такой отформатированный документ поступил в официальный оборот и начал распространяться в американских военных. Ошибка была обнаружена только в последнюю минуту, прервав действие (Си-Эн-Эн не получила информацию, которая действительно находилась на борту корабля). Один из источников CNN подытожил ситуацию заявлением о том, что ошибка машины «почти вызвала войну».
Пентагон доверяет машинам
Хотя неизвестно, использовал ли аналитик коммерческий или правительственный инструмент, инцидент прекрасно иллюстрирует риск галлюцинаций ИИ в критических ситуациях. Тем не менее, Министерство обороны США (DoD) резко ускоряет внедрение крупных языковых моделей. В декабре прошлого года военная платформа GenAI.mil была основана на системе Близнецы для правительства, а в прошлом месяце к ней была добавлена модель Грока. Представитель Пентагона в июне похвалил Конгресс, что 1,5 миллиона военнослужащих уже использовали эти инструменты.
Американские сервисы также имеют адаптированную версию Клода из Anthropic. Интересно, что в марте Министерство обороны занесло компанию в черный список.Она выступала против использования своих моделей в автономных системах вооружений (в прошлом месяце федеральный судья объявил это решение незаконным возмездием).
Официального запрета недостаточно. Армия США продолжает использовать «запретный» искусственный интеллект от Anthropic
Декларация Госдепартамента 2023 года призвала сохранить ответственность и присутствие «человека в цикле принятия решений» при использовании систем ИИ. Однако случай с китайским кораблем показывает, что даже при человеческом надзоре доверие к цифровому помощнику может быть очень обманчивым, а сгенерированный машиной документ может легко выявить опасную ошибку.
Если статья Армия США собирается сесть на китайский корабль. Неудачный отчет, созданный искусственным интеллектом Не смотрите правильно в RSS-ридере, а затем смотрите на него iMagazine.
