ИИ в войне: Мы готовы?

С доктором Кайей Ковальчевской из Вроцлавского университета мы говорим о том, готовы ли мы принять убийство людей с помощью ИИ, которое звучит в законе, и можем ли мы спать спокойно.

(Интервью - отредактированная и завершенная версия подкаста) Ты в курсе? П. Заменит ли ИИ солдат в убийстве? Остановить роботов-убийц).

"Нападение на людей с помощью автономных систем вооружений является примером жестокой цифровой дегуманизации. [...] лишает людей достоинства, унижает человеческую природу и устраняет или заменяет человеческую приверженность или ответственность применять силу с помощью автоматизированных процессов принятия решений», — предупреждает Коалиция «Остановить роботов-убийц». Каковы основные этические и правовые проблемы интеграции искусственного интеллекта в системы вооружений?

Доктор Кайя Ковальчевска: Это вызовы, известные за пределами военных дискуссий о том, как искусственный интеллект влияет на нашу жизнь в целом, только то, что в контексте вооруженных конфликтов они имеют гораздо большие последствия, потому что использование ИИ в решениях, которые закончатся смертью или серьезными разрушениями, может иметь гораздо более серьезные последствия, чем только то, что мы будем обмануты или нацелены на рекламу в социальных сетях.

Дискуссия о применении ИИ касается прежде всего того, хотим ли мы, чтобы некоторые решения в войне передавали искусственный интеллект, и если да, то знаем ли мы о проблемах использования искусственного интеллекта, который должен заменить человеческий мозг и нашу способность оценивать качество происходящего вокруг нас.

С другой стороны, мы знаем, что искусственный интеллект непредсказуем, обременен большой ошибкой относительно того, делает ли он то, что мы хотим.

И если мы имеем дело с ошибками, то обычно возникает вопрос, кто будет отвечать за них.

И при всей сложности искусственного интеллекта, способе его создания, использовании его для адвокатов, самой большой проблемой является то, кто будет нести ответственность, кто, возможно, будет нести ответственность в войне за преступления против человечества или геноцид.

Вы написали книгу «Искусственный интеллект на войне». Какие аспекты военного использования ИИ обсуждались там, вы считаете наиболее проблематичными и почему?

ИИ применяется везде.

У нас есть примеры из Израиля, например, где он используется для поддержки процессов принятия решений, поскольку он поддерживает принятие решений при наборе работников. Проблема начинается, когда мы решаем, что человеческий фактор может быть устранен и пусть искусственный интеллект просто принимает за нас какие-то решения. А на войне часто приходится решать об убийстве, об уничтожении.

В международной дискуссии появляются два важных термина, в польской терминологии они являются аббревиатурами AWS и LAWS. Можете ли вы объяснить их значение?

Терминология сложна, потому что большая часть авторов этих дебатов — юристы, которые любят точные определения. AWS означает «автономные системы вооружения», то есть автономные системы, по умолчанию работающие на искусственном интеллекте. В этой широкой категории существуют системы, которые помогают логистике и транспорту, которые помогают анализировать данные, выполнять прогнозные анализы, определять количество боеприпасов, необходимых для выполнения эффективной и экономичной атаки. Их подгруппа — LAWS, или автономные системы оружия, просто добавляя слово «смертельный» или «смертельный». Это системы, основная задача которых — нести физическую силу, которая вызовет смерть на войне. Подчеркивается, что весь процесс основан на искусственном интеллекте. Они могут иметь различные приложения и быть оснащены различными типами оружия, поэтому мы не знаем, где в конечном итоге оказываются автоматизированные системы, и они начинают автономные, где заканчивается какой-то предсказуемый алгоритм и начинается полный искусственный интеллект.

И поэтому мы не знаем точно, какие системы из уже существующих можно классифицировать как автономные и говорим ли мы о далеком будущем с точки зрения искусственного интеллекта, особенно смертоносного.

И как развитие этих систем ведет военную деятельность в контексте международного права?

У нас есть законы, которые говорят нам о конкретном оружии, поэтому есть договоры, запрещающие использование химического, биологического, ядерного, кассетного или противопехотного оружия. На данный момент нет договора об этих автономных системах.

Дискуссия продолжается уже много лет. В прошлом году Генеральный секретарь ООН заявил, что одной из его целей является обеспечение того, чтобы такой договор был подписан не позднее 2026 года. Я не думаю, что есть такой договор вообще. Поэтому у нас нет никаких специальных правил. Но это не означает, что закон вообще не применяется к этим системам, если они были использованы. У нас есть некоторые общие правила.

После Второй мировой войны к ним были разработаны Женевские конвенции и дополнительные протоколы, в которых говорится о том, какие объекты и группы людей защищены, используем ли мы силу от ИИ или от более традиционных средств. К ним относятся и обязанности воюющих сторон.

Что является самым большим спором?

Наибольший ущерб могут нанести эти смертоносные системы, которые используются для поражения цели, то есть для выявления, отслеживания и атаки противника в соответствии с принятыми военными целями. И здесь самым важным является принцип дифференциации, то есть всякий раз, когда мы направляем атаку, мы должны различать то, что является военной целью, законной целью, за которую мы не несем ответственности, и то, что подобно остальной части нашей вселенной. Речь идет прежде всего об объектах и гражданских лицах. Это общее правило, к которому придется адаптироваться.

Вопрос в том, насколько ИИ может идентифицировать объекты и людей в динамичной среде и должным образом квалифицировать их для этих групп, поскольку это очень большая проблема для солдат.

Какое второе правило?

Тогда у нас есть принцип соразмерности: каждое нападение должно быть пропорциональным, то есть потери, понесенные при проведении данного нападения, так называемый сопутствующий ущерб, должны быть оправданы прямой военной выгодой, получаемой от этого нападения.

Мы часто забываем об этом, хотя мне кажется, что из-за близости вооруженных конфликтов мы немного лучше понимаем, что не все разрушения в собственности и гражданских лицах являются военными преступлениями.

Это только те случаи, когда принцип пропорциональности затрагивается сознательно и с намерением причинить эти несоразмерные потери. Это не простая математическая формула, которую мы можем ввести в ИИ, и она даст нам пропорциональный результат. Это также вызов для военных командиров, которые должны учитывать многие элементы, когда они решают атаковать.

Третий принцип — принцип предосторожности, когда при планировании и проведении нападений комбатанты должны учитывать более широкий контекст и проводить качественные оценки. ИИ может быть лучше нас, когда речь идет о количественном анализе данных, но качественная оценка информации, которую мы определяем – на юридическом языке, т.е. описательной, качественной, подлежащей интерпретации, является для нее большой проблемой.

Что дают нам эти правила?

Системы должны соблюдать эти принципы. На мой взгляд, мы все еще можем спать спокойно, потому что технология недостаточно развита, но это только вопрос времени, когда она будет лучше себя зарекомендовала в качественной оценке и сможет лучше выполнять некоторые задачи не только с военной, но и с юридической точки зрения.

У нас остается только этическая дилемма: хотим ли мы, чтобы такие решения принимал искусственный интеллект.

В этом заключается суть правовых дискуссий по этим системам.

Наш разговор напомнил мне книгу Исаака Азимова «Я робот. Три права робототехники". Первый закон: робот не может причинить вред человеку или позволить ему пострадать, если он не будет действовать. Робот должен подчиняться приказам человека, если они не противоречат первому закону. Робот должен защищать себя, если только это не противоречит закону первого и второго. Позже Азимов добавил закон ноль: робот не может навредить человечеству или позволить человечеству пострадать от неспособности действовать. Как это соотносится с реальностью?

Я думаю, что этика — это совсем другая область, чем закон, связанная с ним определенным образом, но тем не менее отдельная. Эти законы Азимова кажутся нам такими безопасными, здесь на первое место ставится человек, а роботы служат только хранителями добра. Я выхожу из другого предположения. Интересно, что бы сказал Азимов, если бы мы поместили эти законы робототехники в контекст вооруженных конфликтов. Реальность войны — это отрицание некоторых из этих прав, и тем не менее войны происходят и не прекратятся, к сожалению. Польза для нас от них остается, на мой взгляд, чисто теоретической.

Каковы потенциальные последствия передачи контроля над боевыми решениями глобальной безопасности?

Я думаю, что могут быть некоторые неконтролируемые последствия. Что касается нынешнего уровня технологического развития, то результат был бы совершенно непредсказуемым, но если бы можно было закодировать большой набор этических правил и правил, которые должны руководить этим международным порядком, могло бы оказаться, что искусственный интеллект более нравственный, чем государственный командир.

С 1945 года нам запрещено применять силу в международных отношениях, и мы видим, что это не обязательно работает. Так что, возможно, искусственный интеллект, которому было бы гораздо важнее следовать этим правилам, не меняя их самостоятельно, был бы более этичным и обеспечивал бы нам большую безопасность. Это трудная дискуссия, потому что у нас недостаточно данных о том, как работает искусственный интеллект.

Где потенциальные вооруженные конфликты, в которых используются технологии, о которых вы говорите?

В случае вооруженных конфликтов до нас доходит лишь один слой информации. У нас есть конфликт на Украине, в Газе, и у нас есть много региональных конфликтов практически на каждом континенте. И только после того, как они закончат, если вообще будут, мы узнаем больше о том, что на самом деле использовалось, потому что ясно, что не в интересах воюющих сторон показывать миру всех своих тузов в рукавах.

Действительно, мы слышим о том, что системы искусственного интеллекта используются в Украине, Израиле или Газе, поскольку для поддержки решений командиров людей мы пока не имеем дело с этими смертоносными системами.

Что касается Израиля, то он довольно громко говорил о системе Евангелия, которая в СМИ была представлена как более мощная, чем она есть на самом деле. Израильские войска входят в число ведущих в мире технологически развитых войск и используют искусственный интеллект с годами, например, для обозначения военных целей на основе предварительно агрегированных данных о местоположении определенных мест, критически важных для вооруженных групп, для анализа разведывательных данных.

ИИ W Ukraine также используется для прогнозирования следующих шагов противника на основе анализа разведданных, делая процессы принятия решений в армии более быстрыми и эффективными. Мы также слышали, что в конфликте в Ливии использовался автономный турецкий производственный беспилотник, в то время как общедоступная информация не давала однозначного ответа, был ли это автономный дрон или дрон с некоторыми автоматизированными функциями, который мог, например, летать по определенным координатам и при этом снижать свой след из-за атмосферных условий.

Мне кажется, что автономные системы еще не активны на полях сражений, но мы все больше узнаем о нелетальных системах, таких как те, которые не предназначены для убийства и другими способами препятствовать проведению вооруженных действий при одновременном снижении человеческих потерь, минимизации ущерба и повышении оперативной эффективности. К ним относятся беспилотные летательные аппараты и разведывательные роботы, системы, использующие ИИ для блокирования вражеской связи или защиты военной сети от хакерских атак. Они используются в армии, как и во всех аспектах нашей жизни, где данные растут. И если человеческий фактор сохранится, он может принести больше пользы, чем потерь.

Можно ли сбалансировать преимущества военного применения ИИ с необходимостью поддержания человеческого контроля и обеспечения соблюдения этики? Если да, то как этого можно достичь?

Это должно быть возможно, потому что если нет, то нужно остановить развитие таких систем. Это то, что мы не можем придумать априори, и мы не можем понять, как это будет выглядеть, потому что эти технологии все еще развиваются.

С юридической точки зрения сохранение человеческого фактора — это элемент, который обеспечит нам хотя бы исключение из правил безопасности, потому что, возможно, военный командир, решивший применить этот вид оружия, дважды подумает, знает ли он, что кто-то будет нести ответственность.

Это такая традиционная, сдерживающая роль закона. Нам нужен человеческий фактор, чтобы где-то закрепить эту ответственность. Только на какой стадии, поскольку именно государство принимает политическое решение о приобретении какого-то оружия, а затем обычно в дело вмешивается частное образование или военно-частный консорциум, но уж точно не один человек, как это происходит с ИИ, где ответственность вдруг размывается.

Ответственный ли военный командир, который может не до конца понять, как работает система, которую он будет использовать?

С юридической точки зрения где-то должен быть отнесен человеческий фактор, а решение о "где" принадлежит государствам, которые принимают закон. С этической точки зрения мне кажется, что этот человеческий фактор также будет препятствием для полной дегуманизации войны, которая заключается в том, что мы даем последний бастион человеческих действий машинам. Если мы хотим продолжать жить в цивилизации, где человеческое достоинство является высшей ценностью, то мы должны поставить этические и правовые границы.

Институт гражданских дел присоединился к коалиции «Остановите роботов-убийц», которая стремится к 2026 году заключить договор, запрещающий технологию AWS и LAWS. Что должно сделать международное сообщество и лица, принимающие решения, чтобы это не закончилось черным сценарием?

Думаю, у нас было достаточно времени, чтобы разобраться в этом вопросе. Перед пандемией дискуссия созревает, чтобы перейти от этических, технологических, военных, правовых к политическим решениям. Она должна рухнуть на форуме, который представляет в первую очередь военные державы.

Потому что если речь идет о договоре, запрещающем применение ядерного оружия, который был окончательно принят, но к которому не присоединились государства, имеющие такое оружие в своих арсеналах, то эффективность такого решения сомнительна.

Так что, с одной стороны, надо учитывать, что может быть договор, который красиво выглядит на бумаге, который будет иметь нулевой перевод на практике, потому что его подпишут только страны, которые далеко отстают от военных держав в развитии технологий, которые позволят создавать ЗАКОНы и AWS.

С другой стороны, страны должны решить, вступают ли они в тотальный запрет или в более тонкое регулирование, где следует учитывать фактор человеческого контроля и показывать, что определенные системы, основанные на ИИ, могут быть допущены только до определенного момента.

Соединенные Штаты, Израиль, Россия, Китай, Индия – ведущие страны в этих технологиях искусственного интеллекта – возможно, не захотят подписывать такой договор. Мы также должны учитывать, что большинство стран Европейского союза принадлежат к НАТО, и были времена, когда все страны ЕС подписывали договор, а США нет.

Что мы скажем?

WWW На правовом этапе Совет Европы взял на себя обязательства по большей защите прав человека, чем остальной мир. И я думаю, что это прочно укоренено в моральных обязательствах государств по решению этических и правовых проблем.

В сентябре председательство в Европейском совете примет Венгрия. Одним из их приоритетов, учитывая геополитическую ситуацию, является определение того, как страны должны регулировать использование новых технологий. Военные роботы, будь то дистанционно управляемые или наделенные искусственным интеллектом, являются лишь одним из элементов этого проекта.

Я думаю, хорошо, что страна берет на себя роль регионального лидера, потому что без таких лидеров не было бы подписано никаких договоров.

Мне кажется, что эта инициатива является хорошим направлением, но она должна быть тщательно сбалансирована не для того, чтобы нанести теоретический удар, а для решения, которое фактически затронет армии с помощью искусственного интеллекта, и при этом не уничтожит все гуманитарные достижения, которые мы разработали после Второй мировой войны.

Международные вопросы, и особенно регулирование вооруженных конфликтов, являются очень сложной темой, в которой необходимо учитывать многие аспекты. Вот почему большая инициатива заключается в том, что мы стараемся иметь междисциплинарный подход, что юристы, этики и военные, которые одновременно являются экспертами в военных технологиях, разговаривают друг с другом, потому что это единственный способ, которым мы можем разработать эффективные и реализовать рекомендации. Я поддерживаю любые попытки убедить наше правительство в том, что это должно быть одним из приоритетов нашей внешней политики.

Работа!

Когда мы вступаем в диалог с различными институтами нашей страны и спрашиваем о вопросах, которые мы сегодня обсуждаем, говорить не с кем. Никто ничего не знает, и это настораживает. Тем более удивительно, что венгры запланировали это заранее.

Тем более что Польша принимает это председательство сразу после Венгрии. Так что время пришло.

Спасибо, что поговорили со мной.