Изображение: (cc) Adindva1
Управление пластмассовой рукой с помощью мысли
(Окончание, начало в № 516–517)
Критика тотальной цифровизации. О парадоксе «возможностей/уязвимости»
Итак, закон об использовании Единой биометрической системы (ЕБС) принят и подписан президентом России Владимиром Путиным. Мы уже писали о том, что одной из целей создания подобных банков с информацией является, вероятно, желание развивать системы искусственного интеллекта (ИИ), которые обучаются на больших массивах данных.
Ставка на ИИ и цифровизацию сделана серьезная. В ней наши власть имущие видят ни много ни мало гарантии безопасности страны и развитие ее военной мощи. О некоторых аспектах потенциального использования ИИ в сфере обороны мы также писали в прошлой статье. Здесь же поговорим об уязвимостях и угрозах безопасности государства, которые несут в себе цифровые технологии и ИИ.
Эксперты RAND Corporation (стратегического исследовательского центра, работающего по заказам правительства США) в работе «Нейроинтерфейсы: аспекты военного применения в США. Предварительная оценка» обсуждают так называемый «парадокс возможностей/уязвимости». Этот парадокс описывает серьезную проблему для безопасности государства, связанную с развитием цифровых и кибернетических технологий.
Суть парадокса состоит в том, что цифровизация работы различных институтов открывает большие возможности для государства, но в то же время она делает его более уязвимым для атак извне.
«Цифровые технологии являют собой парадокс безопасности: несмотря на то, что они предоставляют беспрецедентные возможности, они также делают пользователей менее защищенными… Они концентриуют данные и дают возможности ими манипулировать, что значительно повышает эффективность и масштаб выполнения операций, но эта концентрация, в свою очередь, экспоненциально увеличивает количество данных, которые могут быть украдены или уничтожены в результате успешной атаки. Сложность аппаратного и программного обеспечения цифровых технологий создает большие возможности, но эта сложность порождает уязвимости и снижает возможность обнаружить вторжение… короче говоря, киберсистемы питают нас, но в то же время они ослабляют и отравляют нас», — пишет эксперт Центра новой американской безопасности (CNAS, мозгового центра, консультирующего высшее руководство США) Ричард Данциг.
Другой эксперт CNAS, Жаклин Шнайдер, приводит пример такой уязвимости к взлому дистанционно управляемых машин. Она описала случай, когда компании Fiat и Chrysler отозвали миллионы автомобилей после того, как хакеры удаленно взяли под контроль автомобиль Jeep Cherokee и отправили его с помощью цифровых технологий в кювет.
А теперь вспомним планы цифровизаторов, желающих превратить человека в платформу, срастить его с машиной и подключить к его мозгу нейроинтерфейсы. Вспомним и представим себе, что речь идет о взломе не автомобилей, а бойцов с встроенными в мозг имплантами, способными воздействовать на чувства и мотивацию. Представим себе, что речь идет о больших военных коллективах или о миллионах граждан страны.
Эксперты RAND себе это живо представляют и, расхваливая нейроинтерфейсы, признают, что передача данных из человеческого мозга машине, особенно на большие расстояния с помощью беспроводных сетей, может быть перехвачена враждебным государством.
Кроме того, повальная цифровизация всех сфер жизни государства ведет к цифровой зависимости — то есть к тому, что власть уже не может осуществлять какие-либо процессы (которые раньше успешно осуществлялись) без цифровых технологий. Это, в свою очередь, становится причиной дестабилизации обстановки как внутри страны, так и в ее отношениях с другими странами, считают эксперты CNAS.
Согласно парадоксу возможностей/уязвимости, по мере того как государство движется к цифровой зависимости, возникает опасный стимул для других государств, в том числе и более развитых, зависящих от цифровых технологий, наносить удары первыми, пишет Жаклин Шнайдер.
«Цифровая зависимость может сделать кризисы менее стабильными, а конфликты более вероятными. Где находится американская армия в цифровом спектре и как это может повлиять на будущие кризисы?» — спрашивает Шнайдер.
Почему противник захочет нанести удар первым? В частности и потому, что появятся соблазнительные цифровые мишени, по которым можно будет ударить. Чем быстрее Россия по желанию нашего премьер-министра Михаила Мишустина превратится в цифровую платформу, тем быстрее по ней нанесут массированный удар.
А вот история про уже состоявшиеся, но пока еще не масштабные удары по безопасности страны и ее граждан, ставшие возможными благодаря цифровизации. В марте 2022 года агентство Reuters сообщило о том, что Украина использует технологию распознавания лиц для идентификации погибших российских солдат. Вице-премьер-министр Украины Михаил Федоров, который также возглавляет министерство цифровой трансформации, заявил, что для этих целей Украина использовала программное обеспечение американской компании Clearview AI, разрабатывающей технологии распознавания лиц. Сервис Clearview AI позволяет сопоставлять лица с изображениями в базе данных, содержащей около 20 миллиардов фотографий.
Создатели технологии утверждают, что она использует для идентификации фотографии, размещенные в соцсетях, особенно в соцсети «ВКонтакте». Однако кто мешает нам предположить, что для сбора базы фотографий создатели не погнушались воспользоваться и другими источниками — украденными базами биометрических данных, фотографий с камер наблюдения? О таких источниках не принято заявлять публично, но это не значит, что ими не пользуются.
После начала спецоперации исполнительный директор стартапа Clearview Хоан Тон направил Киеву письмо с предложением использовать Clearview в борьбе с Россией. Как мы понимаем, идентифицируют украинцы не только погибших солдат. Технология Clearview может быть использована для выявления российских агентов, сообщает Хоан Тон.
И кто сказал, что собираемая нынче российская система биометрических данных не попадет в руки американских и украинских спецслужб? В том, что она окажется взломана, можно не сомневаться. Вот что говорит по этому поводу специалист по информационной безопасности Наталья Касперская:
«IT-системы так устроены, что они доступны взлому. Невзламываемых систем никто не видел. Специалисты по информационной безопасности отрицают существование невзламываемых систем. Это вопрос цены и стоимости той информации, которая в них есть».
Она также рассказала о том, что в 2022 году произошло 25 случаев утечек персональных данных из государственных органов. Только если раньше эти утечки носили фрагментарный характер, они дискредитировали отдельные группы граждан, иногда достаточно многочисленные, то теперь, после формирования единой базы данных, масштаб вреда вырастет до размеров целого государства.
Идея не собирать информацию о представителях силовых структур и других групп населения — от этой угрозы не спасет, поскольку данные собираются также и на детей. Они могут собираться не только в ЕБС — их уже сейчас собирают на образовательных платформах. А с подачи Министерства просвещения процесс школьного обучения еще и будет связан с соцсетями, из которых, как мы уже знаем, информация уже сейчас попадает в руки спецслужб враждебных нам государств. В каждой школе сейчас стоят камеры наблюдения, снимающие лица детей. Точно ли наши правоохранители в курсе, куда попадают эти данные? И кто знает, кем в будущем будут эти дети? К тому моменту, когда они вырастут и решат служить на благо Родины, на них уже будет собрано полное цифровое досье — в чьи руки оно попадет?
Хотелось бы спросить наших власть имущих: как далеко государство намерено зайти в процессе внедрения цифровых технологий? Чем масштабнее будет цифровизация государства, тем сокрушительнее может оказаться удар по нему.
«Цифровые технологии внедряются во все сферы хозяйственной деятельности государства, во все системы вооружения и на все уровни ведения боевых действий. Из-за их повсеместного характера и инфраструктурных характеристик возможности и уязвимости, которые они создают, растут экспоненциально, а не строго линейно», — пишет Шнайдер.
Думают ли наши российские цифровизаторы об этой серьезнейшей проблеме? Как они намерены защищаться от цифровой зависимости?
Изображение: (cc) World Economic Forum Сессия «Аугментированное человечество» на Всемирном экономическом форуме
Американские военные аналитики активно обсуждают один из самых серьезных рисков инноваций — риск «поставить технологическую телегу впереди стратегической лошади». «Технологические инновации в отсутствие дополнительных стратегических, доктринальных и организационных изменений бесполезны и потенциально контрпродуктивны для целей политической и национальной безопасности», — пишут аналитики портала военных и политических исследований War on the Rocks Лена Эндрюс и Джулия Макдональд.
На внедрение непосредственно искусственного интеллекта в сферу вооружений военные эксперты тоже смотрят с немалым скепсисом. Тысячи исследователей ИИ заявляют об опасностях милитаризации ИИ или «гонки вооружений ИИ».
Системы искусственного интеллекта могут позволить военным действовать быстрее, более слаженно и с большей точностью и координацией, чем под управлением человека. Темпы битвы могут стать более высокими, превышающими темпы принятия решений человеком. Некоторые западные ученые назвали войны, которые будут осуществляться с помощью ИИ, «гипервойнами».
Однако условия битвы в подобных войнах в то же время являются чрезвычайно опасными, поскольку здесь выходят на арену и начинают играть важную роль в бою силы, неподконтрольные человеку по крайней мере в течение некоторого периода времени, пишет старший научный сотрудник и директор программы по технологиям и национальной безопасности в Центре новой американской безопасности Поль Шарре.
Военные регулярно внедряют новые технологии для повышения эффективности оружия, однако ИИ они внедряют с большим скрипом и вообще не очень торопятся, поскольку эффективность этих технологий оказалась спорной. И такую осторожность американских военных, проявляемую, несмотря на необходимость конкурировать в области цифровых технологий с другими державами, можно понять.
Системы ИИ часто демонстрируют неожиданное поведение, как хорошее, так и плохое.
«Современные методы искусственного интеллекта и машинного обучения являются мощными, но хрупкими. Системы ИИ могут достигать сверхчеловеческой производительности в одних условиях, но катастрофически отказывать в других», — пишет Шарре.
Технологии глубокого обучения являются мощным, но одновременно небезопасным и ненадежным инструментом, считает он.
«Один ученый, занимающийся искусственным интеллектом, недавно сравнил машинное обучение с «алхимией». Возможно, политики были бы более осторожны, если бы ИИ был представлен им в качестве некоей «милитаризуемой алхимии», — говорит Шарре.
Дело в том, что системы ИИ хорошо работают в учебных условиях, но дают впечатляющие сбои в военное время.
«Эти технологии имеют тонкую и хрупкую природу, а это значит, что незначительные изменения в окружающей среде или данных, которые они используют, могут резко изменить их производительность. Многие военные задачи могут быть точно отрепетированы в мирное время. Такие, как, например, взлет и посадка самолетов, дозаправка в воздухе или вождение транспортных средств. В этих условиях системы ИИ, вероятно, могут быть спроектированы, протестированы и проверены в течение необходимого периода времени для достижения адекватного уровня производительности. И в некоторых случаях они будут работать лучше, чем люди. Но адаптация к тактике противника — это совсем другое дело. Для принятия решений на поле боя, не только на оперативном, но и на тактическом уровне, нужны люди. Человеческий разум остается самой передовой системой обработки данных на планете. Системы ИИ, при всей их мощи, плохо адаптируются к новым или неожиданным ситуациям, которыми изобилуют военные действия. Если военные внедряют системы ИИ до их полного тестирования и проверки в попытке опередить конкурентов, они рискуют спровоцировать «гонку на дно», — пишет Шарре.
Особенно серьезные опасения вызывает у экспертов применение ИИ в ядерных вооружениях или в операциях, требующих решений об убийстве людей.
Кроме того, сейчас трудно предсказать влияние ИИ на ведение войны в долгосрочной перспективе. Политические лидеры, принимающие решения о внедрении ИИ в военную сферу, должны осознавать значительные риски, которые это вызовет, уверен Шарре.
Отметим, это пишет не противник новых технологий и не сторонник теорий заговоров. Это пишет эксперт CNAS, непосредственно занимающийся новыми технологиями.
Изображение: (cc) Steve Jurvetson Демонстрация технологии, позволящей бегать, перенося значительный дополнительный вес
Перечисленные риски в России носят еще более серьезный характер. Весьма вероятно, что цифровизация в нашей стране займет место в ряду других, уже осуществленных разрушительных реформ типа «модернизации» и «оптимизации», в ходе которых российские здравоохранение и образование получили удары, от которых не могут оправиться. И проводили эти «реформы» те, кто теперь становится застрельщиками цифровой трансформации.
Сама эта цифровая трансформация осуществляется по западным инструкциям, написанным теми же западными глобальными структурами, которые разваливали наше образование, медицину и социальную сферу. Теперь же эти цифровизаторы-реформаторы, проводники западных технологий, станут опорой государства и фактором роста информационной и военной мощи страны? Можно было бы посмеяться над этим, если бы ситуация не была бы столь опасной.
Чего стоит заявление главы Минцифры Максута Шадаева о том, что не нужно жестко ограничивать возможность удаленной работы в информационной сфере для сотрудников, сбежавших из России. То есть это они будут внедрять цифровые технологии и работать над большими базами данных, имеющими военное стратегическое значение? Ведь мы понимаем теперь, что абсолютно все базы данных имеют такое значение? Эксперты в области информационной безопасности говорят о том, что подавляющее большинство утечек происходят благодаря ненадежности работающих с базами данных людей. Но нам не стоит беспокоиться по этому поводу! Ведь в нашей стране поддержание информационной мощи и безопасности ляжет на широкие плечи мужественных «испуганных патриотов», сбежавших из России во время СВО.
Военные аналитики, оценивая риски, связанные с цифровизацией, не предлагают полностью отказаться от цифровых технологий, они призывают отнестись к проблеме серьезно и корректировать стратегические планы с учетом увеличивающихся с большой скоростью уязвимостей.
Мы допускаем, что остались в нашей стране представители власти, которые заботятся о безопасности государства и усилении его военной и политической мощи. Мы также допускаем, что процесс тотальной цифровизации они запускают с целью повысить эту самую военную мощь. Но, во-первых, как мы видим, вместе с мощью по экспоненте растет и слабость. А во-вторых, не слишком ли большая цена за эту самую мощь должна быть заплачена?
Кроме аспекта безопасности государства есть ведь еще и этический аспект. Вся эта цифровизация обойдется России и ее народу очень высокой ценой. Ценой лишения людей свободы частной жизни, ценой установления тотального цифрового контроля над гражданами и беспрецедентной слежкой за ними. Благодаря этим технологиям кто-то получит большую власть над людьми, в будущем он получит возможность контролировать их психику и воздействовать на нее, отнимать волю и возможность самостоятельно принимать решения. По сути, конечным итогом осуществления тотальной цифровизации станет разрушение общества и лишение человека его человеческой сущности. Государство без граждан быстро перестанет быть государством.
Наверное, ценители идеи технофеодализма (а на самом деле технологического рабства) будут рады получить в свое распоряжение миллионы высокоэффективных рабов, но им стоит понимать, что и лишиться этих рабов они смогут очень быстро и легко. И превратиться даже не в вассалов западных хозяев, а пополнить ряды тех самых цифровых рабов.
Жанна Тачмамедова