Когнитивные искажения и их влияние на национальную кибербезопасность

Довелось мне тут побывать на заседании Совета по внешней и оборонной политике, неправительственного общественного объединения, задачей которого является содействие выработке и реализации стратегических концепций развития России, ее внешней и оборонной политике. На фоне членов СВОП, среди которых бывшие и действующие министры, члены Парламента, представители силовых и правоохранительных органов, я выглядел некоей белой вороной, но задача перед мной стояла важная - рассказать о новых вызовах и угрозах, которые несет с собой киберпространство.

Учитывая, возраст многих членов СВОП, их образование и формирование их мировозрения, задача перед мной стояла очень непростая и я, надо признаться, не уверен, что справился. Хотя я старался не углубляться в дебри ИБ и рассказывал достаточно понятным языком о возможностях вывода из строя кардиостимуляторов или инсулиновых помп (а многие члены СВОП уже в том возрасте, когда такие медицинские приборы выходят из статуса "да ну нафиг" или "о, прикольно" в "пожалуй, стоит почитать подробнее" или "дайте вон тот, пожалуйста"), останова двигателя автомобилей на ходу (а многие члены СВОП приехали в загородный дом отдыха на Рублевке на дорогих авто, оснащенных навороченной электроникой, и попадавших в сводки новостей о найденных в них уязвимостях), об искусственном интеллекте, критической инфраструктуре и т.п.

Но несмотря на некий пессимизм в отношении своего выступления, я получил представление о том, какие мысли витают в среде людей, если не непосредственно определяющих, то влияющих на оборонную и внешнюю политику страны. Местами эти мысли были совсем уж маргинальными и пугающими. Вот только несколько высказываний, которые мне запомнились на заседании СВОП (публикуются согласно "правилу Chatham House", то есть без упоминания их авторства, что способствует откровенности обсуждений и мнений):

• Важен не мир, а борьба за мир!
• Надо готовиться к войне. Нужен мобилизационный план.
• Что мы будем делать с Европой, когда ее завоюем?
• Одряхлевшие ПАСЕ, ОБСЕ и прочая ахинея.
• Невозможно заключить международный договор в области кибербезопасности, так как нельзя его контролировать.
• Отсидеться не удастся!
• Надо показать агрессору, что его действия могут иметь последствия!
• Надо поддерживать не только Саманту Смит, но и боевиков ИРА и другие группы, расшатывающие наших врагов!

Достаточно воинствующая риторика и почти вся она крутилась вокруг нашего ядерного потенциала и обычных вооружений. Тих был голос сторонников гибридных войн, которые высказывались за то, что будущие войны могут быть не только сплошь и рядом наполненными ядерными залпами и наступлениями танковых дивизий, авианосцев и диверсионных групп, действующих в тылу противника. Слово "кибербезопасность", помимо моего доклада, в течение трехчасового заседания, посвященного новым угрозам, прозвучало только два раза. Отсюда мое первое наблюдение, которое, впрочем, я уже высказывал не раз и даже вставил в курс по моделированию угроз (в раздел по психологии восприятия рисков):

Текущее и, возможно, следующее поколение политиков и иных власть предержащих, неспособно адекватно оценивать угрозы кибербезопасности.

Связано это с так называемыми когнитивными искажениями, которые влияют на способность человека оценивать риски; особенно риски будущие. Это связано с ошибками, которые допускают люди почти независимо от их возраста, пола, расовой принадлежности и, даже, профессиональных компетенций и навыков. Парадоксально, но даже высококлассные специалисты в своих областях допускают типичные ошибки, как раз и изучаемые в когнитивной психологии (интересно, что даже если человеку указать на его ошибки, то это не всегда кардинально поменяет мнение человека и его позицию). Вот только несколько выводов, которые делает когнитивная психология и которые важны для понимания того, почему многие чиновники, военные, члены СВОП и Совета Безопасности, руководители ФСБ и других связанных с ИБ структур недооценивают риски кибербезопасности и часто принимают неверные решения (а их статус не всегда позволяет подчиненным указывать на их ошибки):

• Человек не экстраполирует опыт пережитых малых опасностей на более серьезные риски. Иными словами, даже столкнувшийся с шифровальщиком на своем домашнем компьютере человек, не рассматривает этот риск в масштабе целой компании или даже страны. Даже наоборот. Прошлый опыт малых опасностей (например, кража тысячи рублей со счета в мобильном банке) задает верхнюю границу ожидаемого максимального риска. Привычка бороться с мелкими неприятностями приводит к тому, что мы не предпринимаем ничего для борьбы с неприятностями более крупными. У власть имущих же ситуация еще хуже - они вообще редко сталкиваются с киберрисками, так как часто даже не имеют компьютеров (вспомните, что наш Верховный Главнокомандующий пользуется блокнотом для записей и читает всегда по бумаге с рукописным текстом). Не сталкиваясь с какими-то рисками, человек не способен и оценивать их адекватно.
• Человек не готов к "черным лебедям". Я про них уже как-то писал, но стоит вновь к ним вернуться и в контексте заседания СВОП. Человек с трудом может оценивать редкие, но очень масштабные события. А в совокупности с предыдущим когнитивным искажением ситуация становится еще хуже. Можем ли мы оценить риск того, что Stuxnet сидит в данный момент на всех российских АЭС и в определенный момент сработает? Опираться на статистику при оценке "черных лебедей" мы не можем - ее просто нет. Ждать, когда такое событие произойдет и тогда кричать "ну я же говорил" или "это можно было предсказать"? Самое интересное, что это действительно можно предсказать (если не точную дату, мы же не Нострадамусы, то сам факт). Достаточно вспомнить Аль-Каиду и события 11 сентября. Ведь пост-фактум потом приводились доказательства того, что террористы готовились к такому сценарию, но его по каким-то причинам отмели как маловероятный. Сейчас известно, что террористы собирают сведения и о возможности проведения серьезных кибератак. Но готовится ли к ним кто-то всерьез (ФЗ-187 я за такую попытку не считаю)? Правда Талеб, который и ввел в обиход термин "черный лебедь", считает, что мотивировать людей заниматься предотвращением "черных лебедей" очень сложно. "Защита с трудом воспринимается, измеряется и вознаграждается; это обычно незаметный и неблагодарный труд. Представьте себе, что некая дорогостоящая мера была предпринята, чтобы предотвратить такое явление. Легко вычислить стоимость этих мер, тогда как результат трудно измерим. Как мы можем говорить об эффективности, когда есть два альтернативных варианта объяснения: или принятые меры были эффективны, или просто ничего существенного не случилось. Оценка качества работы в таких случаях не просто сложна, но искажена наблюдением «актов героизма»... В исторических книгах не пишут о героических превентивных мерах". 
• Как вы думаете, какое из двух утверждений более вероятное: "В чипах, выпускаемых американскими компаниями, могут быть закладки, с которыми нужно бороться" или "В выпускаемых чипах могут быть закладки, с которыми нужно бороться"? Я на нескольких мероприятиях проводил мини-опросы и получил достаточно забавные результаты. С точки зрения теории вероятностей добавление дополнительной детали к первому утверждению делает его менее вероятным, чем второе. Ведь действительно, первое утверждение является подмножеством второго. Но почему-то большинство людей считает второе утверждение менее вероятным, чем первое :-) Ровно также думают и на самом верху, считая, что надо направлять инвестиции на суженый сценарий возможных рисков. Если вдруг мы поругаемся с Китаем, то сценарий придется расширять, добавляя в него уже китайских производителей. Потом, возможно, индийских или израильских. Но своих разработчиков мы включим в сценарий риска в последний момент; если вообще включим. Хотя с точки зрения безопасности правильнее бороться с закладками в чипах независимо от их происхождения.
• Людям свойственно когнитивное искажение несогласия, то есть люди предпочитают подтверждающие, а не опровергающие доказательства той или иной гипотезы. И доказательства версии, которая опровергает позицию человека, подвергаются более пристальному анализу, чем доказательства, которые ее подтверждают. Например, мы знаем, что между Россией (а ранее СССР) и Северной Америкой существовало и существует соперничество во многих сферах. В области же безопасности США всегда рассматривались как потенциальный враг для нашей страны. И когда в конце 90-х годов в России обдумывали вариант с признанием "Общих критериев" в качестве системы оценки соответствия по требованиям безопасности продуктов информационных технологий, эксперты в Совете Безопасности исходили из предпосылки, что "Общие критерии" несут с собой не только пользу, но и вред. Сторонники этого стандарта пытались доказать, что от него одна только польза, но так как это противоречило изначальной гипотезе, то эксперты Совета Безопасности фокусировались на поисках того вреда, с которым столкнется Россия, принявшая этот стандарт за основу. И, кстати, мы гораздо реже меняем свои суждения, чем мы обычно думаем. Если ты вырос во времена холодной войны, служил в спецслужбах или Вооруженных силах, готовясь к войне с НАТО (США), то сложно ожидать, что заседая в Совете Безопасности или СВОП, ты изменишь свою позицию, которую в тебя вбивали годами и десятилетиями.
• Многие слышал термин "аффект", когда говорят о совершении какого-то преступления, когда человек, его совершивший, не соображает, что он делает. Так вот такая эмоциональная окраска имеет место и при оценке новых технологий или будущих угроз, о которых человек имеет мало информации. Например, с чем ассоциируется у большинства искусственный интеллект? В массе своей с Скайнет из "Терминатора", то есть окрас у данной технологии изначально негативный. А виртуальная реальность? Наоборот. Фантастические фильмы типа "Газонокосильщика" и вот у человека уже положительная оценка технологии, которую он сам может никогда и не пробовал в жизни, но именно от его решения зависит ее будущее. То есть очень часто анализ рисков осуществляется не на основе фактов, а на основе эмоций. А потом вступает в силу когнитивное искажение несогласия и нежелание менять первоначально сформированную точку зрения.
• От хакерской атаки на систему жизнеобеспечения в госпитале погиб ребенок! У вас перед глазами встает соответствующая картина и вы переживаете это событие очень эмоционально. А теперь представьте, что от хакерской атаки погиб целый город с многомиллионным населением... Изменились ли ваши чувства? Стали ли они сильнее в миллионы раз? Врядли. Наш мозг не способен масштабировать наши эмоции и наше восприятие. Для нас риск гибели десяти человек и миллиона человек почти равнозначны (на самом деле риск гибели миллиона человек для нас практически равен нулю, так как мы не осознаем это число и мы не сталкивались в прошлом с такими событиями). Отсюда и следствие - мы не готовы тратить ресурсы пропорционально количеству потенциальных жертв. Потратив миллион рублей на кибербезопасность больницы (как субъекта КИИ) и спасши тем самым десять жизней, мы не готовы потратить сто миллиардов рублей на спасение даже миллиона человек. Для человеческого мозга это все лишь увеличение числа смертей путем приписывания шести ноликов к числу 10.
• В 1982-м году Сара Лихтенштейн изучила несколько десятков экспериментов, проведенных десятками различных исследователей, и сделала очень интересный вывод о том, что люди сверхуверены в себе и своих оценках (даже эксперты в своих областях) и поэтому при оценке рисков постоянно дают неправильные границы для тех или иных событий, явлений, процессов или объектов. Они сужают границы и не считают нужным пересматривать их, опираясь в дальнейшем на неверные предпосылки.

Я привел небольшой обзор когнитивных искажений, которые допускают люди, которым по должности или позиции в обществе положено оценивать те или иные риски. Именно эти люди часто недооценивают риски кибербезопасности и тому есть множество причин. Они могут быть  сверхуверенны в себе. Они могут переоценивать предсказуемость прошлого и поэтому недооценивать риски будущего. Они могут быть зациклены на одних рисках (например, ядерный удар или бактереологическое оружение) и совершенно недооценивать другие. Они могут не помнить случаев массового ущерба от кибернападений и поэтому считать их несущественными и в будущем. Их мнение может быть искажено фильмами о добрых хакерах, спасающих мир от проделок злых людей и плохих корпораций (вспомните фильм "Хакеры"). Да мало ли психологических искажений, почему люди, заседающие в Совете по оборонной и внешней политике или Совете Безопасности или Аналитическом центре при Президенте РФ или в ФСБ могут принимать неверные решения относительно рисков кибербезопасности. Главное, что люди скорее всего не осведомлены о когнитивной психологии и о том, почему и как они принимают решения в условиях отсутствия хоть какой-либо значимой статистики по киберрискам. И решить эту проблему можно не столько путем включения в эти советы экспертов по кибербезопасности (они там есть, на самом деле, но очень уж однобокие, на мой взгляд), сколько включением специалистов по когнитивной психологии.

Кстати, если спуститься с высот национальной безопасности на грешную землю, то ровно те же самые проблемы существуют и в более приближенных к нам направлениях деятельности специалиста по кибербезопасности. Например, при моделировании угроз. Мы недооцениваем одни опасности и переоцениваем другие. В условиях отсутствия адекватной статистики (или ее быстрого устаревания) мы опираемся на собственные суждения и попадаем в описанные выше ловушки когнитивных искажений, что и приводит к тому, что мы постоянно сталкиваемся с успешными атаками хакеров на наши активы.

ЗЫ. Кому интересно погрузиться в тему когнитивной психологии, могу порекомендовать книгу Канемана "Думай медленно... Решай быстро" (переведена на русский язык), книгу Канемана, Словика и Тверски "Принятие решений в неопределенности", а также статьи Элиезера Юдковского (вообще он специализируется на ИИ, но немало посвятил и когнитивным искажениям).