Занимательная нумерология ИБ или как манипулировать статистикой

В курсе по измерению ИБ есть у меня раздел, который называется "Как врать с помощью цифр ИБ", название которого является аллюзией на известное высказывание Дизраэли, популяризованное Марком Твеном "Есть три вида лжи: ложь, наглая ложь и статистика". В этом разделе я привожу несколько манипуляций, которые позволяют сформировать определенное мнение относительно демонстрируемых цифр, имеющих отношение к ИБ.

Один из примеров касается понятия "среднеестатистическое". Большинство под этим термином понимает "среднее арифметическое", которым многие ИБ-компании и консультанты манипулируют. Например, вы встречаете в каком-нибудь отчете тезис, что средняя сумма инцидента ИБ составляет 11 миллионов рублей (цифра взята с потолка). Авторы отчета умалчивают, что они имели ввиду под средним, но чаще всего они, недолго думают, просто делят сумму по всем инцидентам на число инцидентов. Является ли это действительно средним? Увы. В данной ситуации средним должна быть медиана - именно она наиболее точно показывает среднестатическую компанию. Давайте проиллюстрирую. Представим, что у нас 10 компаний сообщили об инцидентах ИБ. У 9 компаний размер ущерба составил 1 миллион рублей, а у десятой - 100 миллионов рублей. Среднее арифметическое будет равно 10.9 миллионам, а вот медиана - одному миллиону. И именно медиана отражает реальную картину с размером ущерба (только если у всех ущерб одинаковый, то медиана будет равна среднему арифметическому).

Другой пример "манипуляции" (цифры-то все верные), изменение размерности графика. На примере ниже показан именно такой случай. Достаточно всего лишь изменить размер по оси ординат (Y) и у вас сразу меняется отношение к цифрам - вы начинаете думать, что у вас колоссальный рост атак произошел за месяц, хотя на самом деле это не так.

К чему этот экскурс в забавную нумерологию ИБ? Просто я посмотрел пресс-конференцию замдиректора НКЦКИ г-на Мурашова, который рассказал о 4 с лишним миллиардах кибератак, направленных против Российской Федерации. Так как меня всегда смущало определение, которое используется ФСБ применительно к "атаке" и "инциденту", то я просто решил визуализировать цифры из интервью официальных лиц, которые звучат последние несколько лет. Господа Патрушев, Бортников, Путин и Мурашов каждый год (исключая 2017-й) озвучивали число атак, направленных против России. Выглядит это вот таким образом:

Отмечу, что тут нет "среднего". И размерностью никто не играл. И дело даже не в трактовке термина "атака" (вон, Лаборатория Касперского под атакой понимает просто срабатывание своего средства защиты). Тут иная манипуляция. При сравнении чего бы-то ни было с течение времени очень важно соблюсти неизменность объекта измерения. Было у меня 100 компьютеров, атаки на которые я мониторю. 100 должно быть и дальше. Иначе возникают вопросы. За два года мы видим колоссальный рост числа атак (на 2 порядка). С чем это связано? Стало действительно больше атак? Поменялось определение атаки? Мы стали лучше ловить? Увеличилось число контролируемых объектов? В случае с цифрами НКЦКИ вероятно имеют место все факторы сразу, но хотелось бы (лично мне, я понимаю, что журналистам в целом пофиг, а именно на них и направлены данные цифры) видеть методологию расчета. А то получится как у Лаборатории Касперского - срабатывание антивируса считается атакой. А может я пентест проводил? Или сканер запустил? Это тоже считается атакой?

И последняя манипуляция цифрами. "Ведомости", по отчету Лаборатории Касперского,  напечатали статью, согласно которой хакерским атакам подверглась половина компьютеров российской промышленности. Все в панике и бегут срочно покупать средства защиты информации. Специалисты по ИБ справедливо критикуют эти цифры, которые не отражают действительности. А все дело в грамотном пиаре и нежелании журналистов разбираться в подоплеке цифр. Ведь ЛК прямо пишет, что атакованными она считает только то есть компьютеры, на которых сработали их средства защиты. При этом число таких инсталляций она не сообщает. Что в итоге? Срабатывание 5 миллионов антивирусов на 10 миллионах компьютеров - это половина! Срабатывание 1 антивируса на 2 компьютерах - это тоже половина! Бинго! А в материале "Ведомостей" звучит устрашающе и руководство компаний начинает задумываться о своей безопасности. А после пресс-конференции Мурашова у всех уже не возникает сомнений, что Россия в круге киберврагов и надо усиливать кибербезопасность страны и подключаться к ГосСОПКЕ.

Что в итоге? Есть цифры. И есть умение ими пользоваться и умение их читать. И надо понимать, что у тех, кто показывает цифры есть разные задачи, которые могут отличаться от задач читателей этих цифр. Если, читая разные отчеты, держать это в голове, воспринимать многие цифры будет гораздо проще :-)