Насколько реальна экспертная оценка в ИБ

Экспертная оценка в наших нормативных документах по ИБ заявлена как основной (а зачастую и единственный) метод определения угроз информационным системам. Да и в других процессах ИБ он играет непоследнюю роль. Но у данного метода помимо единственного преимущества (простота реализации) есть и множество существенных недостатков:

• возможность влияния на экспертное мнение заинтересованными лицами
• при оценке случайных событий принцип "здравого смысла" неприменим
• отсутствие достаточного количества экспертов
• высокая зависимость от квалификации эксперта
• психология восприятия риска
• и т.п.

Как  повысить эффективность экспертной оценки? Как придать значимость ее результатам? Ответ на эти вопрос дан давно - метод Дельфи. Суть его проста: если опросить людей, обладающих компетенцией в интересующем нас вопросе, их усредненная оценка обычно будет точна более чем на 80%. Ключевых моментов в этом методе два:

• мы не должны ограничиваться одним-двумя экспертами - их должно быть не менее трех, а еще лучше 5-7. Только в этом случае можно говорить об эффективности метода. Один человек может ошибаться; вероятность ее для группы из пяти человек гораздо ниже.
• мы должны привлекать в группу людей, действительно обладающих компетенцией в анализируемом вопросе. Никаких свадебных генералов, включаемых в группу за их заслуги - только реально квалифицированные эксперты.

Как показывает опыт, даже при сильном разбросе оценок у нескольких экспертов, итоговое значение будет очень близко к реальному положению дел. Если же провести второй раунд оценки, предварительно ознакомив экспертов с результатам первого, то результативность метода Дельфи становится еще выше.

Существует и модификация метода, часто используемая тогда, когда эксперты не могут подкрепить свое мнение и оценки серьезными аргументами. В этой модификации берется средняя оценка после отбрасывания крайних, граничных значений.

В качестве примера возьмем вопрос о вероятности возникновения угрозы DDoS-атак на некий Интернет-сервис. В качестве экспертов пригласим  сотрудников ИТ-подразделения, службы ИБ, подразделения управления рисками и парочку представителей бизнес-подразделений. Результаты работы метода Дельфи занесены в таблицу (после слэша показана оценка для модифицированного метода Дельфи с отбрасыванием крайних значений):

Из данного примера мы сразу видим все преимущества метода Дельфи. Он действительно нивелирует волюнтаризм экспертов и показывает более менее реальную оценку ситуации. Если бы мы опирались только на мнение одного эксперта, мы могли либо занизить, либо завысить реальную оценку. В данном же методе мы приходим к реальной цифре.

Однако на практике данный метод используется не так уж и часто. Все-таки он требует определенной дисциплины и умения работать в команде, что не так уж и часто встречается. Гораздо проще опираться на мнение одного единственного человека (как правило себя), полностью игнорируя мнения окружающих экспертов. Отсюда и многие пробелы/проблемы, регулярно выявляемые в области ИБ.