Как измерить систему контроля конфигураций?

В ноябре я выступал на InfoSecurity Russia с докладом об экономической эффективности ИБ. Во время сессии вопросов и ответов Женя Климов спросил меня, как оценивать сканеры безопасности? Тогда я четко ответить не смог, а сейчас смог подготовить некоторый ответ. Возьмем, к примеру, систему MaxPatrol от Positive Technologies. Это уже не простой сканер уязвимостей - это полноценная система мониторинга уровня ИБ, включающая в себя помимо инструмента поиска дыр еще и функции compliance, change management и аудит и т.п. Поэтому оценивать такие продукты надо комплексно, учитывая вклад системы в общее дело. Одна из решаемых такой системой мониторинга задач - контроль изменений. Как оценить этот процесс? Недавно я участвовал в проекте с нашей системой CiscoWorks Network Compliance Manager и там использовались следующие метрики:

• число авторизованных изменений в неделю
• число актуальных изменений, сделанных за неделю
• число несанкционированных изменений, сделанных в обход утвержденного процесса внесений изменений (в среднем - 30-50%; у лидеров - менее 1% от общего числа изменений).
• показатель (коэффициент) неудачных изменений, вычисляемый как отношение несанкционированных изменений к актуальным.
• число срочных изменений
• процент времени, затрачиваемого на незапланированную работу (тут важно учитывать также время на изменение)
• число необъяснимых изменений (вообще, это основной индикатор уровня проблем в данной сфере).

Процент времени, затрачиваемого на незапланированную работу, очень показателен. Среднестатистическая компания тратит на такую работу около 35-45% всего времени. А это приводит к срыву сроков по запуску проектов, переработкам, проблемам с невыполнением требований нормативных актов, неконтролируемым сбоям и т.д. Лидеры в данном направлении тратят не более 5% времени на незапланированные изменения. Вычисляется этот показатель по простой формуле - произведение числа изменений на число неавторизованных изменений на среднее время изменения.