12.9.11

ROI для IPS

На позапрошлой неделе в FB с двумя бывшими коллегами из Информзащиты (оба MBA) спорили на тему - можно ли посчитать ROI для ИБ. Люди, прошедшие курсы MBA заявили, что все это фигня. Притянуть можно все угодно, хоть ROI, хоть WACC (хотя я недавно наткнулся и на упоминание использования WACC для ИБ). И даже если кто-нибудь такой расчет "съест", то финансистам это лучше не показывать - засмеют. Другая последовавшая рекомендация - ждать, когда иностранные эксперты придумают что-то внятное по ROI в ИБ.

И вот, разгребая очередную порцию исследований по экономике ИБ, наткнулся на исследование известной исследовательской компании Forrester, которая применила свою методику Total Economic Impact (TEI) для проекта по ИБ для одной американской компании. Результаты, которые устроили руководство заказчика, таковы:
  • ROI - 142%
  • Период возврата (payback period) - 5 месяцев
  • Затраты - 291 тысяча долларов США. Включали в себя стоимость выбора и оценки вендоров IPS и процесса планирования внедрения IPS, стоимость железа, софта и поддержки, а также стоимость управления приобретенным решением.
  • Экономия и полученные преимущества - 871 тысяч долларов США. Экономия была достигнута за счет снижения затрат на звонках в help desk по поводу атак и вредоносных программ, отказа от наема нового сотрудника в help desk, отказа от ручного обновления предыдущей системы защиты и "лечения" атакованных систем, а также за счет экономии на сотруднике, который занимался бы управлением сигнатурами, политиками и сигналами тревоги.
  • NPV (прибыль от инвестиций) - 348 тысяч долларов США.
В процессе анализа консультанты Forrester выявили и ряд некалькулируемых преимуществ - от улучшения производительности/доступности системы и очистки канала от всякого мусора до защиты персональных данных и выполнение требований законодательства.

Дальше у пытливого читателя может возникнуть вопрос, а почему NPV 335 тысяч, если разница между затратами и выгодами 580 тысяч долларов США. Просто в дело вступил четвертый элемент методики TEI - риски. Они компенсируют первоначальные оценки получаемых преимуществ, что позволяет более точно оценивать итоговые результаты. В данном случае специалисты Forrester оценили значение этого показатели в 15%, что и привело к итоговому значению в 348 тысяч долларов (для облегчения я исключил из демонстрации расчета понятие временной стоимости денег).

ЗЫ. К слову сказать, аналогичную методику используем и мы в Cisco. Я о ней уже писал.

16 коммент.:

Vgninyuk@gmail.com комментирует...

Приведенные результаты Forrester получил на этапе разработки проекта или уже постфактум, посредством реверсивного анализа?

Алексей Лукацкий комментирует...

Постфактум, судя по приведенным конкретным цифрам и описанию бизнес-кейса. Но тут же дело не в конкретных цифрах до доллара, а в подходе и статьях расходов и доходов. А дальше уже можно прикинуть для себя и в начале проекта

Vgninyuk@gmail.com комментирует...

Констатировать реакцию системы и предсказать далеко не одно и то же.

Бенчмаркинг штука хорошая, но в ИБ слабо применимая:
• очень сложно найти достоверные результаты для мало-мальски схожих компаний.
• даже если организации, работая в одном сегменте, используют схожие бизнес-процессы и технологии остается неопределенность связанная с человеческим фактором (культура, осведомленность, процессы управления и т.п.), сохраняя за собой ключевую роль в системе ИБ…

Алексей Лукацкий комментирует...

А причем тут бенчмаркинг? Тут речь о методологии, которая позволяет, подставив свои исходные данные, получить результат.

Евгений комментирует...

Помнится в давно позабытых мной лекциях по высшей математике при моделировании всегда исследовалась сходимость и устойчивость решения.

Так и здесь, можно конечно подставить свои исходные данные и даже получить некоторую цифру. Но вот какова ее достоверность для нашей организации (в процентах)?
Зависимость изменения этой цифры от исходных данных (и скорость этого изменения)?

Без исследований этих вопросов, можно с тем же успехом предложить любую формулу и пойти защищать ее у руководства :).

Правда здесь она типа подкрепляется "авторитетом" Forrester...

doom комментирует...

Кстати, такие оценки в российских реалиях упираются в то, что нанять 10 специалистов Help Desk это дешевле, чем покупать какое-то средство, которое не позволит их нанимать (на период, эдак, лет в 5-10). И простой пользователя тоже не так дорог (опять же при лобовой оценке по размеру з/п).

Поэтому то, что в западных отчетах выглядит красиво и убедительно - у нас уже скорее заставляет задуматься, а надо ли вообще с этим связываться :)

securityinform комментирует...

Согласен с последним комментарием. У нас будут совсем другие цифры из-за, скажем так, национальных особенностей.

Vgninyuk@gmail.com комментирует...

Факт, что цифры будут разные - вопросов не вызывает.

Главный вопрос - как цифры получить и какова достоверность полученного результата. Как узнать сколько раз вас будут атаковать, сколько в тот момент будет стоить актив, атака пройдет или нет?

Vgninyuk@gmail.com комментирует...

Алексею Лукацкому: Бенчмаркинг я упомянул, как (кажущуюся) потенциальную возможность воспользоваться данными проведенного Forrester-ом исследования, особенно принимая во внимание тот факт, что исследование проводилось постфактум.

Андрей Абрамов комментирует...

Вспоминается фильм "Укрощение строптивого", когда финансист главного героя предлагал супермашину для отжима винограда и говорил, что она заменяет много людей, на что Челентано сказал: "А на что они будут жить?". К чему это я?
Не все измеряется экономической выгодой, выраженной в цифрах. Можно ли измерить то, о чем написано выше?
А это очень значимый фактор, который действует на большом промежутке времени (трудно связать причину и следствие).
Поэтому вычисления, расчеты нужно проводить в дополнении к комплексному подходу, учитывающему множество факторов.

Алексей Лукацкий комментирует...

doom: Я про это не раз уже писал. То, что хорошо играет ТАМ, не работает тут. И основная причина - разница в уровне зарплат.

Владимиру: Статистика в данной методике вообще роли не играет. Безусловно, наличие таких цифр, особенно с цифрами ущерба от каждой атаки, помогает, но это не совсем ROI и не совсем TEI - это методика ALE. Ее тоже можно считать, но опять же все зависит от исходных данных. Как когда-то на конфе в Москве говорил Антон Чувакин - либо есть модели, но нет исходных данных, либо есть исходные данные, но нет моделей. Он этом примерял к оценке рисков, но идея таже и в финансовой оценке.

А что касается бенчмаркинга, то он вообще большого смысла не имеет. И именно по причине разности "схожих" компаний.

Андрею: Не все конечно. Но... пост касался именно финансовой оценки. Я привел как пример. То, что нужно учитывать множество факторов - это безусловно. Но если я буду к каждому такому посту писать по disclaimer'у, то у меня основной объем блога будет состоять именно из дисклеймеров ;-)

Vgninyuk@gmail.com комментирует...

Алексей, не могу похвастать, что хорошо знаком с TEI, но как я понял методология была создана для оценки влияния на бизнес ИТ-решений и тем самым помогать BDM-ам принимать решения осознано. Другими словами это не специализированная ИБ-шная методология.

ROI призван показать на сколько эффективна инвестиция в то или иное решение. Если мы говорим о ИБ-решениях, то, по крайней мере я, воспринимаю их Benefits через призму ИБ-ных метрик и одна из них может быть ALE (или точнее величина обратная к ALE). Почему нет? Где я ошибаюсь?

doom комментирует...

2 Владимир Гнинюк:
Некоторые цифры получить несложно.
Есть статистика, например, по числу обращений в Help Desk по поводу забытых паролей (конечно, это статистика - но с большой вероятностью цифры в вашей организации будут схожими), есть статистика как часто предпринимаются попытки атак на интернет узлы, есть статистика по объемам нежелательной корреспонденции, вредоносных вложений, вредоносных сайтов в интернете и т.п.
В общем, информации по базовым вещам много - тут сложнее со статистикой по эффективности тех или иных контрмер :)

Андрей Абрамов комментирует...

Согласен с Вами, Алексей! Просто в жизни происходит именно так как пишете Вы. Большинство работодателей даже не задают себе вопрос про "на что будут жить сокращенные специалисты". Может стоит в любые расчеты, касающиеся экономической эффективности производства или бизнеса вносить социально-человеческий фактор, как один из самых важных наравне с показателями прибыли. Только жадность бизнесменов не позволяет им этого сделать... И нигде об этом не упоминается. Вот я о чем.

doom комментирует...

Ох уж эта пресловутая социальная ответственность бизнеса...
Кормить дармоедов не надо - это снижает конкурентоспособность нашей продукции.
А высвободившимся трудовым ресурсам всегда можно найти грамотное применение - уж у нас-то есть куда развивать любую отрасль.

В свое время пытались запрещать конвеерное производство, взывая к социальной ответственности - ну и где бы мы были без современных автоматизированных производственных линий?

Андрей Абрамов комментирует...

Кормить дармоедов точно не стоит...
А бизнес функционирует только в социуме и для него родного. И крайности всегда опасны...