18.05.2011

Позитивный ROI в проект по ИБ. Реально ли?

Несколько лет назад я прочитал об одном методе оценки успешности инвестиций (ROI) в проекты по ИБ. Но т.к. я скептически относился вообще к ROI в области ИБ, то тогда не особо глубоко внимал в этот способ. Но тут недавно я столкнулся с примером его успешного применения и поэтому решил вновь вернуться к нему. Суть "проста" - использовать метод Монте-Карло.

Метод Монте-Карло появился в конце 40-х годов, когда Станислав Улам решил применять для задач, в которых необходимо было оценивать вероятность успешного исхода того или иного события, не комбинаторику, а просто большое (или очень большое) количество экспериментов, которые и позволят, подсчитав удачное число исходов опытов, оценить вероятность успеха. Улам же предложил использовать для метода Монте-Карло компьютер.

Собственно метод Монте-Карло не дает вам 100%-ую точность. Но в ряде случаев она и не нужна.Есть ряд задач, и оценка позитивного ROI относится к ним, когда их сложность, т.е. число измерений, которые надо осуществить, чтобы получить точный ответ, может расти экспоненциально. В таких случаях можно пожертвовать точностью и найти менее точный ответ, но все равно дающий точность выше 50%.

Собственно в нашем случае, у нас есть выгоды и затраты от проекта по ИБ. Точных цифр мы не знаем и можем только гадать о том, что скрывается за этими неопределенными переменными. Поэтому мы подставляем под эти переменные интервалы возможных значений и моделируем сотни или тысячи возможных сценариев. Результатом станет набор различных сценариев с различными результатами от реализации оцениваемого проекта. Например, может оказаться так, что в 15% случаев проект будет убыточен, в 54% - доходен, а в 1.6% вообще может привести к краху предприятия (под крахом подразумевается убыток в сумме равной обороту всего предприятия). Дальше остается только принимать решение, но принимать уже основываясь на математически выверенных результатах, а не на экспертной оценке.

Конечно, не все так просто и от применения метода Монте-Карло (через тот же Excel) мы не сразу научимся оценивать вероятности позитивного завершения того или иного проекта. У нас в любом случае остается задача оценки затрат и выгод. Одним из решений такой задачи может служить упомянутый мной ранее метод TEI. Но он не единственный. Как-нибудь дальше я опять коснусь этой темы.

38 коммент.:

Алексей Волков комментирует...

Алексей, я пацтулом :))))))) оценка вероятности результата путем наблюдения за большим количеством экспериментов применимо к элементарным операциям (орел-решка) ))) Хотя для России это иногда актуально: например, сел премьер в Ладу Гранту - заведет или нет? :)) Сдаст интегратор проект вовремя или нет - тоже, наверное, только в России :))) А вот относительно прибыльности/убыточности - это вообще - ЖЕСТЬ!!!! :)))))))

Алексей Волков комментирует...

Бррррр... :) Я к тому, что использование методов оценки вероятности должно использоваться для событий, которые к теории вероятностей применимы. Ну конечно, как раз прибыльность/убыточность - события на старте равновероятные :)))

Алексей Волков комментирует...

Хотя даже если предположить, что ИБ проект относится к теории вероятности, я полагаю, исследовав очень большое число экспериментов мы придем к выводу, что лучше вообще ничего не начинать :)

Алексей Лукацкий комментирует...

Какой мощный пессимизм. Когда авторы метода стали использовать его при разработке водородной бомбы, ты бы тоже сказал, что максимум на что он способен, определить - бабахнет или нет ;-)

Метод Монте-Карло также является ключевым в оценке рисков. Так что не пессимсть ;-)

Евгений комментирует...

Из описания непонятно о каком множестве экспериментов при оценке проекта по ИБ в конкретной организации идет речь. Обобщение данных по множеству проектов в других организациях?

Я думаю ключевая фраза в этом смысле - "...мы подставляем под эти переменные интервалы возможных значений..."
Пока интервалы этих значений будут определяться экспертным путем :)

Алексей Лукацкий комментирует...

Так я и написал, что доходы и расходы надо просчитать заранее. Но в том то и преимущество, что тебе нужны не точные цифры, а именно интервалы. Это легче.

Выложу на следующей неделе реальный пример.

Алексей Волков комментирует...

Пого-пого-погодите :)

Я согласен с тем, что в оценке рисков он является ключевым. НО при этом как эти риски формулируются? Нет у чувака антивирусника на компе. С какой вероятность произойдет заражение его машины? Или есть дыра в заборе. С какой вероятность произойдет нарушение периметра? Применительно к этому случаю Есть проект. С какой вероятностью он принесет прибыль? Ха! Да хрен знает! Предыдущие проекты реализовывались другими компаниями, другими ресурсами и другими людьми и на других условиях! Для того, чтобы применять вероятностные оценки, необходимо чтобы ВСЕ факторы, воздействующие на объект, были статичны: те же люди, та же компания, те же условия. В противном случае каждый новый эксперимент будет происходить в разных условиях, и потому для вероятностной оценки по МК он будет непригоден. По крайней мере, так говорит учебник по теоверу ;)

Евгений Родыгин комментирует...

Зачинается "следуя стопами Лукацкого-2" на банкире...
Выражаю сдержанный пессимизм и привожу аналогию с валютным рынком аля форекс...
Есть технический анализ фундаментальный и интуиция помноженная на опыт и еще черт знает что.
Так вот только на техническом анализе выезжать не получится. Алексей про это же говорит...
Но у нас в РФ очень скептическое отношение к любого рода количественным показателям...
На том же банкире описывал как у нас вводятся новые проекты...
При этом посмотреть на грушу с разных сторон всегда полезно...
Тогда можно на стол класть и рыбку и мясцо и птичку и яичку...

Александр Ширманов комментирует...

Вот пример ROI для ИБ продукта:
http://www.devbusiness.ru/mkozloff/2011/03/03/vgate-roi-calculator/

Евгений Родыгин комментирует...

vGate - отличная штука!

malotavr комментирует...
Этот комментарий был удален автором.
malotavr комментирует...

Метод Монте-Карло - просто численный метод оценки математического ожидания случайной величины. Обязательное условие его применения - знание функции распределения этой случайной величины.

А эту функцию распределения в случае ROI мы и не знаем ;)

Алексей Волков комментирует...

malotavr +1 :) И ее теоретически можно бы и вычислить, но слишком много переменных - боюсь, даже Перельман с ума сойдет :)

securityinform комментирует...

С убытками всё понятно, но как оценивать прибыли от ИБ-проекта? Где об этом можно почитать?

Алексей Лукацкий комментирует...

Многие считают, что в данном случае распределение равномерное ;-)

Алексей Лукацкий комментирует...

securityinform: А все зависит от конкретного проекта ;-)

Алексей Лукацкий комментирует...

А вот рекламы каких-то продуктов не нужно ;-)

Алексей Лукацкий комментирует...

Алексею Волкову: Метод Монте-Карло и дает тебе распределение вероятностей. Проект будет выгод в таком-то количестве случаев; убыточен в таком-то и т.д. А дальше ты сам принимаешь решение. Если у тебя соотношение 20/80 в пользу выигрыша, то это лучше, чем 50/50 или даже 80/20.

Евгений комментирует...

malotavr: "...знание функции распределения этой случайной величины"

Вот я и говорю, что может надежда на "Обобщение данных по множеству проектов в других организациях" когда-нибудь даст возможность вывести эту функцию распределения.

Пока же даю свою экспертную оценку - по проектам ИБ применяем функцию стандартного нормального распределения, считаем по ней. Кто не согласен, пусть оспорит и приведет аргументы против :)))

Алексей Т. комментирует...

ВАУ!!!! Алексей занялся математикой! :-))))) Когда-то давно я тщетно пытался применить ХОТЬ какой-нибудь математический аппарат к ХОТЬ какому-нибудь процессу обеспечения ИБ, кроме сложения, вычитания, умножения и деления ничего не применялось.
Сделал однозначный вывод - все, что создано руками и головами человека, невозможно просчитать, везде субъективные оценки экспертов. Поздравляю с научным открытием!

malotavr комментирует...

> Многие считают, что в данном случае распределение равномерное ;-)

Не-не-не-не-не :)

Нам метод Монте-Кароло хорошо на военной кафедре иллюстрировали. Шесть штурмовиков атакуют позиции трех ЗРК. Каждый штуровик случайным образом выбирает, какую из трех целей атаковать, каждый ЗРК случайным образом выбирает, какую из шести целей атаковать. Для каждой пары атакующий-цель есть своя вероятность уничтожения цели, каждый атакует только выбранную цель. Требуется оценить, сколько штурмовиков и ЗРК переживут атаку.

Упрощение колоссальное, но даже в этом слувае формулу мат. ожидания фиг выведешь - нужно учесть 9 случайных факторов. Но если ты переиграешь этот сценарий 10000 раз, принимая решение за каждый объект бросанием кубика, то ты получишь примерное представление о наиболее ожидаемом исходе.

Чтобы применять этот метод для оценки ROI, тебе сперва нужно точно так жевыделить все существвенные случайные факторы, влияющие на исход проекта, и только тогда ты сможешь мделировать исходы методом Монте-Карло. А выделение случайных факторов риска для проекта - это 90% регшения задачи ;)

Turkish комментирует...

посмотрел Вики: "Показатель ROI является отношением суммы прибыли или убытков к сумме инвестиций.".
С инвестициями всё понятно - откуда они берутся и как их считать.
А вот с прибылью уже не всё понятно: каким образом вы собираетесь нематериальное состояние объекта (состояние защищенности компании) перевести в конкретные финансовые показатели? Да еще и так, чтобы ни у кого не возникло сомнений, что это и есть прибыль?
Думаю, что когда будет ответ на этот вопрос, тогда уже можно будет рассуждать как именно лучше считать ROI: экспертной оценкой, методом Монте-Карло, вызыванием духов в полнолуние или еще чем.

Алексей Волков комментирует...

Любой метод статанализа можно применить к любой проблемной области. Ну вот например проспал я на работу вчера - давайте по статистике посмотрим, просплю я завтра или нет? Но вот в примере, когда у соседа - проект по ПДн удачно сложился, у другого - тоже, а третий оказался недоволен, хотя вроде сделано все то же самое. Давайте посчитаем по статистике, как оно будет у меня?

Дело в том, что в самой величине слишком много субъективизма. Я бы даже сказал - один субъективизм, учитывая то, о чем коллеги говорят - отсутствие сколь-нибудь пригодной методики расчета прибыльности.

А так - статистику считать можно - проблемы-то какие? :)

Евгений Родыгин комментирует...

Иногда при обсуждениях или читая некий материал ловлю себя на мысли, что включен "магазин на диване"...
Выглядит примерно так:
- стиральная машина с технологией super nano vatko spp7 и diryve tpp6
Ощущение что это нечто технологичное... а на поверку это пластмассовая ручка с резинкой...
Ореол научности и технологичности добавляют всякими крутыми сокращениями...

Алексей Волков комментирует...

Евгению: угу, за примерами и ходить далеко не надо: вон - "облачные сервисы" ;)

Алексей Лукацкий комментирует...

Алексею Т.: А я по образованию инженер-математик ;-) И насчет однозначности вывода я не так категоричен ;-)

Алексей Т. комментирует...

Я все понял! Алексей, судя по всему, решил опять "сесть за кандидатскую" :-))) Судя по сплетням, два раза уже пытался и оба раза ссорился с руководителями....

2 А.Волков - статистика статистикой, посчитать можно все что угодно, конечно для нас важен процент Ваших опозданий :-), но речь идет о предсказании и оценке, здесь не чистая статистика, а ее применение и прогнозирование. Глупости, в общем.

Алексей Т. комментирует...

И чтобы никто не считал мои комментарии оскорбительными: у меня тоже был опыт научных исследований, попытки сесть за кандидатские - глупости это все, надо делами заниматься, а не подстраиваться под чьи-то теории. :-)

Алексей Т. комментирует...

И еще самое главное - НАУКИ в нашей стране в области ИБ уже практически нет, что не может не огорчать...

Алексей Лукацкий комментирует...

Turkish: Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров. Тут можно искать выгоду - снижение числа простоев сети, обеспечение доступа партнеров к вашей сети и, как следствие, снижение времени на осуществление сделок/транзакций, рост числа сделок и т.д.

Алексей Лукацкий комментирует...

Я давно от идеи технисеской кандидатской отказался. Жду когда по совокупности дадут ;-) Или диссер по экономике сяду писать. Хотя скорее книжку, чем диссер - это полезнее ;-)

Евгений Родыгин комментирует...

Диссер... книжку... Я вот два раза диссер начинал, потом посмотрел что в диссерах 80х писали решения важных задач которые волнами у нас нерешаются и забил...

Открывай фонд имени Лукацкого !!!

Алексей Волков комментирует...

Алексею Т.: вообще-то я об этом (глупости) и говорю, может, как-то непонятно, но вроде даже фразы те же :)

Алексей Волков комментирует...

Алексею Лукацкому: я всегда мечтал написать книжку - возьмите в соавторы, а? Готов делать всю черновуху :)

Евгений Родыгин комментирует...

Алексей !!!
Так он Вам сейчас и поручит раздел про ROI :)))

Алексей Лукацкий комментирует...

Алексею Волкову: Просто книгу или книгу о чем-то?

Turkish комментирует...

> Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров
Хороший пример, а главное жЫзненный ;)
Но я бы хотел увидеть выгоды в более приземленных, но не менее "крупных" проектах - защита персональных данных; управление доступом и регистрацией в АС/АБС; мониторинг состояния АС/АБС и пр.

Алексей Волков комментирует...

Я не думал о конкретике потому как нет опыта формулирования тем для такого плана изданий, потому и говорю о соавторстве и черновухе :)