Pages - Menu

Страницы

18.5.11

Позитивный ROI в проект по ИБ. Реально ли?

Несколько лет назад я прочитал об одном методе оценки успешности инвестиций (ROI) в проекты по ИБ. Но т.к. я скептически относился вообще к ROI в области ИБ, то тогда не особо глубоко внимал в этот способ. Но тут недавно я столкнулся с примером его успешного применения и поэтому решил вновь вернуться к нему. Суть "проста" - использовать метод Монте-Карло.

Метод Монте-Карло появился в конце 40-х годов, когда Станислав Улам решил применять для задач, в которых необходимо было оценивать вероятность успешного исхода того или иного события, не комбинаторику, а просто большое (или очень большое) количество экспериментов, которые и позволят, подсчитав удачное число исходов опытов, оценить вероятность успеха. Улам же предложил использовать для метода Монте-Карло компьютер.

Собственно метод Монте-Карло не дает вам 100%-ую точность. Но в ряде случаев она и не нужна.Есть ряд задач, и оценка позитивного ROI относится к ним, когда их сложность, т.е. число измерений, которые надо осуществить, чтобы получить точный ответ, может расти экспоненциально. В таких случаях можно пожертвовать точностью и найти менее точный ответ, но все равно дающий точность выше 50%.

Собственно в нашем случае, у нас есть выгоды и затраты от проекта по ИБ. Точных цифр мы не знаем и можем только гадать о том, что скрывается за этими неопределенными переменными. Поэтому мы подставляем под эти переменные интервалы возможных значений и моделируем сотни или тысячи возможных сценариев. Результатом станет набор различных сценариев с различными результатами от реализации оцениваемого проекта. Например, может оказаться так, что в 15% случаев проект будет убыточен, в 54% - доходен, а в 1.6% вообще может привести к краху предприятия (под крахом подразумевается убыток в сумме равной обороту всего предприятия). Дальше остается только принимать решение, но принимать уже основываясь на математически выверенных результатах, а не на экспертной оценке.

Конечно, не все так просто и от применения метода Монте-Карло (через тот же Excel) мы не сразу научимся оценивать вероятности позитивного завершения того или иного проекта. У нас в любом случае остается задача оценки затрат и выгод. Одним из решений такой задачи может служить упомянутый мной ранее метод TEI. Но он не единственный. Как-нибудь дальше я опять коснусь этой темы.

38 комментариев:

  1. Алексей, я пацтулом :))))))) оценка вероятности результата путем наблюдения за большим количеством экспериментов применимо к элементарным операциям (орел-решка) ))) Хотя для России это иногда актуально: например, сел премьер в Ладу Гранту - заведет или нет? :)) Сдаст интегратор проект вовремя или нет - тоже, наверное, только в России :))) А вот относительно прибыльности/убыточности - это вообще - ЖЕСТЬ!!!! :)))))))

    ОтветитьУдалить
  2. Бррррр... :) Я к тому, что использование методов оценки вероятности должно использоваться для событий, которые к теории вероятностей применимы. Ну конечно, как раз прибыльность/убыточность - события на старте равновероятные :)))

    ОтветитьУдалить
  3. Хотя даже если предположить, что ИБ проект относится к теории вероятности, я полагаю, исследовав очень большое число экспериментов мы придем к выводу, что лучше вообще ничего не начинать :)

    ОтветитьУдалить
  4. Какой мощный пессимизм. Когда авторы метода стали использовать его при разработке водородной бомбы, ты бы тоже сказал, что максимум на что он способен, определить - бабахнет или нет ;-)

    Метод Монте-Карло также является ключевым в оценке рисков. Так что не пессимсть ;-)

    ОтветитьУдалить
  5. Из описания непонятно о каком множестве экспериментов при оценке проекта по ИБ в конкретной организации идет речь. Обобщение данных по множеству проектов в других организациях?

    Я думаю ключевая фраза в этом смысле - "...мы подставляем под эти переменные интервалы возможных значений..."
    Пока интервалы этих значений будут определяться экспертным путем :)

    ОтветитьУдалить
  6. Так я и написал, что доходы и расходы надо просчитать заранее. Но в том то и преимущество, что тебе нужны не точные цифры, а именно интервалы. Это легче.

    Выложу на следующей неделе реальный пример.

    ОтветитьУдалить
  7. Пого-пого-погодите :)

    Я согласен с тем, что в оценке рисков он является ключевым. НО при этом как эти риски формулируются? Нет у чувака антивирусника на компе. С какой вероятность произойдет заражение его машины? Или есть дыра в заборе. С какой вероятность произойдет нарушение периметра? Применительно к этому случаю Есть проект. С какой вероятностью он принесет прибыль? Ха! Да хрен знает! Предыдущие проекты реализовывались другими компаниями, другими ресурсами и другими людьми и на других условиях! Для того, чтобы применять вероятностные оценки, необходимо чтобы ВСЕ факторы, воздействующие на объект, были статичны: те же люди, та же компания, те же условия. В противном случае каждый новый эксперимент будет происходить в разных условиях, и потому для вероятностной оценки по МК он будет непригоден. По крайней мере, так говорит учебник по теоверу ;)

    ОтветитьУдалить
  8. Зачинается "следуя стопами Лукацкого-2" на банкире...
    Выражаю сдержанный пессимизм и привожу аналогию с валютным рынком аля форекс...
    Есть технический анализ фундаментальный и интуиция помноженная на опыт и еще черт знает что.
    Так вот только на техническом анализе выезжать не получится. Алексей про это же говорит...
    Но у нас в РФ очень скептическое отношение к любого рода количественным показателям...
    На том же банкире описывал как у нас вводятся новые проекты...
    При этом посмотреть на грушу с разных сторон всегда полезно...
    Тогда можно на стол класть и рыбку и мясцо и птичку и яичку...

    ОтветитьУдалить
  9. Вот пример ROI для ИБ продукта:
    http://www.devbusiness.ru/mkozloff/2011/03/03/vgate-roi-calculator/

    ОтветитьУдалить
  10. vGate - отличная штука!

    ОтветитьУдалить
  11. Этот комментарий был удален автором.

    ОтветитьУдалить
  12. Метод Монте-Карло - просто численный метод оценки математического ожидания случайной величины. Обязательное условие его применения - знание функции распределения этой случайной величины.

    А эту функцию распределения в случае ROI мы и не знаем ;)

    ОтветитьУдалить
  13. malotavr +1 :) И ее теоретически можно бы и вычислить, но слишком много переменных - боюсь, даже Перельман с ума сойдет :)

    ОтветитьУдалить
  14. С убытками всё понятно, но как оценивать прибыли от ИБ-проекта? Где об этом можно почитать?

    ОтветитьУдалить
  15. Многие считают, что в данном случае распределение равномерное ;-)

    ОтветитьУдалить
  16. securityinform: А все зависит от конкретного проекта ;-)

    ОтветитьУдалить
  17. А вот рекламы каких-то продуктов не нужно ;-)

    ОтветитьУдалить
  18. Алексею Волкову: Метод Монте-Карло и дает тебе распределение вероятностей. Проект будет выгод в таком-то количестве случаев; убыточен в таком-то и т.д. А дальше ты сам принимаешь решение. Если у тебя соотношение 20/80 в пользу выигрыша, то это лучше, чем 50/50 или даже 80/20.

    ОтветитьУдалить
  19. malotavr: "...знание функции распределения этой случайной величины"

    Вот я и говорю, что может надежда на "Обобщение данных по множеству проектов в других организациях" когда-нибудь даст возможность вывести эту функцию распределения.

    Пока же даю свою экспертную оценку - по проектам ИБ применяем функцию стандартного нормального распределения, считаем по ней. Кто не согласен, пусть оспорит и приведет аргументы против :)))

    ОтветитьУдалить
  20. ВАУ!!!! Алексей занялся математикой! :-))))) Когда-то давно я тщетно пытался применить ХОТЬ какой-нибудь математический аппарат к ХОТЬ какому-нибудь процессу обеспечения ИБ, кроме сложения, вычитания, умножения и деления ничего не применялось.
    Сделал однозначный вывод - все, что создано руками и головами человека, невозможно просчитать, везде субъективные оценки экспертов. Поздравляю с научным открытием!

    ОтветитьУдалить
  21. > Многие считают, что в данном случае распределение равномерное ;-)

    Не-не-не-не-не :)

    Нам метод Монте-Кароло хорошо на военной кафедре иллюстрировали. Шесть штурмовиков атакуют позиции трех ЗРК. Каждый штуровик случайным образом выбирает, какую из трех целей атаковать, каждый ЗРК случайным образом выбирает, какую из шести целей атаковать. Для каждой пары атакующий-цель есть своя вероятность уничтожения цели, каждый атакует только выбранную цель. Требуется оценить, сколько штурмовиков и ЗРК переживут атаку.

    Упрощение колоссальное, но даже в этом слувае формулу мат. ожидания фиг выведешь - нужно учесть 9 случайных факторов. Но если ты переиграешь этот сценарий 10000 раз, принимая решение за каждый объект бросанием кубика, то ты получишь примерное представление о наиболее ожидаемом исходе.

    Чтобы применять этот метод для оценки ROI, тебе сперва нужно точно так жевыделить все существвенные случайные факторы, влияющие на исход проекта, и только тогда ты сможешь мделировать исходы методом Монте-Карло. А выделение случайных факторов риска для проекта - это 90% регшения задачи ;)

    ОтветитьУдалить
  22. посмотрел Вики: "Показатель ROI является отношением суммы прибыли или убытков к сумме инвестиций.".
    С инвестициями всё понятно - откуда они берутся и как их считать.
    А вот с прибылью уже не всё понятно: каким образом вы собираетесь нематериальное состояние объекта (состояние защищенности компании) перевести в конкретные финансовые показатели? Да еще и так, чтобы ни у кого не возникло сомнений, что это и есть прибыль?
    Думаю, что когда будет ответ на этот вопрос, тогда уже можно будет рассуждать как именно лучше считать ROI: экспертной оценкой, методом Монте-Карло, вызыванием духов в полнолуние или еще чем.

    ОтветитьУдалить
  23. Любой метод статанализа можно применить к любой проблемной области. Ну вот например проспал я на работу вчера - давайте по статистике посмотрим, просплю я завтра или нет? Но вот в примере, когда у соседа - проект по ПДн удачно сложился, у другого - тоже, а третий оказался недоволен, хотя вроде сделано все то же самое. Давайте посчитаем по статистике, как оно будет у меня?

    Дело в том, что в самой величине слишком много субъективизма. Я бы даже сказал - один субъективизм, учитывая то, о чем коллеги говорят - отсутствие сколь-нибудь пригодной методики расчета прибыльности.

    А так - статистику считать можно - проблемы-то какие? :)

    ОтветитьУдалить
  24. Иногда при обсуждениях или читая некий материал ловлю себя на мысли, что включен "магазин на диване"...
    Выглядит примерно так:
    - стиральная машина с технологией super nano vatko spp7 и diryve tpp6
    Ощущение что это нечто технологичное... а на поверку это пластмассовая ручка с резинкой...
    Ореол научности и технологичности добавляют всякими крутыми сокращениями...

    ОтветитьУдалить
  25. Евгению: угу, за примерами и ходить далеко не надо: вон - "облачные сервисы" ;)

    ОтветитьУдалить
  26. Алексею Т.: А я по образованию инженер-математик ;-) И насчет однозначности вывода я не так категоричен ;-)

    ОтветитьУдалить
  27. Я все понял! Алексей, судя по всему, решил опять "сесть за кандидатскую" :-))) Судя по сплетням, два раза уже пытался и оба раза ссорился с руководителями....

    2 А.Волков - статистика статистикой, посчитать можно все что угодно, конечно для нас важен процент Ваших опозданий :-), но речь идет о предсказании и оценке, здесь не чистая статистика, а ее применение и прогнозирование. Глупости, в общем.

    ОтветитьУдалить
  28. И чтобы никто не считал мои комментарии оскорбительными: у меня тоже был опыт научных исследований, попытки сесть за кандидатские - глупости это все, надо делами заниматься, а не подстраиваться под чьи-то теории. :-)

    ОтветитьУдалить
  29. И еще самое главное - НАУКИ в нашей стране в области ИБ уже практически нет, что не может не огорчать...

    ОтветитьУдалить
  30. Turkish: Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров. Тут можно искать выгоду - снижение числа простоев сети, обеспечение доступа партнеров к вашей сети и, как следствие, снижение времени на осуществление сделок/транзакций, рост числа сделок и т.д.

    ОтветитьУдалить
  31. Я давно от идеи технисеской кандидатской отказался. Жду когда по совокупности дадут ;-) Или диссер по экономике сяду писать. Хотя скорее книжку, чем диссер - это полезнее ;-)

    ОтветитьУдалить
  32. Диссер... книжку... Я вот два раза диссер начинал, потом посмотрел что в диссерах 80х писали решения важных задач которые волнами у нас нерешаются и забил...

    Открывай фонд имени Лукацкого !!!

    ОтветитьУдалить
  33. Алексею Т.: вообще-то я об этом (глупости) и говорю, может, как-то непонятно, но вроде даже фразы те же :)

    ОтветитьУдалить
  34. Алексею Лукацкому: я всегда мечтал написать книжку - возьмите в соавторы, а? Готов делать всю черновуху :)

    ОтветитьУдалить
  35. Алексей !!!
    Так он Вам сейчас и поручит раздел про ROI :)))

    ОтветитьУдалить
  36. Алексею Волкову: Просто книгу или книгу о чем-то?

    ОтветитьУдалить
  37. > Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров
    Хороший пример, а главное жЫзненный ;)
    Но я бы хотел увидеть выгоды в более приземленных, но не менее "крупных" проектах - защита персональных данных; управление доступом и регистрацией в АС/АБС; мониторинг состояния АС/АБС и пр.

    ОтветитьУдалить
  38. Я не думал о конкретике потому как нет опыта формулирования тем для такого плана изданий, потому и говорю о соавторстве и черновухе :)

    ОтветитьУдалить

Примечание. Отправлять комментарии могут только участники этого блога.