Несколько лет назад я прочитал об одном методе оценки успешности инвестиций (ROI) в проекты по ИБ. Но т.к. я скептически относился вообще к ROI в области ИБ, то тогда не особо глубоко внимал в этот способ. Но тут недавно я столкнулся с примером его успешного применения и поэтому решил вновь вернуться к нему. Суть "проста" - использовать метод Монте-Карло.
Метод Монте-Карло появился в конце 40-х годов, когда Станислав Улам решил применять для задач, в которых необходимо было оценивать вероятность успешного исхода того или иного события, не комбинаторику, а просто большое (или очень большое) количество экспериментов, которые и позволят, подсчитав удачное число исходов опытов, оценить вероятность успеха. Улам же предложил использовать для метода Монте-Карло компьютер.
Собственно метод Монте-Карло не дает вам 100%-ую точность. Но в ряде случаев она и не нужна.Есть ряд задач, и оценка позитивного ROI относится к ним, когда их сложность, т.е. число измерений, которые надо осуществить, чтобы получить точный ответ, может расти экспоненциально. В таких случаях можно пожертвовать точностью и найти менее точный ответ, но все равно дающий точность выше 50%.
Собственно в нашем случае, у нас есть выгоды и затраты от проекта по ИБ. Точных цифр мы не знаем и можем только гадать о том, что скрывается за этими неопределенными переменными. Поэтому мы подставляем под эти переменные интервалы возможных значений и моделируем сотни или тысячи возможных сценариев. Результатом станет набор различных сценариев с различными результатами от реализации оцениваемого проекта. Например, может оказаться так, что в 15% случаев проект будет убыточен, в 54% - доходен, а в 1.6% вообще может привести к краху предприятия (под крахом подразумевается убыток в сумме равной обороту всего предприятия). Дальше остается только принимать решение, но принимать уже основываясь на математически выверенных результатах, а не на экспертной оценке.
Конечно, не все так просто и от применения метода Монте-Карло (через тот же Excel) мы не сразу научимся оценивать вероятности позитивного завершения того или иного проекта. У нас в любом случае остается задача оценки затрат и выгод. Одним из решений такой задачи может служить упомянутый мной ранее метод TEI. Но он не единственный. Как-нибудь дальше я опять коснусь этой темы.
Метод Монте-Карло появился в конце 40-х годов, когда Станислав Улам решил применять для задач, в которых необходимо было оценивать вероятность успешного исхода того или иного события, не комбинаторику, а просто большое (или очень большое) количество экспериментов, которые и позволят, подсчитав удачное число исходов опытов, оценить вероятность успеха. Улам же предложил использовать для метода Монте-Карло компьютер.
Собственно метод Монте-Карло не дает вам 100%-ую точность. Но в ряде случаев она и не нужна.Есть ряд задач, и оценка позитивного ROI относится к ним, когда их сложность, т.е. число измерений, которые надо осуществить, чтобы получить точный ответ, может расти экспоненциально. В таких случаях можно пожертвовать точностью и найти менее точный ответ, но все равно дающий точность выше 50%.
Собственно в нашем случае, у нас есть выгоды и затраты от проекта по ИБ. Точных цифр мы не знаем и можем только гадать о том, что скрывается за этими неопределенными переменными. Поэтому мы подставляем под эти переменные интервалы возможных значений и моделируем сотни или тысячи возможных сценариев. Результатом станет набор различных сценариев с различными результатами от реализации оцениваемого проекта. Например, может оказаться так, что в 15% случаев проект будет убыточен, в 54% - доходен, а в 1.6% вообще может привести к краху предприятия (под крахом подразумевается убыток в сумме равной обороту всего предприятия). Дальше остается только принимать решение, но принимать уже основываясь на математически выверенных результатах, а не на экспертной оценке.
Конечно, не все так просто и от применения метода Монте-Карло (через тот же Excel) мы не сразу научимся оценивать вероятности позитивного завершения того или иного проекта. У нас в любом случае остается задача оценки затрат и выгод. Одним из решений такой задачи может служить упомянутый мной ранее метод TEI. Но он не единственный. Как-нибудь дальше я опять коснусь этой темы.
Алексей, я пацтулом :))))))) оценка вероятности результата путем наблюдения за большим количеством экспериментов применимо к элементарным операциям (орел-решка) ))) Хотя для России это иногда актуально: например, сел премьер в Ладу Гранту - заведет или нет? :)) Сдаст интегратор проект вовремя или нет - тоже, наверное, только в России :))) А вот относительно прибыльности/убыточности - это вообще - ЖЕСТЬ!!!! :)))))))
ОтветитьУдалитьБррррр... :) Я к тому, что использование методов оценки вероятности должно использоваться для событий, которые к теории вероятностей применимы. Ну конечно, как раз прибыльность/убыточность - события на старте равновероятные :)))
ОтветитьУдалитьХотя даже если предположить, что ИБ проект относится к теории вероятности, я полагаю, исследовав очень большое число экспериментов мы придем к выводу, что лучше вообще ничего не начинать :)
ОтветитьУдалитьКакой мощный пессимизм. Когда авторы метода стали использовать его при разработке водородной бомбы, ты бы тоже сказал, что максимум на что он способен, определить - бабахнет или нет ;-)
ОтветитьУдалитьМетод Монте-Карло также является ключевым в оценке рисков. Так что не пессимсть ;-)
Из описания непонятно о каком множестве экспериментов при оценке проекта по ИБ в конкретной организации идет речь. Обобщение данных по множеству проектов в других организациях?
ОтветитьУдалитьЯ думаю ключевая фраза в этом смысле - "...мы подставляем под эти переменные интервалы возможных значений..."
Пока интервалы этих значений будут определяться экспертным путем :)
Так я и написал, что доходы и расходы надо просчитать заранее. Но в том то и преимущество, что тебе нужны не точные цифры, а именно интервалы. Это легче.
ОтветитьУдалитьВыложу на следующей неделе реальный пример.
Пого-пого-погодите :)
ОтветитьУдалитьЯ согласен с тем, что в оценке рисков он является ключевым. НО при этом как эти риски формулируются? Нет у чувака антивирусника на компе. С какой вероятность произойдет заражение его машины? Или есть дыра в заборе. С какой вероятность произойдет нарушение периметра? Применительно к этому случаю Есть проект. С какой вероятностью он принесет прибыль? Ха! Да хрен знает! Предыдущие проекты реализовывались другими компаниями, другими ресурсами и другими людьми и на других условиях! Для того, чтобы применять вероятностные оценки, необходимо чтобы ВСЕ факторы, воздействующие на объект, были статичны: те же люди, та же компания, те же условия. В противном случае каждый новый эксперимент будет происходить в разных условиях, и потому для вероятностной оценки по МК он будет непригоден. По крайней мере, так говорит учебник по теоверу ;)
Зачинается "следуя стопами Лукацкого-2" на банкире...
ОтветитьУдалитьВыражаю сдержанный пессимизм и привожу аналогию с валютным рынком аля форекс...
Есть технический анализ фундаментальный и интуиция помноженная на опыт и еще черт знает что.
Так вот только на техническом анализе выезжать не получится. Алексей про это же говорит...
Но у нас в РФ очень скептическое отношение к любого рода количественным показателям...
На том же банкире описывал как у нас вводятся новые проекты...
При этом посмотреть на грушу с разных сторон всегда полезно...
Тогда можно на стол класть и рыбку и мясцо и птичку и яичку...
Вот пример ROI для ИБ продукта:
ОтветитьУдалитьhttp://www.devbusiness.ru/mkozloff/2011/03/03/vgate-roi-calculator/
vGate - отличная штука!
ОтветитьУдалитьЭтот комментарий был удален автором.
ОтветитьУдалитьМетод Монте-Карло - просто численный метод оценки математического ожидания случайной величины. Обязательное условие его применения - знание функции распределения этой случайной величины.
ОтветитьУдалитьА эту функцию распределения в случае ROI мы и не знаем ;)
malotavr +1 :) И ее теоретически можно бы и вычислить, но слишком много переменных - боюсь, даже Перельман с ума сойдет :)
ОтветитьУдалитьС убытками всё понятно, но как оценивать прибыли от ИБ-проекта? Где об этом можно почитать?
ОтветитьУдалитьМногие считают, что в данном случае распределение равномерное ;-)
ОтветитьУдалитьsecurityinform: А все зависит от конкретного проекта ;-)
ОтветитьУдалитьА вот рекламы каких-то продуктов не нужно ;-)
ОтветитьУдалитьАлексею Волкову: Метод Монте-Карло и дает тебе распределение вероятностей. Проект будет выгод в таком-то количестве случаев; убыточен в таком-то и т.д. А дальше ты сам принимаешь решение. Если у тебя соотношение 20/80 в пользу выигрыша, то это лучше, чем 50/50 или даже 80/20.
ОтветитьУдалитьmalotavr: "...знание функции распределения этой случайной величины"
ОтветитьУдалитьВот я и говорю, что может надежда на "Обобщение данных по множеству проектов в других организациях" когда-нибудь даст возможность вывести эту функцию распределения.
Пока же даю свою экспертную оценку - по проектам ИБ применяем функцию стандартного нормального распределения, считаем по ней. Кто не согласен, пусть оспорит и приведет аргументы против :)))
ВАУ!!!! Алексей занялся математикой! :-))))) Когда-то давно я тщетно пытался применить ХОТЬ какой-нибудь математический аппарат к ХОТЬ какому-нибудь процессу обеспечения ИБ, кроме сложения, вычитания, умножения и деления ничего не применялось.
ОтветитьУдалитьСделал однозначный вывод - все, что создано руками и головами человека, невозможно просчитать, везде субъективные оценки экспертов. Поздравляю с научным открытием!
> Многие считают, что в данном случае распределение равномерное ;-)
ОтветитьУдалитьНе-не-не-не-не :)
Нам метод Монте-Кароло хорошо на военной кафедре иллюстрировали. Шесть штурмовиков атакуют позиции трех ЗРК. Каждый штуровик случайным образом выбирает, какую из трех целей атаковать, каждый ЗРК случайным образом выбирает, какую из шести целей атаковать. Для каждой пары атакующий-цель есть своя вероятность уничтожения цели, каждый атакует только выбранную цель. Требуется оценить, сколько штурмовиков и ЗРК переживут атаку.
Упрощение колоссальное, но даже в этом слувае формулу мат. ожидания фиг выведешь - нужно учесть 9 случайных факторов. Но если ты переиграешь этот сценарий 10000 раз, принимая решение за каждый объект бросанием кубика, то ты получишь примерное представление о наиболее ожидаемом исходе.
Чтобы применять этот метод для оценки ROI, тебе сперва нужно точно так жевыделить все существвенные случайные факторы, влияющие на исход проекта, и только тогда ты сможешь мделировать исходы методом Монте-Карло. А выделение случайных факторов риска для проекта - это 90% регшения задачи ;)
посмотрел Вики: "Показатель ROI является отношением суммы прибыли или убытков к сумме инвестиций.".
ОтветитьУдалитьС инвестициями всё понятно - откуда они берутся и как их считать.
А вот с прибылью уже не всё понятно: каким образом вы собираетесь нематериальное состояние объекта (состояние защищенности компании) перевести в конкретные финансовые показатели? Да еще и так, чтобы ни у кого не возникло сомнений, что это и есть прибыль?
Думаю, что когда будет ответ на этот вопрос, тогда уже можно будет рассуждать как именно лучше считать ROI: экспертной оценкой, методом Монте-Карло, вызыванием духов в полнолуние или еще чем.
Любой метод статанализа можно применить к любой проблемной области. Ну вот например проспал я на работу вчера - давайте по статистике посмотрим, просплю я завтра или нет? Но вот в примере, когда у соседа - проект по ПДн удачно сложился, у другого - тоже, а третий оказался недоволен, хотя вроде сделано все то же самое. Давайте посчитаем по статистике, как оно будет у меня?
ОтветитьУдалитьДело в том, что в самой величине слишком много субъективизма. Я бы даже сказал - один субъективизм, учитывая то, о чем коллеги говорят - отсутствие сколь-нибудь пригодной методики расчета прибыльности.
А так - статистику считать можно - проблемы-то какие? :)
Иногда при обсуждениях или читая некий материал ловлю себя на мысли, что включен "магазин на диване"...
ОтветитьУдалитьВыглядит примерно так:
- стиральная машина с технологией super nano vatko spp7 и diryve tpp6
Ощущение что это нечто технологичное... а на поверку это пластмассовая ручка с резинкой...
Ореол научности и технологичности добавляют всякими крутыми сокращениями...
Евгению: угу, за примерами и ходить далеко не надо: вон - "облачные сервисы" ;)
ОтветитьУдалитьАлексею Т.: А я по образованию инженер-математик ;-) И насчет однозначности вывода я не так категоричен ;-)
ОтветитьУдалитьЯ все понял! Алексей, судя по всему, решил опять "сесть за кандидатскую" :-))) Судя по сплетням, два раза уже пытался и оба раза ссорился с руководителями....
ОтветитьУдалить2 А.Волков - статистика статистикой, посчитать можно все что угодно, конечно для нас важен процент Ваших опозданий :-), но речь идет о предсказании и оценке, здесь не чистая статистика, а ее применение и прогнозирование. Глупости, в общем.
И чтобы никто не считал мои комментарии оскорбительными: у меня тоже был опыт научных исследований, попытки сесть за кандидатские - глупости это все, надо делами заниматься, а не подстраиваться под чьи-то теории. :-)
ОтветитьУдалитьИ еще самое главное - НАУКИ в нашей стране в области ИБ уже практически нет, что не может не огорчать...
ОтветитьУдалитьTurkish: Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров. Тут можно искать выгоду - снижение числа простоев сети, обеспечение доступа партнеров к вашей сети и, как следствие, снижение времени на осуществление сделок/транзакций, рост числа сделок и т.д.
ОтветитьУдалитьЯ давно от идеи технисеской кандидатской отказался. Жду когда по совокупности дадут ;-) Или диссер по экономике сяду писать. Хотя скорее книжку, чем диссер - это полезнее ;-)
ОтветитьУдалитьДиссер... книжку... Я вот два раза диссер начинал, потом посмотрел что в диссерах 80х писали решения важных задач которые волнами у нас нерешаются и забил...
ОтветитьУдалитьОткрывай фонд имени Лукацкого !!!
Алексею Т.: вообще-то я об этом (глупости) и говорю, может, как-то непонятно, но вроде даже фразы те же :)
ОтветитьУдалитьАлексею Лукацкому: я всегда мечтал написать книжку - возьмите в соавторы, а? Готов делать всю черновуху :)
ОтветитьУдалитьАлексей !!!
ОтветитьУдалитьТак он Вам сейчас и поручит раздел про ROI :)))
Алексею Волкову: Просто книгу или книгу о чем-то?
ОтветитьУдалить> Выгоды считаются не от продукта, а от проекта. И чем он крупнее, тем легче считать. Не просто установка МСЭ, а обеспечение защищенного доступа сотрудников к бизнес-ресурсам Интернет или бизнес-партнеров
ОтветитьУдалитьХороший пример, а главное жЫзненный ;)
Но я бы хотел увидеть выгоды в более приземленных, но не менее "крупных" проектах - защита персональных данных; управление доступом и регистрацией в АС/АБС; мониторинг состояния АС/АБС и пр.
Я не думал о конкретике потому как нет опыта формулирования тем для такого плана изданий, потому и говорю о соавторстве и черновухе :)
ОтветитьУдалить