Продолжу тему SOCов/SIEMов/CSIRTов. Сегодня, в предверие SOC-Forum, до которого осталось меньше суток я бы хотел уделить несколько слов тому, как строится такая деятельность в Cisco. Я не буду рассказывать о нашем коммерческом SOC, который у нас называется Cisco ATA (Active Threat Analytics) - это коммерческий сервис, который не будет предметом моей заметки. Я бы хотел рассказать о том, как это все устроено внутри самой Cisco. Все-таки мы компания немаленькая и можем служить интересным примером. Тем более, что мы пошли по третьему пути создания SOC, попробовав сначала и покупной SIEM-продукт (с процессами, конечно), который лег в основу первого CSOC (Cisco Security Operations Center), и воспользовавшись услугами SOCа аутсорсингового.
Но начну я с краткого обзора, что из себя представляет инфраструктура Cisco сегодня:
- 300 офисов в 170 странах
- 120 тысяч пользователей, из которых 26 тысяч удаленных
- 400 зданий
- 7 центров обработки данных
- 1500 лабораторий
- 25000 партнеров, имеющих доступ к нашим внутренним системам
- 400+ сервис-провайдеров, чьими услугами мы пользуемся
- 40 тысяч маршрутизаторов Cisco
- 3 миллиона IP-адресов
Ежедневно на анализ нам попадает:
- 15 миллиардов потоков NetFlow
- 4,7 миллиарда DNS-запросов
- 6 миллионов Web-транзакций
- 27 ТБ Интернет-трафика
- 2 триллиона сетевых событий
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhIf4HRwc5d3gQz-graIap9pJPajSiXDTm5WdXPEsKla3xo6dCC8-p2Zyp0vWYSOF2Ph0AmMPs2js5ihOLnr3LMJORDkCHNAjov1xqqU11CNq5qerLAvrEU3zU4XZ__Qh1A7VRm84jJiIUE/s320/ciscocsirt1.png) |
Число ежедневно обрабатываемых событий по типам средств, от которых они приходят |
Для хранения такого объема данных необходимо иметь немаленький центр обработки данных, емкость которого в нашем случае составляет 1,2 Петабайт (!). На иллюстрации ниже показано архитектура системы хранения, где слева отображены ключевые сегменты нашей сети (ЦОДы, точки выхода в Интернет и т.п.). Разумеется, пришли мы к такому хранилищу не сразу. Еще в 2010-м году у нас в день анализировалось "всего" 20 ГБ данных. А уже год спустя мы пришли к цифре в 1 ТБ. Основной объем из этой цифры (она растет понемногу) составляет трафик NetFlow - мы держимся на уровне 750 ГБ данных о сетевых потоках в день. Длительность хранения - от 4 до 26 месяцев (в зависимости от задач).
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh4iJlrhPpMZpyA6DdIiRCaZSmK4dNwSctaYYsZD2zN6MpseLp2wK_EKZT0S2F0ztO0bxmIGFCh8fovKenYW7Q6QIotUHeG2w8fnZs8BS_kOZNhgeyK6asJxFVeQU7bb3etGTgu3AVbdybD/s320/ciscocsirt2.png) |
Наше хранилище событий безопасности |
Мы перепробовали много различных SIEM (не буду сейчас называть имен), но в итоге остановились на Splunk. Почему именно Splunk, рассказывать долго. Приведу только два графика, которые показывают сравнение Splunk с лучшим на момент анализа SIEM-продуктом по двум показателям - среднее время запроса к базе данных (в секундах) и объем индексируемых данных в день (в ГБ). Можно видеть, что разница на порядок по обоим значениям. Для небольших организаций это может быть и некритично, но для нашего объема данных это было очень важно.
Наш CSOC занимается типовыми задачами, которые обычно возлагаются на центр мониторинга и реагирования на инциденты (этот
термин гораздо лучше подходит под решаемые вопросы, чем SOC): мониторинг и анализ событий безопасности, реагирование на инциденты и их расследование. В CSOC входит 40+ человек, из которых непосредственно мониторингом событий занимается 6 человек с 12-тичасовой сменой (то есть всего их 12-13). 9 человек занимаются расследованиями (в том числе ложными срабатываниями), а 3 - сложными целевыми атаками.
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgApyYZVmTTbN8TOJYkaUkC4iQ-Ij-bH77DZlFZDljnma9AIvqEHt2oF2JFrA10L4OZ1uZzNhtWr7VEs_Z1ZywV7WZ2Fgn6b94ApacEYD_t2IfB0iEowR5O1_9jJ2DmKywl7LV8KEwXbekW/s320/11411916_863835560362721_3560632417203564858_o.jpg) |
Структура Cisco SOC |
За годы работы CSOC на месте не стоял и если первоначально мы, как, наверное, и многие, ориентировались на события от систем обнаружения атак и иных сигнатурных систем, то позже к ним добавились потоки NetFlow. Затем мы стали активно анализировать различные поведенческие паттерны. И каждый у нас расширялся объем данных от систем Threat Intelligence. Сразу надо отметить, что почти во всех случаях в качестве источников данных для анализа выступают произведенные нами (ASA, ISR, WSA, ESA, CSA и т.п.) или позже приобретенные нами (например, IronPort, Lancope, Threat Grid и др.) средства защиты (хотя бывают и исключения).
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhEdpbYHPfalpjkO0zaZ7VXwTomxM1T0kdLaPtcdFW-W_JYeV-Pf3Tb1Juj-Q9JZDNvO0-3qgg_Ct2uxDS9bk0VhpJikJhrGcFwb5E9dCZmAMR1V4Zdl29tYjcTFybkQGqI9G8Tr4Q1v5if/s400/ciscocsirt4.png) |
Соотношение различных видов событий безопасности в Cisco SOC |
Обычного, пусть и с корреляцией, SIEMа (хотя есть отдельные граждане, не считающие Splunk SIEMом) нам стало со временем не хватать. А все потому, что чуть ли не половина всех исходных данных для аналитиков составила информация об угрозах, которую не так просто было загнать в предлагаемые имеющимися на рынке SIEM структуры данных. В итоге мы пришли к выводу, что нам необходимо разработать собственную платформу для данной задачи. Мы ее, немудрствуя лукаво, так и назвали Threat Intelligence Platform (TIP).
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhdW31EUDlOFKzeus8pt85aPAIt1gqmkBAZ_aQg3LpX-cf63KZkWbuZB5kE0B2NyOu_LyLwSvmUQrjJvJ-hVP0UNbaGD5CCBVRjyx8HFEWyC9_kHJrdY2-96Z9IvuVnyyLThv-F0fr51Pzb/s320/Screen+Shot+2015-11-10+at+2.43.43.png) |
Архитектура TIP |
С технической точки зрения в основе лежит кластер из 45 серверов Cisco UCS (1440 процессоров, 12 ТБ памяти), технологии Hadoop, Hive, HBase, Elasticsearch, Titan и ряд других. Хранилище в 1,2 ПБ относится именно к Cisco TIP. В одной таблице находится свыше 1,3 триллионов строк.
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgjXAclKACNXLsxNupwMH3KTVa29GFTVuN2osmjM5A-1IVNYRHvnqBPwkrCkQZGFX1qJCzrDfy8L5JpxpraD5NJWfajer6XAZKXM7iZeCifW5swE81Xu82SzBZyL0ZnG_UZXahPQGbQ3y_U/s320/ciscocsirt5.png) |
Некоторые цифры, касающиеся объема данных в TIP |
Если к прежнему используемому нами решению доступ имели только сотрудники CSIRT, то с Cisco TIP помимо них также работают сотрудники службы Security Services & Cloud Operations, аналитики угроз Threat Grid, исследователи из Security Research & Operations и ряд других служб, которым необходимы данные обо всех событиях безопасности, собранных по всей компании.
По итогам работы на платформой TIP у нас родилась идея поделиться нашими наработками с мировой общественностью, что и было сделано:
- в виде open source решения OpenSOC, доступного на GitHub
- в виде коммерческого аутсорсингового сервиса Cisco Active Threat Analytics (также предлагается и на территории постсоветского пространства).
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEilDa_wArwEJ_7ayZBi3etgqLq6JLGuhCxqewlGULNxQ_RD3zhUinmBnANuoqNDwCEAoC-5JoUAZbbYzSoPFaWnH3mPg54lxn_Qw28FViGFAxaDLuW2HPXUvBXytdkK-55E_bLvEzAWExc7/s320/ciscocsirt6.png) |
Концептуальная архитектура OpenSOC |
Но об этих решениях (как минимум об OpenSOC) как-нибудь в другой раз.
Вот такой непростой путь прошла Cisco, создавая свой собственный центр мониторинга, реагирования и анализа угроз (сегодня можно уже не ограничиваться в названии только мониторингом и реагированием). Этот путь непростой и доступен не каждому, это тоже надо понимать. Наверное, он может быть интересен либо с чисто академической точки зрения, либо компаниям/организациям, схожим с нами по масштабу. Ну или в тех случаях, когда присутствующие на рынке решения по каким-то причинам не устраивают. Тогда и остается третий путь - собственная разработка.
ЗЫ. В заметке специально не описывал реализованные нами процессы - хотел ограничиться только технической стороной вопроса.
ЗЗЫ. Логично было бы выступить на SOC-Forum с этой темой, но не получится. У меня там и так насыщенная программа - участие в пленарке, выступление про Threat Intelligence и модерирование одной из секций. Второй доклад был бы роскошью, учитывая, что немало и других желающих поделиться своим опытом построения SOCов. Да и с практической точки зрения опыт Cisco подойдет далеко не каждому.
3 коммент.:
Пользуясь случаем ))
http://goo.gl/vIyHRi
выступают произведенные нами (ASA, ISR, WSA, ESA, CSA и т.п.) или позже приобретенные нами (например, IronPort, Lancope, Threat Grid и др.)
Опечатка или я неправильно понял WSA и ESA? ;)
Правильно. Ранее были IronPort. Но давно уже лет 8 как. Теперь наши и сильно переработаны
Отправить комментарий