Когда ни покупной SIEM, ни аутсорсинговый SOC не помогают. Третий путь создания SOC на предприятии

Продолжу тему SOCов/SIEMов/CSIRTов. Сегодня, в предверие SOC-Forum, до которого осталось меньше суток я бы хотел уделить несколько слов тому, как строится такая деятельность в Cisco. Я не буду рассказывать о нашем коммерческом SOC, который у нас называется Cisco ATA (Active Threat Analytics) - это коммерческий сервис, который не будет предметом моей заметки. Я бы хотел рассказать о том, как это все устроено внутри самой Cisco. Все-таки мы компания немаленькая и можем служить интересным примером. Тем более, что мы пошли по третьему пути создания SOC, попробовав сначала и покупной SIEM-продукт (с процессами, конечно), который лег в основу первого CSOC (Cisco Security Operations Center), и воспользовавшись услугами SOCа аутсорсингового.

Но начну я с краткого обзора, что из себя представляет инфраструктура Cisco сегодня:

• 300 офисов в 170 странах
• 120 тысяч пользователей, из которых 26 тысяч удаленных
• 400 зданий
• 7 центров обработки данных
• 1500 лабораторий
• 25000 партнеров, имеющих доступ к нашим внутренним системам
• 400+ сервис-провайдеров, чьими услугами мы пользуемся
• 40 тысяч маршрутизаторов Cisco
• 3 миллиона IP-адресов

Ежедневно на анализ нам попадает:

• 15 миллиардов потоков NetFlow
• 4,7 миллиарда DNS-запросов
• 6 миллионов Web-транзакций
• 27 ТБ Интернет-трафика
• 2 триллиона сетевых событий

Число ежедневно обрабатываемых событий по типам средств, от которых они приходят

Для хранения такого объема данных необходимо иметь немаленький центр обработки данных, емкость которого в нашем случае составляет 1,2 Петабайт (!). На иллюстрации ниже показано архитектура системы хранения, где слева отображены ключевые сегменты нашей сети (ЦОДы, точки выхода в Интернет и т.п.). Разумеется, пришли мы к такому хранилищу не сразу. Еще в 2010-м году у нас в день анализировалось "всего" 20 ГБ данных. А уже год спустя мы пришли к цифре в 1 ТБ. Основной объем из этой цифры (она растет понемногу) составляет трафик NetFlow - мы держимся на уровне 750 ГБ данных о сетевых потоках в день. Длительность хранения - от 4 до 26 месяцев (в зависимости от задач).

Наше хранилище событий безопасности

Мы перепробовали много различных SIEM (не буду сейчас называть имен), но в итоге остановились на Splunk. Почему именно Splunk, рассказывать долго. Приведу только два графика, которые показывают сравнение Splunk с лучшим на момент анализа SIEM-продуктом по двум показателям - среднее время запроса к базе данных (в секундах) и объем индексируемых данных в день (в ГБ). Можно видеть, что разница на порядок по обоим значениям. Для небольших организаций это может быть и некритично, но для нашего объема данных это было очень важно.

Наш CSOC занимается типовыми задачами, которые обычно возлагаются на центр мониторинга и реагирования на инциденты (этот термин гораздо лучше подходит под решаемые вопросы, чем SOC): мониторинг и анализ событий безопасности, реагирование на инциденты и их расследование. В CSOC входит 40+ человек, из которых непосредственно мониторингом событий занимается 6 человек с 12-тичасовой сменой (то есть всего их 12-13). 9 человек занимаются расследованиями (в том числе ложными срабатываниями), а 3 - сложными целевыми атаками.

Структура Cisco SOC

За годы работы CSOC на месте не стоял и если первоначально мы, как, наверное, и многие, ориентировались на события от систем обнаружения атак и иных сигнатурных систем, то позже к ним добавились потоки NetFlow. Затем мы стали активно анализировать различные поведенческие паттерны. И каждый у нас расширялся объем данных от систем Threat Intelligence. Сразу надо отметить, что почти во всех случаях в качестве источников данных для анализа выступают произведенные нами (ASA, ISR, WSA, ESA, CSA и т.п.) или позже приобретенные нами (например, IronPort, Lancope, Threat Grid и др.) средства защиты (хотя бывают и исключения).

Соотношение различных видов событий безопасности в Cisco SOC

Обычного, пусть и с корреляцией, SIEMа (хотя есть отдельные граждане, не считающие Splunk SIEMом) нам стало со временем не хватать. А все потому, что чуть ли не половина всех исходных данных для аналитиков составила информация об угрозах, которую не так просто было загнать в предлагаемые имеющимися на рынке SIEM структуры данных. В итоге мы пришли к выводу, что нам необходимо разработать собственную платформу для данной задачи. Мы ее, немудрствуя лукаво, так и назвали Threat Intelligence Platform (TIP).

Архитектура TIP

С технической точки зрения в основе лежит кластер из 45 серверов Cisco UCS (1440 процессоров, 12 ТБ памяти), технологии Hadoop, Hive, HBase, Elasticsearch, Titan и ряд других. Хранилище в 1,2 ПБ относится именно к Cisco TIP. В одной таблице находится свыше 1,3 триллионов строк.

Некоторые цифры, касающиеся объема данных в TIP

Если к прежнему используемому нами решению доступ имели только сотрудники CSIRT, то с Cisco TIP помимо них также работают сотрудники службы Security Services & Cloud Operations,  аналитики угроз Threat Grid, исследователи из Security Research & Operations и ряд других служб, которым необходимы данные обо всех событиях безопасности, собранных по всей компании.

По итогам работы на платформой TIP у нас родилась идея поделиться нашими наработками с мировой общественностью, что и было сделано:

• в виде open source решения OpenSOC, доступного на GitHub
• в виде коммерческого аутсорсингового сервиса Cisco Active Threat Analytics (также предлагается и на территории постсоветского пространства).

Концептуальная архитектура OpenSOC

Но об этих решениях (как минимум об OpenSOC) как-нибудь в другой раз.

Вот такой непростой путь прошла Cisco, создавая свой собственный центр мониторинга, реагирования и анализа угроз (сегодня можно уже не ограничиваться в названии только мониторингом и реагированием). Этот путь непростой и доступен не каждому, это тоже надо понимать. Наверное, он может быть интересен либо с чисто академической точки зрения, либо компаниям/организациям, схожим с нами по масштабу. Ну или в тех случаях, когда присутствующие на рынке решения по каким-то причинам не устраивают. Тогда и остается третий путь - собственная разработка.

ЗЫ. В заметке специально не описывал реализованные нами процессы - хотел ограничиться только технической стороной вопроса.

ЗЗЫ. Логично было бы выступить на SOC-Forum с этой темой, но не получится. У меня там и так насыщенная программа - участие в пленарке, выступление про Threat Intelligence и модерирование одной из секций. Второй доклад был бы роскошью, учитывая, что немало и других желающих поделиться своим опытом построения SOCов. Да и с практической точки зрения опыт Cisco подойдет далеко не каждому.