06.03.2012

О реальной и рекламной производительности средств защиты

Продолжу поднятую вчера тему о реальной производительности средств защиты. Вернемся к вчерашнему примеру. МСЭ работает на скоростях 8 Гбит/сек. Очень недурной показатель, но... прежде чем купиться на рекламу в листовке уточните при каких условиях замерялось данное значение. Может оказаться, что как и в примере с вышеприведенными 8 Гбит/сек речь идет только о UDP-трафике с двумя включенными на межсетевом экране правилами. А вы видели в реальности такую картину, чтобы только два правила и только UDP-трафик? Я нет.

Дальше больше. 800 Мбит/сек в режиме IPS. Не много и не мало. Для периметра-то должно хватить. Правда, эти 800 Мбит/сек получены в идеальном лабораторном окружении. На небольших UDP-пакетах (например, в DNS, RTP, DHCP и т.д.) производительность IPS падает до 160 Мбит/сек. В целом же производительность рассматриваемой IPS для реального трафика падает до 140, а при включенном режиме обнаружения аномалий до 130 Мбит/сек.

На эту заметку меня сподвиг анонс Cisco, который мы сделали на RSA Conference. Там мы не только анонсировали 11 новых продуктов по ИБ, но и объявили о смене методики тестирования наших продуктов с точки зрения производительности. Еще раньше мы использовали такие понятия как EMIX и IMIX, которые оперировали усредненным Интернет (Internet Mix) и корпоративным (Enterprise Mix) трафиком, проанализированным в условиях применения различных протоколов и размеров пакетов. Вот примерно так выглядели тесты 4-х межсетевых экранов (два от Cisco и два от другого вендора) в наших внутренних тестах.

Сейчас мы пошли дальше и теперь оценкой производительности наших решений будет заниматься внешняя фирма по методологии, позволяющей определить максимальную пропускную способность в условиях применения различных протоколов и размеров пакетов. Трафик смешивается в зависимости от типа сети и месторасположения тестируемого решения. Стандартная методика включает следующие типы трафика:
  • Корпоративные приложения (смесь различных видов трафика).
  • Приложения в ЦОД (преимущественно файловый, SQL и HTTP-трафик).
  • Малый/средний бизнес (преимущественно HTTP-, голосовым, SQL и файловым трафиком).
  • Операторы связи (преимущественно HTTP-, P2P-трафик, а также видео и музыка).
  • Высшее образование (преимущественно HTTP- и P2P-трафик).
В итоге результаты тестирования в реальных условиях могут выглядеть так:


Собственно к чему я это все пишу? Чтобы в очередной раз сказать очевидную вещь. При выборе средств защиты не верьте рекламе, особенно тех местах, где приводятся числовые показатели, которые могут скрывать за собой большое количество вопросов. Даже такой простой показатель, как число сигнатур атак в IPS, может сильно варьироваться от того, кто и как считает. Одни будут считать за каждую сигнатуру изменение всего одного символа в шаблоне атаки, а другие за сигнатуру засчитают сразу все возможные варианты изменения символов в шаблоне. В случае измерения производительности ситуация еще хуже. Производитель заинтересован показать пиковую производительность в лабораторных условиях. Потребителя же интересует производительность в реальном окружении. Безоговорочное доверие тут может сыграть плохую шутку с покупателем средств защиты.

4 коммент.:

Тарас Злонов комментирует...

2009 год, на сайте Cisco приведены скорости устройств без каких-либо указаний на то, в каких условиях проводились измерения: ссылка.

2012 год, действует целая рекламная компания о "порядочности Cisco" и на сайте присутствуют необходимые примечания: ссылка.

"Мы раньше и сами не договаривали, но теперь откроем всем глаза на правду о других вендорах!"- как бы говорит нам Cisco =)

doom комментирует...

Алексей, мы это все еще и наблюдаем на фоне отечетсвенных решений, которые нередко вообще не могут оценить свою производительность - хоть как-то :)

А вообще - поучились бы у Citrix'а, вот уж кто умеет делать правильные бенчмарки...

Алексей Лукацкий комментирует...

Ну отечественные это вообще песня ;-)

mike комментирует...

в новых материалах на новые АСА что опубликованы на RSA на IPS указана скорость для мультимедийного трафика.
Что автоматически означает сильное понижение производительности на трафике HTTP например, что мы и наблюдаем на всех сенсорах cisco.
пока с честным представлением информации не очень.

касательно измерений скорости - в любой ситуации надо измерять близко к реальности, что в условиях клиента практически невозможно. Можно конечно ориентироваться на скорости измеренные в NSS Group - но опять там однобоко показывают трафик HTTP 21K. но на нее можно по крайней мере ориентироваться как на один из худших вариантов.