Наша почта:

В Москве:

РФ (звонок бесплатный):

+7(800)600-20-56

+7(495)103-99-88

Get Net

Технология SD-WAN и ее применение для построения распределенных защищенных сетей передачи данных

{ Ведущий инженер-проектировщик систем передачи данных в Инфосистемы Джет }

Александр Недорезов

Презентация

Видео

Видео доклада

Презентация спикера

Технология SD-WAN и ее применение для построения распределенных защищенных сетей передачи данных

Развитие автоматизации в корпоративных сетях передачи данных привело к росту плотности портов на оборудовании, а также к росту масштаба сетей по числу используемых маршрутизаторов и коммутаторов. Крупные сети требовали стандартизации и унификации настроек, и, как следствие, увеличивалась трудоёмкость администрирования из-за большого количества устройств. Так стали возникать системы централизованного управления, развитие которых привело к появлению нового класса решений — SDN.
Программно определяемая сеть (SDN) — это подход к автоматизации управления сетью, при котором управление сетевой инфраструктурой осуществляется с помощью специализированного контроллера. SDN позволяет унифицировать настройки оборудования. Настоящий доклад посвящён одному из классов SDN-решений — SD-WAN: его архитектуре, задачам, порядку развёртывания и требованиям, предъявляемым к современным продуктам этого класса.

Классы SDN-решений

На сегодняшний день можно выделить три класса SDN-решений:

SDN-решения автоматизации настроек оборудования центра обработки данных;
SDN-решения для операторов связи;
SD-WAN-решения.

Задачи SDN-решений ЦОД

сводятся к следующему: внесение изменений в настройки всех коммутаторов ЦОД одновременно при создании новых VLAN или VXLAN; применение параметров качества обслуживания ко всему оборудованию; применение профиля информационной безопасности. Если в ЦОД имеются десятки коммутаторов, а требуется поднять дополнительный сервис или изменить конфигурацию сети, полезно иметь контроллер, способный за несколько секунд создать необходимые VLAN, прописать нужные порты и разрешить эти VLAN на транках всего оборудования ЦОД. Основоположниками создания SDN-решений для ЦОД стали компании Juniper и Cisco.
Задачи SDN-решений для операторов связи

внесение изменений в настройки оконечного и магистрального оборудования массовым способом, управление MPLS-туннелями и качеством обслуживания. Например, при необходимости увеличить полосу пропускания туннеля на всём оборудовании провайдера с 10 до 20 Мбит/с SDN-решения справляются с этой задачей.

Предпосылки появления SD-WAN

Повсеместное внедрение информатизации вместе с ростом числа мини-офисов и более крупных географически распределённых площадок привело к необходимости организации географически распределённых корпоративных сетей передачи данных. Классический подход к их созданию — построение VPN-сети на базе маршрутизаторов или межсетевых экранов, связанных между собой VPN-туннелями. Одновременно возникла необходимость унификации политики доступа к корпоративным ресурсам для пользователей филиалов.

Определение SD-WAN

Определения SD-WAN формулируются по-разному, но имеет смысл остановиться на трактовках основоположников этих решений — инженеров Cisco и Juniper.

SD-WAN

это программно определяемая WAN-сеть, предназначенная для предоставления пользователям безопасных криптографически защищённых каналов связи между приложениями, предприятиями и подразделениями одной организации. Ключевая мысль здесь в том, что это VPN-сеть, управляемая централизованно.
SD-WAN

это подход к решению задачи автоматизации управления географически распределённой сетевой инфраструктурой с применением к задаче быстрого создания и масштабирования WAN-сети на базе гибридных программно-аппаратных решений.

Речь идёт о гибридном решении на базе аппаратных платформ (например, маршрутизаторов) и программных компонентов — в частности, контроллера, который управляет всей инфраструктурой, обеспечивает быстрое развёртывание новых точек и возможность внесения оперативных изменений на всё оборудование в зависимости от потребностей сети.

Характеристики современного SD-WAN-решения

Простота внедрения, масштабирования и эксплуатации. Цель — минимизация ручной конфигурации параметров сети администратором на отдельных устройствах.
Автоматическое создание VPN-туннелей между оконечными устройствами, поддержание инфраструктуры ключей, шифрование передаваемых данных и модификация оконечных устройств в автоматическом режиме, практически без участия администратора.
Контроль качества канала связи, выбор WAN-канала с допустимыми характеристиками по потерям пакетов, джиттеру и задержке.
Функции безопасности «из коробки»: защита периметра сети на стыке ЛВС каждой площадки и сети Интернет.
Централизованное управление и максимальная автоматизация операций.

Архитектура SD-WAN

Архитектура SD-WAN-решений базируется на следующих компонентах:

1.

CPE (Customer Premises Equipment) — программно-аппаратный комплекс или виртуальная машина, выполняющая одновременно роль граничного маршрутизатора, VPN-шлюза и межсетевого экрана на границе ЛВС удалённой площадки и транспортной сети Интернет. Предназначен для подключения ЛВС площадки к сети SD-WAN через VPN-туннели.
2.

Контроллер — программный компонент, предназначенный для управления CPE-устройствами и маршрутизации трафика между ними через WAN-сеть.
3.

Оркестратор — программный компонент, осуществляющий удалённое управление дополнительными функциями на CPE-устройствах: виртуальными машинами, которые могут запускаться на CPE, либо отдельными функциями — например, политиками межсетевого экранирования, IPS и другими.
4.

Централизованное управление — веб-портал администратора.

В типовой схеме в верхней части находится центр обработки данных, слева и справа от него — два CPE-хаба, подключённые к сети Интернет через провайдеров связи. Подключение каждого CPE-устройства для резервирования выполняется через двух провайдеров, и каждая площадка имеет резервирование на уровне канала. В ряде случаев канал связи может быть один, а в некоторых решениях (например, Bizon) их может быть до четырёх. В решении Bizon функции контроллера и оркестратора совмещены в одном устройстве — CSP; в других решениях контроллер и оркестратор могут быть разнесены. В нижней части схемы располагаются офисы, подключаемые к сети SD-WAN каждый через собственное CPE-устройство. В зависимости от масштаба ЦОД или офиса модель CPE может выбираться различной: устройства отличаются по производительности, а также по количеству и видам интерфейсов.

VPN-сеть между CPE

VPN-туннели должны формироваться автоматически — это основное требование SD-WAN. Топологии VPN-сети могут быть различными, но, как правило, в основе лежит принцип «двойной звезды». Такая топология позволяет выделить две роли CPE:

Hub-CPE

несколько устройств, на которых терминируются VPN-туннели; чаще всего они располагаются в центрах обработки данных
Spoke-CPE

оконечные устройства, расположенные на конце луча звезды и предназначенные для подключения удалённых офисов.

Каналы связи VPN формируют сеть Overlay, которая становится транспортом для передачи сетевого трафика между абонентами ЛВС географически распределённых площадок. Каждый канал имеет специфические атрибуты, доступные для редактирования; они позволяют осуществлять балансировку трафика через Overlay-канал либо приоритетно выбирать канал связи. Управление Overlay-каналами контроллер осуществляет самостоятельно. Контроллер также может управлять топологией — путём определения ролей CPE-устройств или создания дополнительных VPN-туннелей между отдельно взятыми CPE. В решении Bizon такой функции нет: единственный вариант топологии — расширенная звезда. Создание дополнительных связей или назначение роли CPE выполняет администратор: он указывает или переопределяет роль, а далее контроллер выполняет все необходимые операции по настройке.

Архитектура и роли интерфейсов CPE

Интерфейсы CPE бывают двух видов: WAN-интерфейсы, предназначенные для подключения к каналам операторов связи, и LAN-интерфейсы, предназначенные для подключения к сетевым сегментам внутри ЛВС.
Внутри CPE находится LAN-коммутатор, терминирующий отдельные LAN-порты, к которым подключаются внутренние абоненты пользовательской сети офиса. Далее располагается межсетевой экран, разграничивающий доступ между отдельными VLAN локальной сети, а также между этой сетью и внешними подключениями через WAN-интерфейсы. Внешних связей несколько:

VPN-туннели Overlay, предназначенные для формирования туннелей с удалёнными площадками;
Интерфейс VPN для Remote Access VPN;
Линия Direct Internet Access, через которую осуществляется NAT и доступ в Интернет через любой из WAN-интерфейсов на усмотрение контроллера.

В составе решения используется DPDK — программная библиотека, позволяющая обращаться напрямую к драйверам сетевых карт, минуя стек ядра операционной системы. Управляющим элементом выступает специальный хост: в решении Bizon это отдельная виртуальная машина, управляющая всем комплексом CPE. Она взаимодействует с контроллером через собственный туннель управления поверх WAN-интерфейсов и в случае нарушения связности через один из WAN-интерфейсов может связаться с контроллером через второй. Через внутренний коммутатор эта виртуальная машина взаимодействует с межсетевым экраном, коммутатором и другими компонентами для их настройки.

Задачи администратора: классическая VPN-сеть и SD-WAN

В классической VPN-сети задачи администратора сводятся к следующему:

Описание конфигурации параметров интерфейсов межсетевого экрана или маршрутизатора площадки;
Описание параметров маршрутизации на стыке с интернет-провайдерами;
Выделение адресации под каждый VPN-туннель в случае route-based VPN (например, GRE);
Создание IKE/IKEv2-политики на новом устройстве;
Настройка IPsec-политики на новом устройстве и её изменение на центральных устройствах, выполняющих функцию хаба;
Настройка правил межсетевого экранирования на оконечных устройствах и правил NAT.

В сети SD-WAN значительную часть этих задач берут на себя автоматизированные средства контроллера:

выбор WAN-канала для передачи сетевого трафика из ЛВС одной площадки в ЛВС другой в текущий момент времени, а также распределение трафика в процентном соотношении через этот канал;
контроль качества канала связи между spoke-CPE и hub-CPE через Overlay-туннели с помощью активных проб. SD-WAN использует встроенный механизм активных проб: отправляются служебные пакеты (например, ICMP), чтобы постоянно определять процент потерь, задержку и джиттер и на основании этих параметров оценивать качество каждого VPN-туннеля, построенного через тот или иной WAN-интерфейс;
автоматическое распределение маршрутной информации о подсетях удалённых площадок без вмешательства администратора. При вводе нового CPE в эксплуатацию администратор определяет набор внутренних подсетей, далее контроллер проводит верификацию уже существующих подсетей, проверяет отсутствие пересечений с подсетями других площадок и распространяет эту информацию в параметры маршрутизации CPE удалённых площадок;
автоматическое создание VPN-туннелей, формирование ключей шифрования и управление инфраструктурой безопасности канала связи.

За администратором остаётся:

определение типов приложений, которые могут передаваться через SD-WAN-сеть, отнесение их к определённым типам сетевого трафика;
описание для приложений границ допустимых значений характеристик качества канала связи — джиттера, задержки, процента потерь пакетов. Например, если для приложения критична задержка не более 20 мс, то при неудовлетворении WAN-канала этому требованию приложение будет переключено на другой WAN-канал; аналогично можно поступать с джиттером и остальными параметрами для конкретного класса трафика;
определение процентного распределения передаваемого трафика по WAN-каналам. Например, при двух WAN-каналах можно организовать связь с ЦОД так, чтобы через один канал передавалось 30 % трафика, а через другой — 70 %;
перераспределение статических маршрутов в протокол динамической маршрутизации между CPE. Через Overlay-сеть между CPE работает протокол динамической маршрутизации: в ряде решений это BGP, в ряде решений — собственные протоколы (в Bizon — BCMP);
изменение параметров маршрутизации BGP на стыке маршрутизатора с ЛВС, приоритизация маршрутов;
управление правилами доступа на межсетевом экране CPE, назначение зон безопасности, формирование списков доступа и базы объектов (например, IP-подсетей или сервисов), используемых в политике безопасности. По сути это классическое управление межсетевым экраном; отличие в том, что правила применяются не к одному устройству, а к ряду устройств, и для этого могут использоваться слои и шаблоны, позволяющие сразу прописывать на множестве CPE идентичные параметры доступа;
настройка параметров мониторинга с помощью внешних систем, таких как Zabbix. Здесь стоит отметить особенность решения Bizon SD-WAN: с Zabbix интегрируется не каждое CPE по отдельности, а контроллер, тогда как сами CPE передают данные о своём состоянии во внутреннюю базу контроллера. Взаимодействие между Zabbix и контроллером осуществляется не по SNMP, а через Prometheus, который работает поверх HTTP(S) и использует JSON: запрос параметров выполняется в формате JSON по защищённому соединению;
управление правами доступа администраторов и групп администраторов к объектам.

Развёртывание SD-WAN-решения

Развёртывание начинается с установки контроллера, а в ряде решений (например, Kaspersky SD-WAN) — контроллера и оркестратора на две разные виртуальные машины. Затем создаются шаблоны CPE. Линейка CPE любого производителя включает как маломощные, так и производительные модели, отличающиеся количеством портов. Шаблон CPE позволяет в зависимости от аппаратной платформы определить, какие порты и для чего будут использованы. Например, WAN-интерфейсами могут быть два интерфейса, один из которых LTE, а второй — витая пара; либо витая пара и оптика. Количество внутренних и WAN-портов также определяется шаблоном. Далее из шаблонов создаются сами CPE и к ним применяются политики фильтрации трафика и политики предоставления качества обслуживания: каждое приложение может быть определено администратором, и в зависимости от этого выбирается тот или иной WAN-канал для обеспечения необходимого качества передачи информации.

Развёртывание решения Bizon SD-WAN выполняется за счёт следующих действий:

При создании нового CPE в веб-интерфейсе контроллера описываются его параметры: IP-адресация LAN- и WAN-интерфейсов, статическая маршрутизация и шлюзы на WAN-интерфейсах. Динамическая маршрутизация BGP на WAN-интерфейсах в решении недоступна, поэтому подключение к провайдерам должно осуществляться через статический стык;

Задаётся принадлежность LAN-портов к VLAN и L3-подсетям, а также настройка соответствующих интерфейсов. Например, можно сделать так, чтобы VLAN-интерфейсу принадлежало два физических интерфейса на уровне L2;

Новые CPE инициализируются с помощью Zero Touch Provisioning. Технология не нова, но реализована следующим образом: CPE с заводскими настройками подключается к WAN-сети, изнутри к нему через витую пару подключается ноутбук, на CPE работает DHCP-сервер и ноутбук получает адрес из подсети 192.168.0.0/16. Далее на контроллере формируется определённый запрос, который администратор копирует и вводит в браузере как HTTPS-запрос к шлюзу CPE. В самом запросе закодированы параметры подключения к контроллеру: за счёт них CPE получает данные о том, как связаться с контроллером, устанавливает с ним связь, после чего контроллер удалённо конфигурирует устройство;

Настройка BGP-стыков в LAN-сегменте или статической IP-адресации выполняется администратором с контроллера;

Создание VNF типа «межсетевой экран» и применение политик межсетевого экранирования. На CPE могут работать отдельные функции — виртуальные машины или VNF;

Настройка правил NAT, включение и отключение функции Direct Internet Access для предоставления пользователям доступа в Интернет напрямую с устройства.

Требования к современным SD-WAN-решениям

Возможность выделения ряда CPE в группы администрирования под управлением отдельных групп администраторов (multi-tenancy) — когда одна часть устройств управляется одной командой администраторов, а другая — другой.

Двухфакторная аутентификация администраторов.

Управление всем функционалом из одного веб-портала.

Автоматический контроль качества канала связи.

Возможность распознавания приложений, чтобы предоставлять тот или иной канал связи именно приложению, а не пакету по меткам DSCP.

Поддержка механизмов качества обслуживания — полисинга, шейпинга и очередей.

Возможность выбора канала связи для приложений или по DSCP.

Возможность работы CPE через статический NAT.

Быстрая и удобная инициализация и интеграция с системой мониторинга.

Возможность продолжения обработки трафика при отсутствии связи между CPE и контроллером.

Практические замечания

Вендоры.

Если говорить о полнофункциональных SD-WAN-решениях, то в России это Bizon и Kaspersky SD-WAN — фактически можно говорить о двух с половиной вендорах. Среди западных вендоров: Juniper, Cisco, Palo Alto и Fortinet. Основоположников технологии, строго говоря, три: Juniper, Cisco и VeloCloud (VMware). На оборудовании MikroTik SD-WAN как таковой не реализуется; ZeroTier представляет собой лишь специфичную попытку решения смежных задач.
Природа CPE.

CPE — это программно-аппаратное решение либо решение, выполненное в виде виртуальной машины. Подходы у вендоров различаются: у Cisco узлом SD-WAN-сети может выступать маршрутизатор, у Palo Alto и Fortinet — межсетевой экран. У Bizon и Kaspersky это отдельное устройство, заточенное исключительно под работу с контроллером и не работающее как самостоятельный межсетевой экран. У всех перечисленных вендоров существуют виртуальные реализации. Решений, работающих как прикладное программное обеспечение, на рынке не отмечено.
Качество обслуживания.

В решении Bizon классического QoS в привычном понимании нет: приоритетные очереди отсутствуют, все пакеты идут в одной очереди. При перегрузке канала возникают джиттер и задержка, и решение переключает трафик на другой канал. Если второй канал также перегружен, возможна потеря качества обслуживания для определённого трафика. Частично это компенсируется возможностью управлять переключением трафика для заданного набора приложений. По информации от представителей вендора, полноценные очереди внутри CPE планируется реализовать к концу следующего года.
Преимущество архитектуры CPE.

Основное преимущество CPE по сравнению со стандартным решением — наличие фактически двух независимых VRF, смотрящих в WAN-сеть, причём распределение трафика между ними определяется контроллером. Задача передавать 30–40 % трафика через VPN до удалённой площадки через одного провайдера, а остаток — через другого, с одновременным контролем качества обслуживания, классическими методами без контроллера практически невыполнима. Она решается костыльными методами вроде IP SLA, но эффективности уровня SD-WAN на них получить не удастся, особенно если полоса пропускания канала плавающая: требуется механизм, отслеживающий не только потери пакетов, но и джиттер, и задержку, и при этом остающийся удобным в эксплуатации.
Блокировки со стороны провайдера.

Не всякое SD-WAN-решение работает через TLS: у Cisco и Juniper решения построены на базе IPsec, который также может блокироваться провайдером. Часть вендоров (например, Bizon) использует нестандартные порты, что в большинстве случаев решает проблему, если только провайдер не заблокирует конкретный используемый порт.

Финал

SD-WAN закономерно вырос из общего движения к централизованному, программно определяемому управлению сетями и сегодня представляет собой наиболее практичный способ построения географически распределённой корпоративной сети. Ключевая ценность технологии — не сам факт наличия VPN, а перенос рутины на контроллер: автоматическое построение туннелей и управление ключами, распространение маршрутной информации, непрерывный контроль качества каналов по потерям, задержке и джиттеру и выбор канала под конкретное приложение. За администратором остаётся то, что действительно требует инженерного решения: политика доступа, классификация приложений и целевые требования к качеству связи.
При выборе решения имеет смысл оценивать его по перечисленным требованиям — от multi-tenancy и распознавания приложений до полноценной поддержки механизмов качества обслуживания и автономности CPE при потере связи с контроллером. Российские продукты в этом классе уже позволяют решать основные задачи распределённой сети, хотя по отдельным направлениям — в первую очередь по классическому QoS с приоритетными очередями — работа у вендоров ещё продолжается.

В Москве:

+7(495)103-99-88

РФ (звонок бесплатный):

+7(800)600-20-56

Наша почта:

info@getnet.pro

GetNet

Остались вопросы?