GetNet

Топологически филиал выглядит просто: маршрутизатор, к которому подключены коммутаторы в нескольких стойках, и два подключения к интернету.

Для локальных сетей используется диапазон 10.0.0.0/8 — так практически исключается пересечение с сетями домашних роутеров, которые почти всегда живут в 192.168.0.0/16.

Такого разделения обычно достаточно. На примере Анапы: берётся /24, делится на две /25, одна из них — на две /26 и так далее. VLAN 17 — пользовательские ПК, VLAN 5 — IP-телефоны, остальные сети называются осмысленно.

Если филиалов много, шаблон должен работать везде. Ничто не мешает иметь VLAN 17 для пользователей одновременно в нескольких офисах — важно лишь, чтобы не пересекались адресные пространства. Сети разные, номера VLAN одинаковые, и тогда номер VLAN сам по себе несёт информацию.

Первое, что настраивается после подключения провайдеров, — Dual WAN: одновременное подключение к двум операторам с возможностью выводить локальные сети через любого из них. Проверка маршрута строится на пингах до постоянно доступного вышестоящего IP-адреса. Рекурсивная маршрутизация в MikroTik отрабатывает примерно за 20 секунд — для описанных инсталляций этого достаточно, поскольку при кратковременной потере интернета внутренние сервисы продолжают работать.

Для связи главного офиса и ЦОД с филиалами используется GRE. Протокол кроссплатформенный, работает со всем — с Cisco, с серверами на Ubuntu — и исторически себя оправдал.

GRE занимается только инкапсуляцией — трафик открыт и может быть перехвачен и прослушан. Поэтому шифрование обязательно.

После настройки в статусе должно быть явно видно, что используется аппаратное шифрование (hardware).
Аргумент «у меня нет страшных данных, мне нечего терять» разбивается об одну историю: на конференции MUM в Ростове-на-Дону инженер одного из операторов связи в кулуарной беседе рассказал, что вечерами иногда слушает трафик клиентов. Многие после этого ещё раз перепроверили, что именно у них не шифруется.

OSPF — динамический протокол маршрутизации, настраиваемый буквально в четыре клика: одна область (backbone), один инстанс, локальные интерфейсы в режиме Broadcast и passive, туннельные сети GRE — в режиме Point-to-Point. Филиал передаёт свои сети в OSPF и получает маршруты от главного офиса.
ECMP сознательно отключается. Доступность сети через два разных шлюза неудобна: при проблемах у провайдера тяжело понять, почему трафик ведёт себя странно. Вместо этого явно задаются стоимости: cost 10 на двух интерфейсах, cost 20 — на двух других. Трафик предсказуемо идёт через верхнее плечо, а при поломке любого из провайдеров этого плеча немедленно уходит на нижнее — с учётом трёхсекундного keepalive GRE.

Пример: телефонный VLAN. К телефонам могут подключаться только сотрудники IT-отдела из сети управления, а сам телефон может обращаться только к серверу телефонии, серверу точного времени и серверу автопровижининга. Этого достаточно. Аналогично описываются все остальные сети: гости выпускаются только в интернет, служебные сети — только к служебному оборудованию. Такие правила занимают немного места, разделены на цепочки и практически не нагружают процессор.

Сам MikroTik выступает неплохим кэширующим DNS-сервером, отправляя запросы во внешний резолвер. При наличии контроллера домена достаточно двух записей, форвардящих зоны

Active Directory на DNS-сервер контроллера домена: запросы к домену уходят туда, все остальные — наружу, всё кэшируется.

Одна оговорка: в RouterOS 7 появились проблемы с кэшем зон Active Directory — иногда «высыпаются» нули. Кэш приходится чистить руками либо скриптом, запускаемым раз в несколько минут.

Wi-Fi строится на CAPsMAN, который работает в отдельном VLAN. Используется несколько конфигураций — например, отдельная для сервисных устройств и терминалов сбора данных на складе, — и все они разводятся по разным VLAN. Обязателен фиксированный набор частот, чтобы не возникало проблем с устройствами, которые «чего-то не понимают». Доступ ограничивается правилами firewall.

Отдельно стоит остановиться на Identity. Удобно называть точку доступа по шаблону: префикс филиала, место установки и порт в СКС — например, ANP-WAR-B15 (Анапа, warehouse, порт B15). Тогда provisioning можно делать на основе identity.regexp: на склад раздаются одни сети, в офис — другие, при желании разделение можно провести и по шкафам.

В качестве аппаратного обеспечения используются cAP ac и wAP ac. cAP ac — крупная круглая точка с питанием по PoE, большими чувствительными антеннами. wAP ac — двухдиапазонная точка с защитой от влаги, что важно на складах с перепадами температуры и риском выпадения конденсата.

Небольшая история. Когда-то на сотрудницу компании косо поглядывали коллеги: она всегда уходила на обед раньше всех. Причина оказалась простой — на её компьютере время шло на три минуты вперёд. Обед у неё наступал раньше, она собиралась и уходила разогревать еду в микроволновке.

Требования к коммутаторам уровня L2 простые: гигабит, PoE, поддержка VLAN, Loop Detection (пользователи любят втыкать провода в разные порты), сбор статистики по SNMP для системы мониторинга вроде Zabbix, логирование и NTP. Этого достаточно для построения описанной сети.
Что касается L3, сравнение двух самых популярных устройств сети показало, что по параметрам они почти идентичны — разница в количестве портов и наличии SFP/SFP+. Оборудование стоит выбирать под свои задачи: MikroTik работает на одной операционной системе с точностью до аппаратной платформы.