терапия пере

Заказчик пришёл в 2020 году со следующими требованиями:

Основная цель архитектуры — быстро запуститься: сделать прототип и «потом допилить нормально». Отсюда принцип: максимум стандартных возможностей MikroTik и никакой самодеятельности. Помогли Hotspot, User Manager (RADIUS-сервер от MikroTik) и CAPsMAN. Всё это работает практически из коробки — за исключением скрипта для отправки SMS.

Транспортное средство соединяется по VPN с центральным узлом. На борту находятся сервисы: видеонаблюдение, счётчик пассажиров, а также Wi-Fi и авторизация. За центральным узлом располагается инфраструктура клиента: видеонаблюдение и прочие сервисы, RADIUS, автоматизация на Ansible и NetFlow-коллектор для сбора статистики. Firewall присутствует и на центральном узле, и на всех бортах — для защиты разных периметров.

Центральный узел — небольшая виртуальная машина: 4 ядра, 2 ГБ оперативной памяти. На ней L2TP-сервер, OSPF в роли IGP и рядом RADIUS + User Manager. Пользовательский трафик на центральный узел не передаётся, поэтому серьёзной нагрузки на VPN нет: там ходят маленькие пакеты RADIUS, OSPF, BFD и немного менеджмента.

На каждый борт заводится отдельная OSPF-area. Дополнительно настроен BFD — он был придуман для ситуации, когда на борту несколько LTE-каналов, чтобы быстро переключаться между интерфейсами. Из нюансов: таймеры пришлось увеличить до 1 секунды, поскольку LTE иногда даёт высокие задержки, и слишком резкие переключения нивелировали бы пользу.
BGP на тот момент не подходил по простой причине: в RouterOS 6 не было ECMP, а именно ECMP был интересен для инсталляций с несколькими LTE-модемами. Такие инсталляции есть — ECMP на несколько LTE-интерфейсов с изменением gateway на внешние каналы через route filter, — но их немного.

Hotspot поднят на каждом борту, авторизация — через центр, через RADIUS. При подключении к Wi-Fi пассажиру показывается Captive Portal, он вводит номер телефона, запрос улетает на RADIUS, тот его обрабатывает, отправляется SMS — и человек входит в сеть. User Manager содержит базу сессий, по которой можно отследить, кто и когда был на борту. Настроены rate limit, session limit и ограничение частоты отправки SMS.
Идею централизованного управления Wi-Fi через CAPsMAN предложил сам заказчик. Сомнения были, но в целом не оправдались. Через контроллер задаются пароли, пользователи, access-list. Развёрнуты две сети: корпоративная (телеметрия на борту — часть устройств подключается проводами, часть без) и гостевая. CAPsMAN forwarding не используется, только local forwarding: трафик остаётся локально, обращения через центр нет, клиенты в Wi-Fi полностью изолированы друг от друга.

Проект не свежий, поэтому использовались специализированные модели для транспорта: влагозащищённый корпус, питание 12 В.

Выбор вендора продиктован ценой LTE-возможностей. У заказчика есть и большой парк на другом вендоре, который в ряде ситуаций показывает себя хуже. Характерный пример — работа средств РЭБ, полное подавление LTE. После пропадания и восстановления LTE MikroTik чувствует себя нормально: подключается к центру и продолжает работать. У другого вендора этого не происходит, из-за чего приходилось писать скрипты, пингующие интернет и раз в 10 минут перезагружающие устройство, — другого способа поднять его найти не удалось.

Ресурсы маленьких устройств. У RBM33G и hAP ac² проблем нет, а вот LtAP mini, составляющий основной парк, ограничен 16 МБ флеш-памяти. По CPU проблем не замечено: на скоростях, которые обеспечивает LTE, их не возникает. Большая часть парка сейчас живёт на RouterOS 6.49.19 long-term, и с ней всё хорошо.

На флеш-память, кроме самой RouterOS, нужно записать видоизменённый портал Hotspot с брендированными изображениями. Из-за этого пришлось отказаться от идеи вести локальные логи посещений на случай, если понадобится восстановить информацию о том, кто и когда был на конкретном борту.

Реальная скорость — от 0 до 70 Мбит/с на роутер. Ноль здесь не фигура речи. Пользователю выдаётся не более 5 Мбит/с через rate limit. Качество LTE — «как получится»: транспорт движется, заезжает в тоннели, под мосты, в зону действия РЭБ. Потери бывают серьёзные — свыше 30%. Средства РЭБ убивают весь эфир, и в рамках проекта бороться с этим невозможно: проводов нет, транспорт движется.

Автоматизация делалась сразу, но была рассчитана на первоначальное количество устройств. Взяли Ansible и сделали генерацию конфигов: заливка по SSH, ключи везде, удобные массовые операции — готовое решение, которое не нужно писать самим.

Для операторов заказчика сделали веб-страницу: оператор по инструкции вводит номер борта и номер подсети, после чего генерируется полный конфиг — настройки VPN, OSPF, Hotspot, подсетей. Заливка нового роутера — далеко не главная проблема заказчика: подготовительные работы по каждому борту включают монтаж видеонаблюдения и многое другое, на фоне чего заливка микротика — мелочь. Доступны разные варианты страниц авторизации под разный брендинг; заливка возможна через страницу, через Ansible, по FTP/FTPS, а в резервном варианте — руками через FTP.

Появились и регулярные задачи на Ansible — например, недавно нужно было прокатать SNMP community на все борта. Сценарии из центра запускаются несколько раз в день, поскольку борта то в сети, то нет: транспорт уехал, сегодня не на связи — отследить это сложно. Главная беда в том, что при прыгающем LTE вероятность того, что задача из центра до борта не доедет, далеко не нулевая.
Отдельный вопрос — обновление прошивок. Максимально удобным инструментом оказался CAPsMAN: в разделе Remote CAP видны все борта, выбирается нужное количество устройств, нажимается Upgrade — и остаётся только проверить результат. Именно так удалось докатиться до достаточно высокой версии.

Базовая схема авторизации: Wi-Fi → страница Hotspot → ввод номера телефона → SMS с кодом → ввод кода → доступ. Проблема в том, что SMS подорожали вплоть до 40 рублей.