Качественная связь и быстрый интернет кажутся чем-то само собой разумеющимся. Мы привыкли, что в обычных условиях всё «просто работает»: дома, в офисе, в дороге, на даче. Но у этой уверенности есть фундамент, про который редко вспоминают, пока всё в порядке.
За надёжной связью стоит непрерывный контроль. И вместе с ним целая невидимая инфраструктура: десятки тысяч коммутаторов, оптических терминалов, систем видеонаблюдения и источников бесперебойного питания. За всё это отвечают инженеры в телекоме.
В этой статье рассказываем, как выглядит современный мониторинг фиксированной сети связи (или домашнего интернета, если быть проще). От пути сигнала до магистрального узла, от алгоритмов AI, проверяющих тысячи камер, и до простого ответа на вопрос, почему спокойных дней почти не бывает.
Чтобы понять, как устроена эта профессия изнутри, мы пообщались с пятью специалистами Центра мониторинга фиксированной сети МГТС и МТС в Московском регионе: лидером команды развития Денисом Степановым, старшим смены Николаем Климаковым, лидером команды техподдержки услуг для госсектора Максимом Платоновым, лидером техподдержки видеонаблюдения Арсением Вдовиным, а также с экспертом Александром Мёрзлым.
КРАТКО
За что отвечает Единый центр мониторинга сети
Про работающих в мониторинге качества связи важно сразу выбросить из головы стереотип «они просто смотрят в экраны». По словам специалистов, их центр круглосуточно контролирует и анализирует работу всей фиксированной сети, включая интернет, телефонию и телевидение.
Масштаб сети и работы колоссальный: Москва и Подмосковье – огромная агломерация со сложной инфраструктурой и гигантским трафиком.
Инженеры координируют все изменения на инфраструктуре: от устранения массовых аварий до согласования плановых работ. Отдельным пулом задач является техподдержка B2G или клиентов государственного сектора. Это контроль городских камер в подъездах и местах массового скопления, а также поддержка каналов связи для органов исполнительной власти.
В целом инфраструктура представлена десятками тысяч элементов различного оборудования: коммутаторы, маршрутизаторы, оптические сетевые терминалы, мультиплексоры, источники бесперебойного питания. Под контролем также клиентское оборудование: камеры видеонаблюдения, коммутаторы, точки доступа Wi-Fi.
一 Денис Степанов
Как выглядит рабочее место: экраны на всю стену и тишина
Мы посмотрели, как выглядит центр изнутри. Откуда берутся данные и во что они превращаются на экранах.
В главном зале на стенах установлены восемь больших мониторов, каждый из которых выполняет свою конкретную задачу. Показывают общее состояние сети, количество обращений в контактный центр, выводят информацию о возникновении проблем на инфраструктуре.
Интересная деталь: звук уведомлений полностью выключен, за исключением критических аварий, когда включается сирена «как в кино». Вся необходимая информация мгновенно считывается визуально. У каждого специалиста на столе установлено еще по несколько индивидуальных мониторов – от двух до восьми.
В центре гибридный формат работы, у кого функционал связан с оперативным реагированием и решением проблем – те работают в офисе. Совместная работа позволяет быстрее реагировать на сложные ситуации, услышать мнение разных экспертов в моменте, без задержек.
ーНиколай Климаков
Что происходит в дневную и ночную смены
Центр работает 24/7. Графики инженеров разнообразны: 5/2, 2/2 или суточные дежурства 1/3.
В дневную фазу дежурят 18-20 человек, которые активно реагируют на аварии, инциденты, жалобы абонентов (например, «упал» интернет или пошли помехи по ТВ), контролируют плановые работы и связываются с профильными отделами.
В ночную фазу ритм меняется. Инцидентов и обращений становится меньше, поэтому в смене остается 7 специалистов. Но именно ночью стартуют масштабные производственные задачи: серьёзные обновления ПО, миграции данных и модернизация железа, которые могут затрагивать десятки тысяч абонентов.
Для нас нет разницы в локации и времени суток. Специфика многомиллионного мегаполиса в том, что каждую минуту может где-то что-то произойти. Нужно быстро понять, в чем характер повреждения, с чем это связано и кому передать информацию для восстановления.
ー Максим Платонов.
Как система фильтрует информацию о состоянии сети
Николай Климаков
Что происходит, когда случается масштабный сбой? Например, отключилось электричество в целом районе.
Каждую минуту в систему прилетают сотни тревожных уведомлений. Чтобы инженеры понимали, за что хвататься в первую очередь, работает Единая база данных (ЕБД) и система автоматической регистрации (TBA). ЕБД знает всё о родственных связях оборудования и умеет объединять эти данные в одно “дерево” – так называют коллеги набор данных, сгруппированных по общему признаку.
К примеру, мы видим в системе что у нас начинают отключаться домовые коммутаторы в Московской области… И видим при этом что узел, который питает эти коммутаторы, переходит на ИБП. Мы понимаем, что в районе, вероятно, отключение электричества. Заводится один инцидент, который включает в себя и узел и все нижестоящее оборудование.
– Николай Климаков
Искусственный интеллект и предиктивная аналитика в цифрах
Арсений Вдовин и Максим Платонов
На данный момент 95% инцидентов система заводит автоматически, в том числе благодаря предиктивной аналитике.
Если на каком-то сетевом элементе сбой повторяется три раза за месяц, система регистрирует проблему. Инженеры находят физическую причину и устраняют её раз и навсегда. Запуск этого алгоритма снизил число аварий примерно на треть.
Отдельно скажем об AI в городском видеонаблюдении.
Мы реализовали проверку качества изображения с помощью AI (загрязнения, засвет, расфокусировка, поворот камеры). В сутки мы таким образом проверяем пять тысяч камер. Сокращение количества инцидентов от заказчика составило почти 40%.
ー Арсений Вдовин
Кабаны, собаки и вандалы с топором: курьезы в полях
Денис Степанов
Один из самых наглядных примеров масштабных сбоев – экскаватор порвал «оптику» при земляных работах. Но будни мониторинга полны и других сюрпризов.
Инженеры нередко сталкиваются с нестандартными причинами аварий:
- Собака упала в открытый кабельный колодец и порвала провода. Бригаде пришлось спасать животное.
- В удаленном районе Подмосковья при устранении аварии в колодце нашли кабана.
- Птицы вьют гнезда прямо в телекоммуникационных шкафах на чердаках, а в подвалах сотрудники встречают грызунов и даже нелегальные общежития.
- Периодически появляются вандалы, которые бродят по этажам с топором и целенаправленно рубят кабели.
Что будет, если центр внезапно «ослепнет»
Александр Мёрзлый
В легком сценарии аварии начнут устраняться в разы дольше, плановые работы наложатся друг на друга, а абонентский сервис серьезно пострадает. Качество связи может рухнуть.
В самом тяжелом варианте все важные для жизни города объекты могут остаться без связи. Город может встать. Например, в случае повреждения кабеля, подведенного под систему светофоров. От работы центра мониторинга зависит жизнь столицы.
ー Александр Мёрзлый
Именно поэтому любая поломка в самих системах мониторинга лечится с наивысшим приоритетом.
Требования к новичкам и как не сгореть на работе
В финале мы попросили героев рассказать о требованиях к профессии.
В первую очередь, важна стрессоустойчивость. От идеального инженера требуется трезвый взгляд на вещи, системное мышление и понимание, что чудес не бывает: у любой аварии есть причина и следствие. Важно не терять самообладание, когда тревожные запросы идут со всех сторон.
Чтобы спасти команду от выгорания, в центре используют ротацию задач: монотонный просмотр систем сменяется мозговыми штурмами и оперативной координацией бригад. Это постоянное переключение снижает умственную усталость.
Спасибо за связь
Инженеры мониторинга в телекоме держат связь и интернет всегда включенными.
Лучший результат их смены состоит в том, чтобы абонент вообще ничего не замечал. Инцидентов без влияния на сервис, благодаря вовремя сработавшим резервным каналам, предотвращается на 15% больше, чем количество тех, что доводят до реального обрыва.
Их работа редко заметна, пока вы онлайн. Но стоит пропасть интернету или рассыпаться картинке в телевизоре, становится понятно: за каждой работающей технологией стоит команда людей, которые прямо сейчас решают сложнейшую головоломку на инфраструктуре мегаполиса.
Большое спасибо МТС и МГТС, Денису Степанову, Николаю Климакову, Максиму Платонову, Арсению Вдовину и Александру Мёрзлому за помощь в подготовке материала.
🙈 Нет комментариев