Facebook Terragraph — проект городских ячеистых сетей на 60 ГГц
Спойлер для тех, кто торопится узнать суть: проект Terragraph в целом жив, хотя масштабы его развития воображение не поражают, а от некоторых интересных опций вроде самонастраивающихся терминалов со сканированием лучом решили отказаться. Интересно другое: произошла «уберизация» термина, т. е. независимые операторы в разных странах стали объявлять о проектах Terragraph-подобных сетей, построенных по аналогичному принципу, но никак не связанных с бизнесом компании Facebook.
Идея Terragraph
Когда в 2014–2015 гг. в мире появилась концепция «Гигабитный Интернет в каждый дом и малый офис», также известная как FTTP/FTTH (fiber-to-the-premises/fiber-to-the-home), то казалось, что единственный вариант ее реализации — опутать все волокном. Иначе говоря, в качестве физической сети эта концепция безальтернативно предполагала прокладку оптоволоконного кабеля к каждому зданию, а лучше к каждому домохозяйству или малому офису. Особо заметен на этом фоне был Google, запустивший в 2015 г. в семи городах США масштабный и щедро финансируемый проект Google Fiber (рис. 1) [3].
Цель таких проектов, несомненно, была и остается благой — цифровой прорыв в развитии общества, создание равных возможностей для семей с разным достатком при доступе к образовательным ресурсам и профессиям. Однако при подсчете бюджетов обустройство гигантского сетевого хозяйства с прокладкой бесчисленного количества оптических кабелей в городах (особенно в районах исторической застройки) оказалось очень затратным мероприятием, которое растянется на годы.
При этом вариантов «сэкономить» при прокладке волокна не так уж и много. Львиная доля расходов в таких проектах приходится на разнообразные «полевые работы», такие как вскрытие асфальта и выкапывание траншей, или на довольно дорогую аренду телекоммуникационных колодцев.
К примеру, в проекте FTTH для Сан-Франциско [4], предложенном в 2017 г., речь шла о выделении средств муниципалитета в размере $2 млрд для города с населением 1 млн человек. Следовательно, дотянуть оптику к каждому абоненту стоило бы $2 тыс. (за точку). Ничего удивительного: города в Калифорнии раскидистые, имеют огромные площади коттеджной застройки, а выкопать всего 1 м траншеи для оптоволоконного кабеля стоит до $150.
Результаты первых внедрений Google Fiber FTTH в Канзас-Сити (США) не замедлили сказаться на проекте. Уже через год Google объявил о покупке оператора беспроводной связи Webpass для удешевления процесса инсталляции в следующих восьми городах — Лос-Анджелесе, Сан-Диего, Сан-Хосе, Портленде, Фениксе, Чикаго, Джексонвилле и Тампе. А путь с раскопками решили максимально сократить, используя беспроводные подключения везде, где возможно. Кстати, упомянутый выше проект FTTH в Сан-Франциско тоже подвергся влиянию беспроводных альтернатив, об этом мы еще скажем.
Аналитик Бенуа Фельтен (Benoit Felten) так отозвался о фиаско с оптикой у Google Fiber [5]: «Я предполагаю, что был один фундаментальный просчет: в Google верили, что они могут революционизировать укладку волокна, могут развернуть его намного дешевле и гораздо быстрее, чем кто-либо еще. Это полностью соответствует мышлению Google, но, к сожалению, игнорировался тот факт, что сотни компаний уже много лет прокладывали инфраструктуру проводного доступа к тому времени, когда в Google Fiber решили это попробовать».
Как мы видим, даже удешевление сетевого оборудования и волокна здесь не поможет, ведь зарплаты экскаваторщика, машиниста асфальтоукладчика, монтажника и других рабочих специальностей, а также стоимость аренды телекоммуникационных колодцев только растут.
Но тут на рынке произошли изменения, которые хотя и ожидались, но случились гораздо раньше, чем кто-то себе мог вообразить. Речь идет о появлении сверхдешевых гигабитных радиолинков, работающих на частотах 60 ГГц. Возможность за сумму от $100–150 организовать дуплексное гигабитное соединение на трассе длиной до нескольких сотен метров появилась впервые, и это сразу изменило экономику FTTH-проектов.
Новые перспективы беспроводной связи подхватила компания Facebook. Она первой на рынке предложила концептуальный проект Terragraph, который на глазах становится именем нарицательным. Кроме чисто футуристических целей — создавать лучшее будущее, — Facebook преследовала (и преследует) коммерческий интерес. Это плата за Интернет для домохозяйств, рост числа пользователей социальной сети с соответствующими доходами от рекламы и удорожания акций самой Facebook.
Архитектура сети под названием Terragraph выглядит как ячеистая сеть, покрывающая территорию мелкими сотами с длиной пролетов в среднем до 100 м. Базовые станции 60 ГГц монтируются на опорах освещения, крышах малоэтажных зданий и иных местных сооружениях и объединяются в группы с автономным управлением и распределением трафика.
Изначально в качестве оборудования узлов Terragraph планировалось использовать базовые станции с фазированной антенной решеткой [6], которые имели бы 360°- или секторное покрытие. Такие станции, сканируя окружающее пространство лучом, находили бы себе подобных после установки, реализуя принцип самоорганизующейся сети с возможностью самовосстановления (рис. 2). При сбое одной из станций происходили бы поиск и переключение направления антенн на соседние работоспособные станции. Однако в дальнейшем, в пилотных проектах Terragraph, от идеи сложных систем со сканированием лучом отказались, используя обычные радиолинки «точка-точка» (FWA, Fixed Wireless Access).
В пилотах Terragraph применяются станции WiGig, работающие в стандартах 802.11ad и 802.11ay с разделением радиочастот по времени TDD/TDMA. Радиолинки соединяются друг с другом, образуя сеть уровня 3 (L3), которая может масштабироваться на больших географических территориях. Гибкость архитектуры обеспечивается программным обеспечением маршрутизации между конечными абонентами и точками обмена трафиком с магистральной сетью.
При использовании WiGig есть проблема — в диапазоне 5-мм длин волн (60 ГГц) ввиду ослабления в атмосферном кислороде сигналы распространяются всего на сотни метров, сильно поглощаются дождем и листвой, не проходят сквозь стены и окна. Чтобы доставить трафик в домохозяйства, провайдерам приходится использовать архитектуру беспроводных сетей FWA, в которых базовые станции 60 ГГц передают сигнал стационарному клиентскому терминалу, расположенному снаружи здания (CPE, Customer Premises Equipment). Далее с этого терминала уже делается разводка «витой парой» или оптикой внутри здания.
Ячеистую сеть типа Terragraph можно использовать в двух вариантах — как среду для доступа к Интернету домохозяйств и малых офисов и как опорную магистраль для покрытия общественных пространств зонами Wi-Fi (и зонами 5G в будущем).
Планы Terragraph на 2020 год
Собственно говоря, в 2020 г. проект, по материалам Facebook, будет развиваться в двух направлениях: создание новых пилотных зон и сотрудничество с производителями в выпуске оборудования под спецификации проекта (стек TCP/IP типа Terragraph).
Венгрия была не единственным местом для пилота — Facebook расширила географию проекта, проведя в 2019 г. испытания в Малайзии (рис. 3) [7] с оператором YTL Communications и в Индонезии с XL Axiata. На 2020 г. компания наметила полевые испытания в Бразилии с операторами Claro и Vivo. Также будут проведены новые испытания в Афинах, где есть микроволновая исследовательская лаборатория Deutsche Telekom.
У Terragraph развивается партнерское направление с производителями оборудования, хотя темпы проекта отстают от заявленных. В конце 2018 г. несколько производителей оборудования, включая Cambium Networks, Siklu, Nokia и Qualcomm, сообщили о намерении выпустить коммерческие радиолинки 60 ГГц, в которые будет интегрирован программный стек Terragraph.
К началу 2020 г. ситуация у большинства партнеров Facebook была следующая:
- О запуске линейки продуктов Siklu Terragraph [8] в виде станций «точка-многоточка» 60 ГГц третьего поколения в ноябре 2019 г. сообщила компания Siklu, но пока о коммерческих поставках сведений нет.
- Radwin [9] тоже отчиталась о доступности оборудования Terragraph и в феврале 2019 г. объявила о пилоте в Огайо (США) на небольшом участке коттеджной застройки, далее новостей от них нет.
- Intel объявила [10], что будет поддерживать наборы микросхем для Terragraph.
- Qualcomm [11] дебютировала с семейством 60-ГГц Wi-Fi-сертифицированных чипсетов Terragraph, которые могут охватывать несколько вариантов использования, включая фиксированный беспроводной доступ FWA (похоже, про варианты со сканированием лучом решено забыть).
Два партнера, Nokia и Common Networks, вообще не слишком преуспели в сотрудничестве с Facebook. Роль Nokia [12] предполагалась в использовании в терминалах отраслевого стандарта IEEE 802.11ay, адаптированного Nokia под маркой Wireless PON. Однако на сайте Nokia никакой информации с 2018 г. на тему сотрудничества с Facebook пока не появилось.
Роль Common Networks (стартап из Сан-Франциско) [13] должна была состоять в обустройстве тестовых площадок на территории США. Но, судя по цитате на сайте Common Networks, у этого партнера есть и иные цели. «Хотя мы сотрудничаем с Facebook Terragraph, Common не зависит от этой технологии. Мы в восторге от работы, проделанной командой Facebook над общим развитием 60-ГГц экосистемы. Мы используем уникальную комбинацию технологий миллиметровых волн (включая Terragraph) и также пробуем 5G», — сообщил Зак Брок (Zach Brock), генеральный директор Common Networks.
Оптические каналы и Terragraph
Хотя Terragraph позиционируется как полностью беспроводная сеть, на порядок ускоряющая (в сравнении с FTTP/FTTH) сроки развертывания и снижающая расходы на подключение гигабитного Интернета к каждому потребителю, в ее структуре должны быть многочисленные узлы подключения к оптическим каналам (или магистральным радиорелейным линиям). Эти узлы Facebook называет DN (Distribution node). Иными словами, технология Terragraph не особо ущемляет бизнес «классических» операторов, владеющих оптическими каналами, — наоборот, дает им новые ниши для развития.
К примеру, американская компания AT&T, занимающая на рынке оптических линий связи в США такое же доминирующее положение, как «Ростелеком» в России, взялась строить Terragraph-подобную сеть [14] как транспортную основу для 5G в Сан-Хосе, городе-миллионнике в Калифорнии.
Контракт, подписанный с городским муниципалитетом Сан-Хосе, предполагает развертывание 170 сот, в которых будет задействовано до 1500 базовых станций диапазона 60 ГГц, расположенных на столбах уличного освещения. Интересно, что в среднем к каждому 10-му из этих столбов предполагается подвести оптический кабель 10 Gigabit Ethernet от магистральных линий AT&T. Возможно, это сделано из-за задержек в DN-узлах, которые по ранним спецификациям достигают 0,5 мс. Десяток пролетов — и в узлах набирается задержка, уже критическая для функционирования некоторых мультимедиа-сервисов. На карте проекта (рис. 4) красными точками показан пример размещения DN-узлов Terragraph с подключением по оптике, зеленые точки — обычные станции 60 ГГц.
Есть и другой пример взаимодействия «классического» оператора и Terragraph. Оператор Common Networks, уже упомянутый партнер Facebook, смог запустить проект в Сан-Франциско и строит там свою сеть Terragraph [15] для гигабитного подключения домохозяйств и малых офисов к Интернету.
Магистральные радиолинии 70/80 ГГц для подключения станций Terragraph
Итак, ячеистой Terragraph-подобной сети не обойтись без множественных точек подключения к магистральным каналам 10GE / 40GE. В примере с Сан-Хосе компания AT&T говорит об одном 5-гигабитном подключении к магистральной оптике на 10 базовых станций 60 ГГц (или 10 Гбит на 20 станций). Однако не везде и не всегда строить оптические магистрали для запитки трафиком DN-узлов экономически целесообразно, особенно если прокладке кабеля мешают серьезные ландшафтные (река, горы, территория заповедника и т. д.), техногенные или законодательные (охранные зоны) преграды.
В 2019 г. 40-гигабитный радиомост через Енисей для «Норникеля» установил мировой рекорд беспроводной связи по емкости/дальности [16], показав тем самым, что дальнобойные РРС диапазона 70/80 ГГц вполне способны передавать данные со скоростью, идентичной магистральной оптике. Как раз такие возможности требуются для подключения DN-узлов Terragraph.
Из РРС 10GE 70/80 ГГц можно смонтировать ячеистую беспроводную транспортную сеть (рис. 5) с коммутаторами L3, дополняющую оптику в масштабах целого города (особенно на трудных для прокладки кабеля маршрутах). Такая сеть будет обладать свойствами самонастройки с балансировкой загрузки и оптимизации путей трафика. Типичная длина беспроводной трассы может составлять около 3–6 км, с коммутаторами 1/10GE в узлах для обслуживания расположенных вблизи станций 60 ГГц емкостью 1 Гбит и домовых сетей.
Пример такой беспроводной широкополосной ячеистой сети L3 диапазона 70/80 ГГц предложила компания «ДОК» [17]. Сеть устойчива к влиянию атмосферных осадков ввиду длинных пролетов и множества резервных лучей в разных направлениях. Сеть 70/80 ГГц предполагает совместное развертывание с оптикой. Уже от этой опорной сети можно запитывать Terragraph-подобную сеть 60 ГГц.
Заключение
Terragraph-подобные сети диапазона 60 ГГц после нескольких успешных пилотов получили признание как вполне рабочая и перспективная технология. Как показали эти проекты, DN-узлы Terragraph требуют подключения к магистральной оптике в пропорции от 1:10 до 1:20, поэтому ячеистые сети не несут прямой угрозы бизнесу традиционных кабельных операторов, а скорее открывают новые возможности для развития.
Интересным примером реализованной Terragraph-подобной сети диапазона 60 ГГц от независимого оператора является сеть, развернутая в центре Лондона компанией Cambridge Communication Systems (CCS) [18]. Эта 60-ГГц FWA-сеть (Fixed Wireless Access) служит для запитки зон Wi-Fi в общественных местах, передачи трафика от камер наблюдения и подключения к широкополосному Интернету местных клиентов малого бизнеса и домохозяйств (рис. 6). Компания CCS успешно реализовала изначальный принцип базовых станций Terragraph — круговую диаграмму антенн с возможностью автопоиска других базовых станций и конечных терминалов (CPE, Customer Premises Equipment), а также самовосстановление при отказах некоторых базовых станций за счет автоматического переключения направления антенн и изменения путей трафика.
Ячеистые сети типа Terragraph облагают несколькими преимуществами, которые с высокой вероятностью гарантируют будущее этой технологии:
- Топология ячеистой сети с соединениями каждого радио с несколькими другими радио обеспечивает резервирование путей для трафика (дублирование путей по принципу раннего Интернета).
- Мелкоячеистые соты 60 ГГц отлично подходят для трафика IoT, видеокамер Safe City, организации общественных зон Wi-Fi в парках, на остановках транспорта и подобных местах, а также как опорная сеть для развертывания 5G (пилот в Сан-Хосе).
- О выпуске дешевых станций «точка-многоточка» и «точка-точка» 60 ГГц объявляют все больше производителей (MicroTik, Cablefree, CCS и др.), причем независимо от партнерства с Facebook.
- Станции ячеистой сети 60 ГГц можно устанавливать на зданиях для последующей подачи гигабитного трафика к домовым сетям по оптике (FTTH) или витой паре.
- Доступность составляет 99,99% и может быть достигнута уже с помощью трех радиолинков в каждой точке.
Развертывание опорной радиосети 70/80 ГГц и сети типа Terragraph 60 ГГц для города-миллионника может занять несколько кварталов, но не лет. В малых городах на 100–500 тыс. жителей проект Terragraph-подобной сети может быть выполнен еще быстрее.
FTTH — оптоволоконная сеть, которая рассчитана на предоставление гигабитного доступа к Интернету для домохозяйств и малого бизнеса. Различают технологии AON и PON, отличающиеся наличием или отсутствием активного оборудования на пути от сетевого узла до потребителя.
Ячеистая радиосеть (mesh network) представляет собой массовое покрытие территории жилого массива и/или промышленного района большим количеством гигабитных радиолиний «точка-точка» полнодуплексного режима (не Wi-Fi). Каждая радиолиния имеет несколько путей подключения к ближайшему узлу, образуя запасные пути соединения, — тем самым копируется принцип изначального построения Интернета.
- terragraph.com
- habr.com/ru/post/448236
- fiber.google.com
- telecoms.com/488950/san-francisco-building-own-open-access-fibre-network-for-1-9bn
- diffractionanalysis.com/opinions/2016/10/salvaging-google-fibers-achievements
- engineering.fb.com/connectivity/introducing-facebook-s-new-terrestrial-connectivity-systems-terragraph-and-project-aries
- digitalnewsasia.com/mobility/ytl-comms-penang-terragraph-trial-hits-170mbps-peak-download-speed
- siklu.com/press-release/siklu-announces-the-terragraph-product-family
- radwin.com/press-room/terragraph-60ghz-mesh
- itpeernetwork.intel.com/terragraph-radwin/#gs.skw4ix
- qualcomm.com/news/releases/2018/10/16/qualcomm-dramatically-extends-wi-fi-experiences-5g-era-60ghz-80211ay
- nokia.com/about-us/news/releases/2018/02/25/nokia-and-facebook-work-together-to-expand-ecosystem-for-fixed-wireless-access-over-60-ghz
- common.net/technology
- static1.squarespace.com/static/5c47aec9710699200cbec89e/t/5c762545eb393114c85db4a7/1551246666558/Economics+of+Terragraph.pdf
- lightreading.com/mobile/5g/san-francisco-wisp-buys-facebooks-60ghz-terragraph-equipment/d/d-id/749620?_mc=RSS_LR_EDT
- habr.com/ru/post/467753
- dokltd.ru/products/a20242
- ccsl.com/self-organising-nodes