Строительство сети данных

Все ресурсы были разделены с точки зрения максимальной экономии ресурсов адресного пространства, поскольку современный рынок услуг всё больше и больше сталкивается с исчерпанием адресов IPv4.

Весной 2012 года европейский регистратор RIPE NCC, который ведёт распределение адресного пространства IPv4 в Европе, сообщил что адреса четвертой версии протокола IP закончились и более не выдаются Carolyn Duffy Marsan. Suddenly everybody's selling IPv6. Network World (February 7, 2011). В связи с этим, в последние годы видна положительная тенденция предоставлении сервисов по протоколу IP шестой версии. Для реализации возможности предоставления подобных услуг клиентам ЦОД и узлов связи, возможно использование т.н. Native Ipv6, либо 6PE технологии на датацентровой сети.

Первый метод, нативный протокол шестой версии, подразумевает создание второй, параллельной логической инфраструктуры рядом с существующей. То есть использование второго протокола внутридоменной маршрутизации, повторную нумерацию интерфейсов из адресного пространства 6 версии. Однако, поскольку сеть передачи данных ЦОД использует MPLS в своей работе, возможно использование т.н. сервиса 6PE. В этом случае, нативный IP шестой версии используется только на местах подключения, например, на узле связи, на котором клиент запросил IPv6, а в ядре сети подобный трафик пересылается с использованием дополнительной метки к IPv4 соседу. Такой подход позволяет также использовать все преимущества балансировки нагрузки посредством создания автоматических тоннелей, которые описаны в главе 4.2, а также иметь фактически полное соответствие политик маршрутизации трафика IPv4 и IPv6.

4.2 Методы балансировки нагрузки

Ключевым аспектом эффективного построения сети центров обработки данных является корректное распределение трафика между узлами связи исходя из загруженности физических каналов передачи данных. Базовый функционал такого распределения лежит на протоколе внутридоменной маршрутизации OSPF, который позволяет передавать трафик по кратчайшему пути.

Из представленных ранее схем понятно, что некоторые каналы передачи данных являются резервными и в стандартном случае начнут работать только при выходе из строя одного из основных каналов связи. Такой подход очевидно несёт в себе большой финансовый минус, ведь невозможно использовать резервный канал связи до тех пор, пока работает основной, то есть около половины соединений работает вхолостую. В качестве примера рассмотрим характер следования трафика от узлов в Российской Федерации к узлам в ЦОД Симферополь. Подобный трафик проходит через г. Керчь, а далее по прямому оптическому волокну следует в г. Симферополь. При необходимости увеличить пропускную способность такого оптического канала единственным решением будет добавление второго аналогичного канала.

Несколько улучшить ситуацию может реализация балансировки нагрузки по путям одинаковой стоимости, например, при подключении г. Алушта (см. Рисунок 26), существуют два пути одинаковой стоимости с точки зрения протокола маршрутизации.

Рисунок 24. Стандартная балансировка ECMP

Подобная балансировка работает по умолчанию и называется ECMP [Equal Cost Multipath]. Вследствие одинаковой стоимости путей, используются сразу оба оптических канала. Однако при подключении центров обработки данных существует лишь один лучший путь с точки зрения протокола маршрутизации и это прямой путь.

Для канала Симферополь - Керчь организовано подключение 2х40Гбит/с, а все резервные маршруты просто не используются пока работает основной канал передачи данных (см. Рисунок 27).

Рисунок 27. Неоптимальное использование резервирования в стандартной схеме ECMP

При необходимости расширения полосы от Симферополя до Керчи в стандартном режиме необходимо добавить оптический канал передачи данных, поскольку использование неодинаковых по стоимости OSPF-маршрутов не допускается во избежание петель.

Для преодоления подобных проблем, сеть связи использует балансировку нагрузки в ядре сети по технологии MPLS TE AUTOBW. Для этого каждый логический интерфейс, который соединяет одно устройство ядра сети с другим, или иными словами каждый интерфейс в зоне 0 протокола OSPF, включен в MPLS/IP домен. При этом, задана вручную пропускная способность каждого интерфейса передачи данных и внесена в пул доступных ресурсов протокола RSVP [Resource Reservation Protocol]. От виртуального интерфейса петли каждого устройства строится по четыре MPLS-туннеля, или LSP [Labeled Switched Path] - путь коммутации по меткам, до всех устройств ядра. Метрики протокола OSPF искусственно занижаются на созданных тоннелях и анонсируются в общий домен маршрутизации ядра сети. Включенная по умолчанию многопутевая балансировка трафика по путям с одинаковой стоимостью начинает работать таким образом, что трафик между устройствами начинает ходить по тоннелям, равномерно распределившись по всем созданным объектам (см. рисунок 28).

Рисунок 28. Включение MPLS TE между двумя устройствами сети

При этом сам тоннель строится исходя из логики работы протокола RSVP, которая заключается в запросе ресурсов полосы на каждом физическом канале связи, через который строится LSP. Полоса, которую запрашивает тоннель определяется динамически исходя из среднего числа бит, прошедших в секунду. Таким образом, в случае, если между двумя точками сети происходит перегрузка, протокол RSVP перестраивает конкретный тоннель с большим количеством трафика через другой физический канал, при этом не влияя на саму маршрутизации (см. Рисунок 29).

Рисунок 25. Перестроение LSP при использовании MPLS TE auto-bw

С точки зрения клиента данный функционал прозрачен и не виден каким-либо образом, однако позволяет справляться с перегрузками внутри сети между ЦОД в автоматическом режиме.

LSP предполагает назначение хвостовым маршрутизатором дополнительной метки, которая добавляется в стек или к пустому L2 кадру. Из-за того, что тоннели имеют одинаковую метрику OSPF, работает стандартная балансировка нагрузки по путям одинаковой стоимости, несмотря на то как простроен каждый конкретный тоннель. Как только физический канал становится перегружен, протокол RSVP сигнализирует о том, что ресурсы интерфейса кончились, а значит уже невозможно построить все четыре тоннеля через него. Происходит сквозной перенос канала через транзитный маршрутизатор.

4.3 Схемы и способы реализации типовых клиентских услуг в ЦОД и на узлах связи

Сервисы, которые способна предоставить сеть ЦОД весьма обширны и определяются широкими возможностями выбранного сетевого оборудования и наличием высокого спроса на современные телекоммуникационные услуги. Приведённые примеры показывают избранный функционал, который стал возможен благодаря иерархическому подходу к построению сети, а также использованию передовых технологий доступа.

В рамках услуги размещения оборудования заказчиков в центрах обработки данных, планируется поставить на обслуживание серверное оборудование крупнейших генераторов контента в Российской среде. Как было определено ранее, подобными генераторами контента для трафика из Крымского Федерального Округа являются:

· Сервис Вконтакте;

· Почтовые и социальные сервисы мейл.ру (включая сайт ok.ru)

· Поисковые, почтовые и иные сервисы компании Яндекс

· Поисковые, почтовые и иные сервисы компании Google

Суть предлагаемой данным компаниям услуги заключается в предоставлении размещения кеширующих серверов перечисленных компаний на территории датацентров округа, а также каналов связи с доступом в Интернет. Установленные в центре обработки данных сервера выполняют функции CDN-сети [Content Delivery Network] для пользователей сети передачи данных датацентра. Активный трафик абонентов, который поступает до указанных компаний, сохраняется на дисках и в хранилищах данных серверов, установленных в ЦОД, таким образом при повторном запросе любым пользователем подобных данных, трафик будет следовать непосредственно из ЦОД, не выходя в Интернет. Этот факт означает существенное сокращение времени загрузки подобного контента пользователем, а также разгрузку транспортной магистрали на сети, а также у вышестоящих провайдеров.

Процент попаданий подобных серверов составляет от 70-90%, т.е. наибольшая часть пользовательского трафика перейдет непосредственно на подобные серверы. При этом гарантируется полная прозрачность сервиса для конечного клиента, а также уменьшение времени ответа конечному клиенту. Сервера обучаются в автоматическом режиме, что означает то, что в случае отсутствия запроса контента на кеширующем сервере, он будет добавлен после первой загрузки и прохождения трафика по сети провайдера (см. Рисунок 30).

Рисунок 30. Взаимодействие Global Cache и ЦОД

Предположим, что Клиент 1 обращается через корневой ДНС сервер и запрашивает информацию о требуемом ресурсе, принадлежащем компании Google. Запрос достигает ДНС сервера Google и передается в их собственный датацентр. Далее требуемый ресурс передается клиенту по его запросу, а также на CDN-сервер, расположенный в ЦОД Крымского региона GGC [Google Global Cache]. Второй и любой последующий запрос попадает от клиента напрямую в тот ЦОД, в котором располагается сервер CDN, что сокращает задержку в несколько раз, т.к. трафик перестает преодолевать значительные расстояния по публичным каналам, а проходит по внутренней сети центров обработки данных. Аналогичная услуга может быть организована для всех существующих генераторов трафика Рунета и Интернета. Google Global Cache Installation and Operations Guide. Feb 2015

Услуга IPv4 Интернета (см. Рисунок 31) потенциально является самым популярным сервисом для заказчиков ЦОД, поскольку даёт базовую связность ресурсов клиентов с миром и Россией, в частности.

Рисунок 31. Предоставление услуг доступа в Интеренет в ЦОД на адресном пространстве сети

Суть решения в том, что клиенту выдаётся некоторый блок адресов из внутреннего пространства сети. Шлюз клиента резервируется протоколом VRRP таким образом, чтобы он был виртуально разделён на два сетевых устройства Nexus7700. Далее IPv4 сеть анонсируется вышестоящим провайдерам услуг связи цельным блоком. Подобный подход позволяет агрегировать сети с целью сокращения маршрутной информации, а также осуществлять резервирование первого узла связи от клиента к провайдеру.

В случае наличия собственного адресного пространства у заказчика, возможно использование услуг IPv4 транзита (см. Рисунок 32)

Рисунок 32. Осуществление IPv4 транзита сетей клиентов

Суть услуги в передаче клиентской сети, выданной регистрационными органами более крупным мировым и Российским операторам связи.

На сети передачи данных использована технология работы с мультикаст-трафиком. Данный тип трафика используется в рамках предоставления населению услуг телерадио вещания, а также репликации баз данных между центрами обработки данных. На точках обмена трафиком от операторов связи, имеющих лицензию на оказание услуг трансляции IPTV, принимается по протоколу MSDP [Multicast Source Discovery Protocol] список групп телеканалов с указанием адреса источника. Далее информация по активным каналам с помощью протокола PIM [Protocol Independent Multicast] попадает на устройства связи ядра сети. Выбрана т.н. sparse версия этого протокола, то есть канал вещается исключительно после приема IGMP запроса на вещание канала хотя бы от одного клиента, что существенно экономит полосу пропускания на сети. Для получения независимой маршрутной информации о телеканалах, с операторами, предоставляющими IPTV (Ростелеком, Укртелеком) поднимается BGP-соседство в мультикастовой адресной группе (см. Рисунок 33).

Рисунок 33. Организация услуги телевещания для городов региона

Локальному провайдеру ВИКС в г. Алушта предоставляется агрегированный список каналов по протоколу MSDP, включение или выключение каждого канала включается посредством приёма сообщения PIM Join на интерфейсе точка-точка в месте включения провайдера.

Организация любой сети центров обработки данных с получением лицензии на осуществление деятельности в области телекоммуникаций, предусматривает исполнение обязательств, наложенных государственными органами РФ по фильтрации ресурсов, попадающих в единый реестр запрещённых ресурсов РФ. Данный сервис выполняется в смешанном программно-аппаратном режиме. Ежедневно производится выгрузка данных из реестра по IPv4 адресам запрещённых ресурсов, после чего в ЦОД и резервный ЦОД добавляется маршрут до запрещенного адреса, указывающий в качестве адреса следующего маршрутизатора адрес 192.0.2.0. На каждом маршрутизаторе провайдера адрес 192.0.2.0 маршрутизируется в интерфейс ноль (NULL0), то есть трафик на данный адрес отбрасывается. Это позволяет вести фильтрацию всех ресурсов, перечисленных в едином реестре.

Услуги VPN могут на сети выполнены в нескольких вариантах. Организация каналов точка-точка или VPLS предоставляет заказчикам прозрачные каналы или группу каналов второго уровня от одной точки включения до другой. Для примера используется предприятие Массандра, которое располагает свои сервера в двух центрах обработки данных (Симферополь и Джанкой), а также подключает точку в г. Алушта в режиме канала второго уровня.

При организации подобной схемы (см. Рисунок 34), задается VPN-идентификатор и VPN-процесс, для которого в ручном режиме указываются PE устройства, которым необходимо доставлять трафик клиента с этим VPN. Клиентский трафик от всех точек тегируется специальной MPLS-меткой VPN-ID, на которую сверху записывается транспортная метка для осуществления дальнейшей доставки по сети.

Рисунок 34. Схема организации VPLS для предприятия «Массандра»

Вид со стороны клиента на услугу L2VPN показывает то, что на потребительской стороне каналы словно подключены в один коммутатор и один broadcast-домен, тогда как на стороне провайдера происходит значительно более сложные процессы.

Услугу L3VPN покажем на примере предприятия ОАО «Российский Национальный Коммерческий Банк». Банк имеет несколько офисов в разных городах, а также использует построенные центры обработки данных для обслуживание своего сетевого оборудования. Ключевая особенность реализации L3VPN в том, что устройства PE, в нашем случае это маршрутизаторы сети передачи данных, принимают участие в осуществлении маршрутизации трафика по клиентскому протоколу. Внутри ядра сети, маршрутная информация передается независимо для каждого клиента по протоколу MP-BGP. Идентифицировать каждого клиента позволяет VPN-ID метка MPLS, а уникальным префикс делает особый префикс, добавляемый к стандартному NLRI IPv4 unicast под названием Route-Target (см. Рисунок 35).

Рисунок 35. Организация услуги L3VPN на базе сети ЦОД

Объединение сетей одного заказчика происходит с помощью концепции VRF, которая позволяет использовать одинаковую адресацию в пределах одного клиента.

Способность оказывать и реализовывать различные комплексные услуги с применением одного набора оборудования говорят о высоком уровне масштабируемости сети передачи данных, а также о корректно выбранных сетевых компонентах при проектировании датацентров.

4.4 Реализация межсетевого взаимодействия с внешними сетями передачи данных

Сеть центров обработки данных обязана иметь выход во внешние сети для обеспечения населения доступом в Интернет, а также к российским и европейским ресурсам. Подобное взаимодействие было проработано с учетом обеспечения мер резервирования и отказоустойчивости. Точки обмена трафиком используют высокопроизводительные маршрутизаторы Juniper MX480 и линейные карты большой портовой ёмкости для осуществления подключений к вышестоящим операторам связи.

На узлах обмена трафиком используется два концептуально различных типа подключения. Первый тип - подключение к upstream-провайдеру (вышестоящему), что предполагает анонсирование в сторону подобного провайдера всех сетей клиентов и собственного адресного пространства, а также приём полной таблицы маршрутизации Интернет. Второй тип подключения - пиринговое подключение. Оно используется в случае стыковки двух равнозначных сетей передачи данных, при этом сеть ЦОД Крымского федерального округа осуществляет анонсирование своего адресного пространства, а также пространства своих клиентов, приём осуществляется по т.н. AS-MACRO пиринг-партнера, т.е. принимаются только downstream-сети пиринг-провайдера, а также собственное адресное пространство.

В качестве вышестоящих операторов, реализующих IPv4 транзит для сети датацентров Крымского Федерального Округа для подключения в г. Керчь выбраны операторы Ростелеком (AS12389), Эр-Телеком (AS9049), МТС (AS8359); в г. Красноперекопск Укртелеком (AS6849) и Евротранстелеком (AS35320).

В качестве пирингового взаимодействия осуществляется подключение к операторам связи Крымтелеком (AS28761), Топнет (AS21011), Датагрупп (AS21219), Миранда-Медиа (AS201776), Крелком (AS6789), Филанко (AS29076), Ардинвест (AS196705), Криснет (AS5593) (см. Рисунок 36). Сеть центров обработки данных имеет открытую пиринговую политику при условии наличия у партнёра оборудования с поддержкой интерфейсов 10Base-ER.

Рисунок 36. Схема взаимодействия с внешними операторами региона

ASN65500 является частной немаршрутизируемой и используется в документации, поскольку выдача реальной автономной системы осуществляется по запросу в регулирующие органы уже по факту выполненной инсталляции сети.

4.5 Выводы

Настоящий раздел описывает порядок реализации клиентских услуг на сети центров обработки данных, приводит схемы организации межсетевого взаимодействия компонентов системы. Получены нижеследующие выводы.

· Сеть передачи данных с возможностью балансировки трафика средствами MPLS TE использует протокол маршрутизации по состоянию канала OSPF.

· При использовании зеркалирования маршрутов, организация полносвязной BGP топологии не требуется, что приводит к улучшению связности целой системы.

· Разработан план адресации узлов и каналов передачи в ЦОД и на узлах связи.

· Разработано решение по предоставлению в регион услуги IPTV с помощью многоадресной рассылки данных, полученных от транзитных операторов свяи (Ростелеком, МТС).

· Разработано решение по предоставлению услуг VPN второго и третьего уровня на базе сети центров обработки данных для предприятий региона.

· Обозначены основные внешние партнёры и сервис-провайдеры, которые готовы устанавливать пиринговые отношения с сетью, разработанной в рамках дипломного проекта.

· Предложены идеи улучшения связности региона и предоставления населению популярных ресурсов с уменьшенной задержкой с использованием доступа к сети передачи данных

5. Оценка эффективности проектных решений

5.1 Определение основных показателей эффективности сети

Для осуществления оценки эффективности построенной сети передачи данных, необходимо в первую очередь определить критерии эффективности. Множество критериев, которые чаще всего используются для оценки работы сети, можно условно поделить на две большие группы: критерии надежности и критерии производительности сети передачи данных.

Первым показателем эффективности работы сети является её время реакции. Компьютерные сети. Эндрю Таненбаум: Питер 2007г.Под временем реакции территориально распределённой сети передачи данных понимается задержка на прохождение пакета от момента попадания в сеть до момента выхода из неё. Подобный критерий хорошо характеризует физический и канальный уровни работы сети. Современные сетевые инструменты используют в своей работе этот параметр как показатель текущей эффективности сети. Понятие время реакции определено также и для других уровней сетевой модели, поскольку протоколы передачи данных могут использовать режим установления соединения в своей работе, однако в основе построенной сети лежит протокол Ethernet, который не подразумевает установление какого-либо соединения, а значит возможности по измерению задержки здесь ограничены транспортными потерями времени на коммутацию, маршрутизацию и расстояние, которое проходит сигнал.

Вторым показателем работы сети является её производительность или пропускная способность. Средства анализа и оптимизации локальных сетей. Н.А. Олифер, В.Г. Олифер Центр Информационных Технологий, 1998 Это статичная характеристика, которая характеризуется максимальным количеством информации, которое может обработать сеть передачи данных в единицу времени. Подобная характеристика была задана при проектировании сети датацентров, в техническом задании, однако реальные цифры пропускной способности сети определяются конкретным проектным решением. При анализе данного показателя возможны различные трактовки относительно того, в каком месте сети необходимо определить производительность. В случае с территориально распределённой сетью передачи данных, каждый её участок, например, центр обработки данных или узел связи, обладает запасом по полосе, который может быть передан, при этом ядро сети суммарно готово к транспорту трафика на максимальной скорости от каждого узла, каналы в мир при этом могут быть значительно уже, чем производительность собственно оптической части сети. Стоит также отметить, что описывать производительность сети можно в двух вариантах: количестве пакетов, которые может сеть пропустить через себя в секунду, либо максимальном количестве бит, которые пропускает сеть в секунду. Эти две характеристики не связаны между собой и как правило одновременно могут дать комплексную картину производительности сети.

Комбинация двух параметров: задержки и пропускной способности, описывает эффективность сети с точки зрения производительности, что является самой частой пользовательской оценкой сети передачи данных. Ведь основная задача для которой строится сеть - передать как можно больше информации за минимальное количество времени. При этом, задержка и пропускная способность зависят друг от друга: при увеличении количества трафика, а точнее при превышении максимально доступной пропускной способности сети, увеличится и задержка на прохождение пакетов, ведь трафик будет скапливаться в очереди, обрабатываться согласно включенной политике качества сервиса, а значит испытывать затруднения при прохождении.

Показатели надежности и отказоустойчивости, которые были рассчитаны в главе 3 конструкторско-технологической части дипломного проекта, также являются показателями эффективности сети передачи данных. Однако, при оценке эффективности целесообразно использовать марковские модели надежности восстанавливаемых систем, поскольку они наиболее подходят для оценки параметров многоуровневых сетей третьего уровня. Расчётные характеристики надежности показывают то, с какой вероятностью транспортная сеть передачи данных будет работать в произвольный момент времени, а конкретному пользователю интересно то, с какой вероятностью именно его подключение будет работать, как долго оно будет работать до аварии, сколько аварий будет в календарном году.

Подобный анализ опирается на логическую топологию территориально-распределённой сети и конкретные настройки коммутационного и телекоммуникационного оборудования, коммутаторов доступа. Марковские модели опираются на положение о том, что в любой момент времени, вероятностные характеристики процесса зависят только от состояния объекта в данный момент времени, независимо от того как система перешла в это состояние, что для этого было сделано.

Положительными показателями эффективности сети в отношении надежности системы, являются высокая готовность системы, их устойчивость к отказам, за счет, например, резервирования подключений, коммутации, функциональных блоков и непрерывная готовность, обеспечивающая восстановление системы в пределах нескольких секунд.

Комплексная взвешенная функция из приведённых параметров даёт наиболее полную оценку эффективности сети передачи данных.

5.2 Методики измерения и оценки показателей эффективности

Очевидно, что для оценки показателей эффективности и нахождения взвешенной функции эффективности, необходимо провести измерения, либо расчет входящих в функцию показателей.

Методики измерения сетевой задержки на сети передачи данных сводятся к отправке тестового сообщения стандартного протокола и замеру времени ответа на это сообщение. Для создания подобного сообщения используют протокол ICMP, стандартизированный в RFC792. Протокол определяет несколько видов сообщений, среди которых с точки зрения измерения задержек, нас интересует два:

· Тип 0, код 0 - ICMP echo request. Сообщение эхо запроса узла связи

· Тип 0, код 0 - ICMP echo reply. Ответ на эхо запрос источнику Internet Control Message Protocol. J. Postel Sep 1981 Internet Standard.

Сетевое оборудование, использующееся на сети передачи данных, позволяет производить отправку подобных сообщений непосредственно от узла связи. Важной частью измерения является определение узлов, совершающих тестирование, т.к. различные участки сети могут вносить различные задержки. Очевидно, что максимальная задержка по сети возможна в случае использования неоптимальных путей следования трафика, что происходит при выходе из строя того или иного сетевого устройства.

Стандартный диаметр сети передачи данных третьего уровня не превышает 3, поскольку именно столько узлов необходимо пройти пакету по сети связи от любой точки входа до любой точки выхода из неё в условиях полной работоспособности. Исходя из вышеизложенного для оценки задержки по сети можно использовать характеристику, полученную по формуле 22 .

, (22)

для участков Симферополь - Керчь, Севастополь - Керчь, Феодосия - Керчь, Джанкой - Керчь, где n - количество измерений с помощью ICMP.

, (23)

где m - количество участков, на которых проводилось измерение.

Теоретические оценки по уровню задержек прохождения трафика были рассчитаны в п. 3.4.

Для качественной оценки пропускной способности сети передачи данных в килобит/с используется максимально возможное число бит, которые возможно передать по сети из одного центра обработки данных в другой в единицу времени без создания очередей. Существует три варианта оценки:

· Определение максимальной выходной пропускной способности ЦОД

· Определение максимальной выходной пропускной способности внешних каналов данных

· Определение максимального количества бит в секунду в условиях блокируемых каналов передачи данных

Для территориально распределённой сети передачи данных Крымского Федерального Округа целесообразно использовать именно третью оценку, поскольку используется технология балансировки трафика, что означает возможность одновременной передачи данных нескольких центров обработки данных, то есть образуется коммутационная матрица данных.