1.1 Анализ основных потоков данных пользовательских данных

В рамках реализации проекта правительства Российской Федерации по развитию Крымского Федерального Округа до 2020 года, а также утвержденному техническому заданию дипломного проекта, необходимо выбрать систему на основе которой можно эффективно построить сеть центров обработки данных и узлов связи общей пропускной способностью до 400Гбит/с на существующей волоконно-оптической сети компании Атраком, являющейся на данный момент частью ООО «Миранда-Медиа». Газета Ведомости. Статья опубликована в № 3585 от 08.05.2014 под заголовком: «Ростелеком» взял Крым

Под сетью центров обработки данных подразумевается оптическое, магистральное и иные виды телекоммуникационного оборудования, а также кабельной инфраструктуры, функционирующей с целью обеспечения доступа населения и предприятия, в том числе государственных, к информационным ресурсам, расположенных на площадках и узлах связи.

Согласно техническому заданию проекта, решения по месту и способам организации соединения не задаются, а значит остаются на стороне исполнителя проекта. По этой причине, одним из первых этапов реализации проекта, которые необходимо решить перед началом проектирования, является анализ текущих информационных потоков региона и выбор месторасположения узлов сети центров обработки данных. Понимание текущего состояния среды региона также прямым образом оказывает влияние на варианты решения поставленной задачи в рамках дипломного проекта.

В апреле 2014 года компания «Ростелеком», крупнейшим акционером которой является РосИмущество, а заказчиком МинКомСвязь, проложила по дну Керченского пролива кабель-канал с несколькими волоконно-оптическими кабелями. Общая ёмкость подобного канал составила 110Гигабит/с Телеканал Russia today. 14.04.2014, 03:01 http://russian.rt.com/article/27644 . Данный факт значительно повлиял на информационную связность всего региона с Российской Федерацией. Постройка данной линии была выполнена по заказу Минкомсвязи РФ и способна обеспечить потребности в услугах связи всего полуострова. Кабель был проложен силами компании Телеком-С, которая выступала подрядчиком Ростелеком-Юг и непосредственно занималась прокладкой 40-километровой трассы. Тем не менее, крупнейшие операторы региона по-прежнему не используют данное оптическое подключение в полном объеме и не передают пользовательский трафик в сторону российских операторов.

Между тем, основной трафик частных пользователей полуострова направлен именно на русские сервера и сервисы, доступ к ним логично осуществлять напрямую через волокна, соединившие полуостров с материковой частью России. По данным проведённого анализа, преобладающими пользовательскими направлениями на время высокого сезона становятся сервера социальных сетей, крупные поисковые сервисы, а также хостинг-площадки. Около 80% трафика носят развлекательный характер, основные представители которого По данным сайта http://top1000-ru.hotlog.ru/ :

- социальные сети ВКонтакте и Одноклассники;

- сервисы и поисковые системы Яндекс;

- сервисы mail.ru;

Значительную часть трафика корпоративного сегмента занимает обмен данными с зарубежными, а также украинскими центрами обработки данных, хостингами и сервисами (см. Рисунок 1).

Рисунок 1. Потоки данных Крымского Федерального Округа

Как видно из представленной карты Материалы карты представлены по данным анализатора http://bgp.he.net (см. Рисунок 1), основные потоки пользовательских данных направляются в сторону континентальной Украины, поскольку именно через украинских операторов анонсируются самые популярные российские ресурсы, а также главные центры обработки данных в Европе. В пределах самого полуострова, данные концентрируются в местах проживания наибольшего числа жителей, а значит в местах присутствия наибольшего числа провайдеров услуг связи и широкополосного доступа в сеть Интернет.

Города Севастополь и Симферополь существенно выделяются из числа остальных городов и поселений городского типа, расположенных на территории полуострова, поскольку основная часть потоков данных проходит через них. Это связано с высокой концентрацией провайдерского оборудования на территории этих городов, их выгодным расположением и большим количеством жителей. В городе Севастополь, расположенном чуть западнее от Ялты, на текущий момент проживает больше всего жителей, а также расположено значительное количество предприятий. Присутствует несколько независимых источников электроэнергии, а также проложены оптические трассы до г. Симферополь через г. Бахчисарай, до г. Евпатория через п. Фрунзе, а также до г. Алупка. Выгодное положение города дает возможность считать его одним из главных претендентов на размещение центра обработки данных.

Побережье полуострова или курортная зона, включает в себя такие города как Алупка, Ялта, Алушта, Судак, Феодосия. Особенностью этих городов является нелинейное изменение количества трафика в связи с сезонным характером заселения, что показано в таблице 1.

Таблица 1 - Оценочное количество трафика городов КФО

Очевидно, что в весенне-летний и осенний сезоны, количество населения увеличивается в несколько раз, а количество трафика данных городов в несколько десятков раз.

Вторым местом большой концентрации трафика становится Керчь, поскольку именно через него проложен кабель в сторону России. Некоторая часть данных уходит на текущий момент на российские сервера контент-провайдеров, достаточно серьёзно нагружая имеющиеся транспортные мощности от полуострова в сторону РФ. Весь трафик подобного типа проходит по маршруту г. Феодосия - г. Керчь. - Ростелеком. Данные факты говорят о необходимости размещения ЦОД, либо крупного узла связи на восточной части полуострова, в городе Феодосия и городе Керчь.

При анализе потоков трафика также необходимо обратить внимание не только на береговую часть полуострова, но и на континентальную. Именно в ней живет и трудится наибольшее количество людей. Город Симферополь - крупнейший центр полуострова, население которого оценивается в 350 тысяч человек Предварительные итоги переписи населения Крымского Федерального Округа. http://www.gks.ru/ , а количество крупных предприятий достигает ста. Необходимость расположения в г. Симферополь центра обработки данных вызвана не только проживающим там населением, но и наличием большого числа административных учреждений всей республики, а также выгодным географическим местоположением города на полуострове. В городе расположено наибольшее количество образовательных учреждений, а также представительство РАН.

Количество центров обработки данных, необходимых для населения полуострова, предприятий, туристической сферы, административных объектов можно найти по оценочному количеству трафика в различных направлениях исходя из пропускной способности сети передачи данных, заявленной министерством связи РФ в программе о развитии Крымского ФО до 2020 года. Согласно данной программе, предполагаемая пропускная способность сети составляет 310Гбит/с. Основные направления в рамках которых создаётся сеть центров обработки данных являются: туристическое, государственные и промышленное. В рамках данной концепции логична установка четырех крупных центров обработки данных. Центром для туристической отрасли, в связи с описанными выше положительными сторонами, будет являться город Севастополь. Центром промышленности, и одновременно центром предоставления услуг электронного правительства является город Симферополь. Местоположение двух резервных центров обработки данных логично выбрать исходя из того, что имеются два основных направления движения трафика из полуострова - в сторону Европейской части Украины, и в сторону России.

Выводом, который можно сделать после рассмотрения потоков пользовательских данных, является определение наиболее удобной позиции с точки зрения пользователей для расположения центров обработки данных. На карте (см. Рисунок 2) схематично приведены возможные места расположения центров обработки данных и резервных центров обработки данных.

Рисунок 2. Карта возможных мест расположения ЦОД

ЦОДы располагаются в Симферополе и Севастополе, резервные центры обработки данных в Феодосии и Джанкой, точки обмена трафиком в Красноперекопске и Керчи.

В рамках работы над сетью центров обработки данных, в первую очередь необходимо использовать возможности сети для организации доступа к услугам непосредственно населения. Традиционные сервис-провайдеры, представленные в городах, имеют весьма ограниченную область действия, поскольку территориально не распределены по полуострову, а сосредоточены в локальных населённых пунктах. К неоспоримым преимуществам подобных организаций следует отнести наработанные и развитые Metro-сети в пределах их области работы. По этой причине, при организации типовых решений для различных городов, следует прибегнуть к абстракции на уровне поселений и городов. Под абстракцией данного уровня понимается то, что контент из центров обработки данных, доставляется до сформированного узла связи в требуемом городе, а далее распространяется локальным провайдером до конкретного пользователя. Подобный подход реализует иерархический способ построения сети связи, от агрегатора данных, которым является сеть ЦОД, через локального ISP конечному пользователю.

Портовые емкости на каждый ЦОД, возможно рассчитать исходя из параметров, указанных в Федеральной Целевой Программе о развитии региона. С учетом одновременной работы двух центров обработки данных, каждый из них берёт на себя обработку трафика с общей полосой Ѕ от 330Гбит/с или 165 Гбит/с. Фактический коэффициент переиспользования в центрах обработки данных составляет не менее 4 Cisco Datacenter Design Guide. Август 2013, Cisco Press B-0000515-1 08/13 San Jose, CA, что означает реальное использование каждым физическим портом около 25% своей максимальной емкости. Данный фактор увеличивает количество портов доступа до количества, необходимого на обслуживание 660Гбит/с. С учетом 80% использования портов емкостью 1000Мбит/с Внутренние данные ЦОД компании ЗАО «Диджитал Нетворк» на текущий момент, планируемый размер каждого центра обработки данных по портам составляет 660 физических портов, при этом рост количества портов может происходить постепенно, а значит нет реальной необходимости в единовременной инсталляции максимального количества оборудования на этапе запуска.

1.2 Анализ информационной связности объектов региона

Определяющим качество функционирования существующей системы связи на полуострове параметром можно назвать информационную связность его объектов. Когда мы говорим о связности, мы в первую очередь говорим о том, что это принципиальный отказ от рассмотрения чего бы то ни было вне контекста окружающей информации и связи рассматриваемого объекта с другими сущностями. Классификация и кластеризация объектов в таком случае возможна посредством анализа их связей и итеративного анализа ранее классифицированных связанных объектов.

Уровень связности определяется количеством логических направлений передачи данных от каждого объекта, а также степенью оптимальности организации логического соединения между городами с точки зрения путей следования пользовательского и логического трафика А. Робачевский. Интернет изнутри. - Изд. ООО «Интеллектуальная Литература» М.2015.

Оценивая связность полуострова, важно понимать, что вследствие политических событий, существующие каналы связи через континентальную часть Украины не могут быть использованы. До вхождения в состав РФ, обслуживание полуострова и предоставление услуг связи происходило через континентальную часть Украины силами оператора связи Укртелеком. Это крупнейший оператор связи на Украине, предоставляющий различные телекоммуникационные услуги, среди них: фиксированная и мобильная связь, высокоскоростной доступ к Интернету, датацентры, ВОЛС для бизнеса, каналы связи. При этом сам полуостров обслуживается сетью мелких компаний, распределённых по крупным населённым пунктам.

Премьер России Д.А. Медведев также отметил этот аспект: "Недопустимо, что информация и документы, которые связаны с управлением территорией, двумя субъектами федерации, в том числе конфиденциального характера, передаются с использованием мощностей... иностранных телекоммуникационных компаний", - объяснял премьер-министр.

Связность населённых пунктов с центром однонаправленная, без возможности резервирования, доступ к телекоммуникационным услугам представлен как правило одним провайдером услуг, также без возможности резервирования. Доступность организации территориально распределённых каналов передачи данных между объектами региона ограничена из-за отсутствия крупных федеральных оператора связи в регионе с собственной сетью доступа.

В условиях подобной ограниченности доступности телекоммуникационных ресурсов для конечных клиентов, регион имеет выходы к транзитным операторам связи Российской федерации, главным из которых является Ростелеком, а также Датагрупп и WNET. Однако, напрямую операторы не имеют возможность передать свои услуги конечным пользователям либо оператором на местах, из-за отсутствия именно промежуточного звена между конечными абонентами и крупными сетями связи.

Сервисы и услуги, недоступные на текущий момент для реализации из-за низкого уровня связности региона, необходимы не только частному сектору (конечным клиентам), но и промышленности, а также предприятиям региона, государственному сектору. Данное утверждение вытекает в связи с высокой степенью территориальной распределённости подобных объектов по региону, а также современным требованиям к ИТ-инфраструктуре и сетям передачи данных.

Исходя из указанных недостатков в связности региона, а также данным о современном состоянии пользовательских потоков данных на полуострове, была поставлена задача по проектированию территориально распределённой сети центров обработки данных Крымского Федерального Округа.

1.3 Выводы

На этапе проектирования сети датацентров необходимо:

· Проанализировать доступные сетевые решения создания масштабируемых сетей передачи данных регионального масштаба.

· Изучить существующие технологии уплотнения оптического волокна, а также возможности их применения при построении сети передачи данных.

· Представить основные возможные организации топологии сети датацентров, выделить положительные и отрицательные стороны применительно к дипломному проекту.

· Провести анализ основных используемых технологий второго и третьего уровня модели OSI, оценить необходимость их использования и требования к оборудованию по поддержке стандартов и протоколов передачи данных.

· Поставить задачу на составление технико-конструкторского решения по проектированию сети центров обработки данных на основе проведённого анализа.

2. Обзор существующих технологий передачи данных

2.1 Подходы к проектированию высоконагруженных технологических сетей передачи данных, используемых в территориально-распределённых сетях

В рамках реализации проекта правительства Российской Федерации по развитию Крымского Федерального Округа до 2020 года, а также утвержденному техническому заданию дипломного проекта, необходимо выбрать систему на основе которой можно эффективно построить сеть общей пропускной способностью до 400Гбит/с на существующей волоконно-оптической сети компании Атраком. Рассмотрим существующие традиционные способы построения и проектирования физического уровня сети связи.

Простым и очевидным решением для построения кабельной структуры является аренда или покупка т.н. тёмного волокна в соответствии с выбранной топологией организации сети передачи данных. В текущих реализациях битового кодирования, по одному оптическому волокну возможна передача потока данных в 10Гбит/с. Для расчета количества необходимых волокон для организации полносвязной топологи между центрами обработки данных и точками обмена трафиком, необходимо воспользоваться формулой (1):

где n - количество физических волокон;

- количество организованных центров обработки данных;

- количество региональных точек обмена трафиком;

- количество городских подключений;

Например, для оценки количества волоконных линий для организации трёх ЦОД, двух точек обмена трафиком, а также подключения четырех городов к сети, необходимо, пользуясь формулой (1) получим:

оптических волокон (2)

В такой системе наращивание пропускной способности будет вестись добавлением дополнительных физических кабельных соединений. К очевидным минусам подобной системы стоит отнести:

· Большое (избыточное) количество реальных оптических каналов передачи данных.

· Низкая масштабируемость решения.

· Высокая стоимость решения на длинной дистанции.

· Невозможность физической организации кабельного соединения между некоторыми населёнными пунктами региона.

· Несоответствие характеристик полосы пропускания системы заданному в ТЗ значению.

· Потребность в дополнительном оптико-электрическом оборудовании на промежуточных узлах связи.

Отметим также положительные аспекты данной модели:

· Совпадение физической и логической топологии сети.

· Низкая стоимость на короткой дистанции.

· Техническая простота реализации решения.

Более сложными, однако от этого не менее интересными, выглядят различные системы уплотнения каналов связи. Строго говоря, в описанной выше реализации также имеет место простое уплотнение по длине волны, которое прочно вошло в жизнь операторов связи. Суть любого уплотнения состоит в том, что в единицу времени передается не один сигнал (поток данных), а несколько. Для реализации WDM [Wave Division Multiplexing] передача ведется на длине волны 1310нм, прием на частоте 1550нм, таким образом в одном волокне возможен и приём, и передача данных, т.е. дуплексная передача. Также возможно уплотнение не только по длине волны, но и по времени, т.н. TDM [Time Division Multiplexing], однако он в последнее десятилетие почти полностью уступил место системам WDM. Произошло это из-за постепенного приближения к пределу битовой скорости, а также открытии различных оптических эффектов, которые легли в основу новой концепции уплотнения каналов в оптическом волокне.

Суть уплотнения по длине волны состоит в том, что в рамках одного оптического сигнала может передаваться несколько длин волн, обозначая отдельный, независимый поток данных отдельного оптического канала. При этом такого рода уплотнение может быть грубым, в таком случае оно будет называться CWDM [Coarse Wave Division Multiplexing]. Его отличительные особенности - работа в большом диапазоне частот, но плотность уплотнения достаточно мала. В текущем технологическом процессе возможно получить до 32 различных частот в одном волокне, применяя технологию CWDM. Второй вариант уплотнения, т.н. частое уплотнение DWDM, позволяет получить до 128 отдельных частот в C-band диапазоне оптического волокна Андрэ Жирар. Руководство по технологии и тестированию систем WDM. - М.: EXFO, 2001. .

Реализация физической среды передачи данных на основе DWDM выглядит намного перспективнее с точки зрения возможности дальнейшего долгосрочного развития и масштабирования. При этом организация сети с использованием CWDM сократит затраты на оптические волокна в 8 раз, а DWDM уже в 96 раз. Это объясняется тем, что в случае использования DWDM-уплотнения частот, в рамках одного оптического волокна возможна передача 96 потоков в 40Гбит/с, или 3.8Тбит/с.

Оптические системы с использованием уплотнения имеют также неоспоримое преимущество перед ВОЛС-системами без уплотнения, а также перед беспроводными СПД, заключающееся в огромном значении максимально возможной длины пролёта, которое может преодолеть сигнал без использования активного сетевого или регенерационного оборудования. Данный параметр зависит от выбранного производителя оборудования, реализации и топологии, однако на текущий момент передача данных по волокну возможна на линиях до 2000 км без регенерации сигнала. Подобный аспект важен для проектируемой сети по причине того, что строительство сети ведется не в рамках офиса или района, а в рамках федерального округа, а значит расстояние между датацентрами и узлами связи будет весьма значительным.

К отрицательным сторонам любого уплотнения стоит отнести прежде всего стоимость и техническую сложность реализации. Причем чем экономичнее, с точки зрения частот, будет система, чем она более прозрачна и управляема пользователем, тем более дорогой она будет. Поэтому многие предприятия проводят закупку готового решения от лидеров данной области, не разбивая его на отдельные компоненты: усилители, аттенюаторы, лазеры.

Также необходимо отметить тот факт, что, если без использования усиления мы работаем с сигналом в двух направлениях: мощности и времени, т.е. по факту работаем с плоским сигналом. При увеличении мощности возможны негативные факторы, которые сказываются на мощности лазера, потерях, а также затухании оптического сигнала в волокне. При изменении времени на передачу мы сталкиваемся с нестабильностью сигнала, понижением скорости передачи, поляризационной модовой дисперсией. Кроме того, при векторном сложении данных процессов получаем нестабильность битовой скорости передачи, различные нелинейные эффекты в волокне, высокую относительную интенсивность шума. Подобную зависимость легко показать на схеме (см. Рисунок 3).

Рисунок 3. Процессы при двумерной передаче сигнала

При работе с мультиплексированием возникает намного больше явлений и зависимостей, которые необходимо разрешить при проектировании системы. Действительно, зависимость приобретает трехмерный вид (см. Рисунок 4)

Рисунок 4. Процессы в волокне при трехмерной передаче сигнала

Влияние длины волны совместно с мощностью увеличивает возможность возникновения усиленного спонтанного излучения, а также рамановского рассеяния; чирпирование лазера, хроматическая дисперсия и другие вредные, с точки зрения передачи сигнала, физические явления, требуют тщательного планирования и подбора системы на этапе разработки.

Для формализации критериев выбора представим отрицательные и положительные стороны, а также требующие внимания нюансы каждого решения в таблице 2.

Таблица 2 - Сравнение вариантов уплотнения волокна