Самарский портал "Технологии, компьютеры"

5 ноября 2013 года в рамках проходящего в Мюнхене Fujitsu Forum компания Fujitsu продемонстрировала первое в мире серверное решение с использованием оптического соединения сервера с его вычислительными компонентами и дисками, находящимися в отдельном корпусе, по протоколу Intel Optical PCIe Express. На обеих частях были установлены кремниево-фотонные модули Intel (Intel® Silicon Photonics), преобразующие электрический сигнал в оптический.

Это решение продемонстрировало возможности, которые кремниевая фотоника Intel может дать ЦОДам: вычислительные и «хранительные» компоненты одного сервера могут находиться в разных корпусах на значительном расстоянии, при этом сервер будет работать так, будто они находятся в одном корпусе. Предлагаем вашему вниманию перевод блога Виктора Крутула, директора по маркетингу подразделения Intel Silicon Photonics Operation, в котором подробно объясняется почему эта технология демонстрирует будущее центров обработки данных.

Виктор Крутул (Victor Krutul) является директором по маркетингу подразделения кремниевой фотоники Intel. Он разделяет энтузиазм директора Intel Photonics Research Lab доктора Марио Паниччия (Mario Paniccia) о наступлении фотонной революции, когда сигналы внутри компьютера и между компьютерами будут передаваться по световому лучу. Виктор Крутул увлекается теннисом и мотоциклами (но не одновременно ).

Счастлив сообщить, что на своём ежегодном форуме 5 ноября 2013 года компания Fujitsu продемонстрировала созданный в сотрудничестве с корпорацией Intel первый в мире сервер, построенный на уникальной оптической шине Intel® Optical PCIe Express (OPCIe). Именно благодаря кремниево-фотонной технологии Intel (Intel® Silicon Photonics technology) стала возможной разработка OPCIe и этого сервера. Я думаю, компания Fujitsu совершила настоящий прорыв, реализовав в своём сервере шину OPCIe, имеющую ряд преимуществ перед медной шиной. Пространство в стоечных серверах, особенно имеющих высоту 1U или 2U, очень ограничено, это не позволяет, в том числе, подводить к ним большую мощность. И вендоры, и конечные пользователи были бы не против установки в эти серверы дополнительных процессоров или модулей памяти, но это невозможно сделать по причине отсутствия места. Строго говоря, чисто геометрически дополнительные компоненты бы поместились, однако дальнейшее повышение плотности элементов на плате препятствовало бы их эффективному охлаждению.

Компания Fujitsu сумела преодолеть эти ограничения!

Решение проблемы ограничения подводимой мощности и плотности элементов заключается в размещении компонентов для вычисления и хранения информации на удалённом «лезвии», при этом центральный процессор взаимодействует с этими компонентами точно так же, как если бы они находились на одной материнской плате с ним. Альтернативой может быть управление дисковым массивом с помощью другого сервера, однако такое решение влечёт за собой передачу сигнала между двумя серверами, а, следовательно, и задержки. К тому же в медных жилах происходит интерференция электромагнитных волн, поэтому длина таких кабелей не может быть большой. Использование различного рода преобразования сигналов (в частности, их усиления) потребует использования дополнительных компонентов и потребления энергии. Кроме того, медные кабели (главным образом за счёт экранирования) имеют большую массу и диаметр (толщину). Например, масса 16-жильного кабеля PCI Express почти 10 кг. Разработанный в корпорации Intel кабель MXC имеет в 10 раз большую пропускную способность и массу от полкило до килограмма.

Для демонстрации новых возможностей компания Fujitsu связала этим кабелем два сервера Primergy RX200, для чего установила на них модули Intel® Silicon Photonics, каждый из которых содержал разработанный Intel чип FPGA (Field-Programmable Gate Array – Программируемая пользователем вентильная матрица). Эти чипы FPGA осуществляли преобразование сигнала таким образом, чтобы «подружить» стандартную шину PCI Express с оптикой. Использование кремниевой фотоники Intel позволяет передавать протокол PCI Express как контейнер через оптический тракт MXC в удалённый блок расширения (см. рисунок). В этом блоке расширения было установлено несколько твердотельных накопителей (SSD – solid-state drive), сопроцессор Intel Xeon Phi и, разумеется, ответный модуль кремниевой фотоники с чипом FPGA, который обеспечивает совместимость PCI Express и оптики. Прелесть решения в том, что сервер RX200 «видел» SSD и Intel Xeon Phi так, будто они традиционно находились на его материнской плате. Фотоны летят по кабелю со скоростью 300 тысяч километров в секунду, поэтому задержку в передаче сигнала даже невозможно измерить, расчёты же дают около 5 нс/м – 5 миллиардных секунды на метр кабеля. Итак, каковы же преимущества этого решения? Основных – четыре.

Во-первых, разработчики Fujitsu сумели увеличить объём дискового пространства непосредственно на сервере, поскольку теперь все накопители, расположенные в дополнительных корпусах, работают точно так же, как собственные. Количество дисков сервера теперь зависит только от объёма дополнительного корпуса.

Во-вторых, повышена эффективность использования центрального процессора Intel Xeon E5, поскольку часть работы по взаимодействию с периферийными устройствами переложена на сопроцессор Intel Xeon Phi, и освободившуюся производительность можно пустить на решение других задач. В стандартный одноюнитовый корпус было бы очень сложно (скорее всего, и невозможно) установить сопроцессоры Intel Xeon Phi.

Третье преимущество касается охлаждения. В дополнительном корпусе можно разместить больше SSD, потому что охлаждать теперь нужно только их, а центральный процессор и память сервера будут эффективно охлаждаться в своём корпусе.

Четвёртое преимущество вытекает из третьего – это так называемая плотность охлаждения, сколько тепла требуется ежесекундно отводить от единицы объёма. Для наглядности позвольте привести пример. Для простоты примем объём одноюнитового корпуса равным одному кубическому метру. Предположим, что этот корпус охлаждают 3 одинаковых вентилятора, и вместе они отводят 1000 Вт. Теперь мысленно размещаем все компоненты таким образом, что эффективно работает только один вентилятор, а воздушный тракт перед двумя другими полностью перекрыт. Если все компоненты суммарно выделяют более 1/3 КВт тепловой мощности, то охладить их одним вентилятором уже не получится. Это и есть плотность охлаждения. Решение Fujitsu о переносе SSD с сопроцессором в отдельный корпус решает проблему чрезмерной плотности охлаждения.

Разница между классическими медными кабелями PCI Express и новым оптическим кабелем MXC, видна на картинке.

Кроме кремниевой фотоники Intel компания Fujitsu продемонстрировала работу процессора Xeon E5 с сопроцессором Xeon Phi.

Почему корпорация Intel стремится заменить медные соединения внутри компьютера и между компьютерами на оптику?

Передача оптического сигнала по волоконному кабелю имеет два принципиальных преимущества между передачей электрического сигнала по меди. Во-первых, передача электрического сигнала всегда сопровождается электромагнитным излучением. Это излучение неминуемо создаёт помехи в соседних жилах по всему тракту, что ограничивает длину медных кабелей. Например, кабели для передачи Ethernet со скоростью 10 Гбит/с не могут быть длиннее 10 метров. Конечно, для увеличения длины можно поставить репитеры, преобразующие или усиливающие сигнал, сделать из пассивного кабеля активный, однако такое решение повысит как начальную стоимость, так и мощность, затрачиваемую на передачу сигнала. Да и выигрыш в расстоянии будет небольшой: активные медные кабели для 10-гигабитного Ethernet имеют предельную длину 20 метров.

Фотоны при прохождению по оптическому кабелю не создают вокруг себя никакого поля, вредно воздействующего на соседние жилы, поэтому длина таких кабелей может быть значительно больше. Например, используя недорогие лазеры, по оптическому кабелю можно передавать 10 Гбит/с на расстояние до 500 метров. При использовании более дорогих лазеров это расстояние можно увеличить до 80 км, однако внутри ЦОДов такой необходимости нет.

Второе преимущество заключается в малой погонной массе оптических кабелей. Диаметр оптического волокна, как правило, составляет 120 мкм, к тому же плотность материала значительно ниже, чем у меди. Я знаю о случаях, когда в ЦОДах требовалось укреплять фальшпол, потому что он не выдерживал вес медных кабелей.

Так почему же при таких преимуществах оптических кабелей они до сих пор не используются в ЦОДах? Всё дело в цене!

Оптические преобразователи очень дороги. При их изготовлении используются такие экзотические материалы как ниобат лития или арсенид галлия. Эти названия трудно произнести, но ещё сложнее эти вещества получить. Пока научились изготавливать пластины размером всего 3 дюйма с очень низким выходом годных элементов. Отсюда и высокая стоимость законченных устройств. Эти элементы вручную устанавливают внутрь золотого корпуса, а затем квалифицированные рабочие опять вручную заставляют лазер засветиться от электрического сигнала. Также используется эпоксидная смола с определённым коэффициентом преломления, которая тоже стоит как золото. Таким образом, использование оптики значительно увеличивает стоимость оборудования в ЦОДе.

Встречайте кремниевую фотонику! Кремниевая фотоника – это создание фотонных устройств по классической полупроводниковой (CMOS) технологии на имеющихся предприятиях. Иногда эти элементы называют оптическими, но мы предпочитаем говорить «фотоника», чтобы отличать новые устройства от очков или телескопов. Кремний является одним из наиболее распространённых элементов, поэтому изделия из него не могут стоить дорого. Корпорация Intel имеет 40-летний опыт производства полупроводников, и все 40 лет успешно снижает затраты на их производство. На сегодняшний день у Intel более 65 миллиардов долларов вложений во всём мире в заводы по производству полупроводниковых компонентов. Если сказать кратко, то кремниевая фотоника Intel (Intel® Silicon Photonics) – это сочетание физических преимуществ оптической связи с низкой стоимостью изготовления компонентов по отработанным технологиям.

Intel работает над кремниевой фотоникой (Intel® Silicon Photonics (SiPh)) уже более 10 лет, и значительная доля усилий была направлена на оптимизацию техпроцесса изготовления этих элементов. В начале 2013 года на саммите OCP корпорация Intel объявила о серьёзном наращивании производства кремниевой фотоники. Также было заявлено о начале работы с клиентами.

Люди часто спрашивают меня, когда и почём мы начнём продавать эти изделия? Они также просят назвать технические характеристики модулей SiPh. Я отвечаю, что Intel стремится поставлять на рынок законченные решения, а не отдельные компоненты. На самом деле наши клиенты хотят получить решения, основанные на кремниевой фотонике, позволяющие им сделать собственные продукты проще, производительнее и одновременно дешевле. Приведу хронологию создания законченного решения:

Январь 2013 года: на саммите Открытых Компьютерных Проектов (OCP) мы с компанией Facebook сделали заявление о совместной работе над распределённой стоечной архитектурой (disaggregated rack architecture), позднее названной аббревиатурой RSA (Rack Scale Architecture – масштабируемая стоечная архитектура). Такая архитектура сервера с установкой дисков в отдельном корпусе стала возможной благодаря использованию кремниевой фотоники Intel. Её преимуществом является возможность раздельного обновления компонентов сервера с повышенной гибкостью.

Апрель 2013: на IDF (Intel Developer Forum) была продемонстрирована система с использованием кремниевой фотоники Intel, позволяющая передавать данные со скоростью 100 Гбит/с.

Сентябрь 2013: мы продемонстрировали в работе стойку RSA, использующую кремниевую фотонику Intel для передачи протокола Ethernet.

Сентябрь 2013: совместно с компанией Corning объявлено о создании кабелей MCX с использованием волокна ClearCurve, способных передавать сигнал от кремниевой фотоники Intel на расстояние до 300 метров при скорости 25 Гбит/с. Это уже было законченное решение, включающее кабели и разъёмы, оптимизированные под кремниевую фотонику Intel.

Сентябрь 2013: продемонстрирована передача сигнала от кремниевой фотоники Intel со скоростью 25 Гбит/с уже на 800 метров – новый мировой рекорд.

Сегодня: корпорация Intel расширила спектр своих решений в области кремниевой фотоники, продемонстрировав вместе с компанией Fujitsu передачу по протоколу PCI Express.

Я надеюсь, теперь вы согласитесь, что Intel не просто создаёт процессоры или оптические модули, а готова поставлять законченные решения, использующие кремниевую фотонику.

Оригинальная англоязычная версия «Fujitsu Lights up PCI Express with Intel Silicon Photonics» находится по адресу