Что из себя представляет ЦОД? Многие ИТ-специалисты сходу ответят на этот вопрос: куча черных шкафов-стоек выстроенных в ровные ряды и напичканных доверху крутыми серверами! На самом деле шкафы в ЦОДе занимают не более трети всего пространства.
Все началось с предложения посетить Академгородок и поучаствовать в экскурсии в крупный центр обработки данных.
Предложение оказалось очень актуальным, так как в это же время на предприятии, в котором я работаю был затеян ремонт в серверной. Предполагалось кроме косметического ремонта самого помещения так же произвести замену системы кондиционирования, решить вопросы с пожарной охраной, заменить входную дверь и организовать видеонаблюдение.
Итак, после мучительного ожидания, длительных сборов, и улаживания организационных вопросов, наступила долгожданная пятница, 24.11.2016г.
Выехали рано утром, так как нужно было преодолеть около 200 км, мы боялись опоздать на экскурсию, специально для нас организованную. Дорога заняла около четырех часов, и вот, мы припарковались у современного здания с весьма занятной архитектурой.
Две башни, тринадцатиэтажные здания - близнецы соединены между собой верхним ярусом из цельной метало-каркасной конструкции со стеклянными стенами и полом.
Нас встретил начальник отдела продаж регионального представительства по СФО RTCLOUD, Александр Юрьевич Кузьмин, знакомство началось с гостеприимного кофе.
После краткого рассказа в холле Академ-парка мы, разбившись на две группы и направились наконец-то в ЦОД.
Мне удалось побывать в разных серверных в Барнауле, и теперь я могу чётко отделить ЦОД от серверной.
Во-первых ЦОД – это отдельно стоящее здание. Если серверная – отдельное помещение в здании, со всеми вытекающими, то ЦОД – специально спроектированное отдельное здание, так как использование здания, спроектированного под что-то иное, будет весьма затруднительно. Здание двухэтажное, обеспечивается круглосуточная физическая охрана, кроме того, конечно же еще имеется видеонаблюдение и прочие меры безопасности. Кроме здания на территории расположены две подстанции, суммарной мощностью один мегаватт.
Так как на территории Академгородка находится крупный энергетический узел, думаю обе подстанции подключены от него. Кроме подстанций еще рядом расположены два дизель-генераторные установки модульного типа, 450 кВА каждый, но про электроснабжение подробности далее.
Еще не попав в здание уже можно было заметить две вещи: отказоустойчивость появилась здесь раньше самого ЦОДа, мы идем в серверную, которая потребляет электроэнергии столько же, сколько обычно потребляет производство, например небольшой завод.
Послушав про подстанции и дизель-генераторы мы направились внутрь. Гостеприимная стеклянная дверь открывается только по электронному пропуску. Основные залы внутри ЦОДа так же закрываются на электронный замок. Система контроля и управления доступом, так же как и использование отдельного здания – нормы федерального закона о защите персональных данных. В холле вся группа облачилась в бахилы. В серверной такого не встретишь.
Помещения в здании отделены от коридоров противопожарными двухстворчатыми дверями и имеют специальное назначение.
Отдельная комната для электрощитов. В нее заходят группы кабелей электроснабжения от двух подстанций и двух генераторов. Кабели для большой нагрузки и имеют внушительный вид, каждый толщиной в руку. Далее электроэнергия распределяется щитами по зданию, снабжая всю инфраструктуру. Центром щитовой конечно же является устройство автоматического ввода резерва (АВР).
Две отдельные комнаты для источников бесперебойного питания. Переключение на резервную подстанцию занимает всего две секунды, на генераторы – не более 5-и минут. Запасенной энергии хватает на 2 часа работы всего оборудования, в том числе системы охлаждения. Кроме шкафов с ИБП и аккумуляторами есть кондиционеры и щиты для ручного переключения нагрузки.
Отдельного внимания заслуживает система охлаждения. Внутри здания теплоносителем является вода. Охлаждать приходится практически всё здание. Система имеет большой объем теплоносителя, думаю найти что-то экономически выгоднее чем использование воды будет сложно. Значительную часть первого этажа занимает «комната климатических установок». В помещении расположена система распределения воды, накопители с водой, насосы, краны, задвижки, теплообменники, соединяющие внутренний контур системы охлаждения со внешним. Вода циркулирует только внутри здания, так как за пределами помещения она может замерзнуть. Для отвода тепла в окружающую среду имеется второй, внешний контру системы охлаждения, теплоноситель – этиленгликоль. Температура воды около 14оС. Высокого давления в трубах нет, насосы просто подают воду на второй этаж.
Чиллеры поддерживают функцию фрикулинга, которая позволяет в холодное время года производить охлаждение за счет температуры окружающей среды, не используя компрессоры. Не обошлось конечно же и без расширительного бака, «помидор» так же попал на фото.
В каждом помещении имеется система пожаротушения. Всего в здании три контура пожаротушения. Желтые трубы соединены с красными баллонами безвредного газа Novec1230. Тушение пожара таким веществом не вредит здоровью человека в отличии от тушения углекислотой или другими инертными газами. Тушение порошком или водой в ЦОДах, как в прочем и в серверных не применяется вообще. Порошок и вода губят оборудование не хуже пожара, по этому всегда только газ.
Инфраструктура ЦОДа это основа, без которой сам ЦОД будет простой серверной с кучей черных шкафов-стоек выстроенных в ровные ряды и напичканных доверху крутыми серверами. Бесперебойное электроснабжение, охлаждение, система защиты и пожаротушения и конечно же непрерывная связь со внешним миром, без которой ЦОД тоже не может существовать.
На втором этаже имеется две отдельные комнаты с табличками на дверях «Кросс №1» и «Кросс №2». В обычной серверной можно встретить такую табличку на небольшом шкафчике с телефонным кроссом, тут это комната площадью 10 м2. Комнаты предназначены для размещения сетевого оборудования операторов связи. Несколько шкафов с коммутаторами, маршрутизаторами, оптокроссами и крипто-шлюзами. Оборудование различных брендов, так как операторов связи присутствует несколько, опять же для отказоустойчивости.
Аппаратный зал мы увидели в последнюю очередь, он занимает основную часть второго этажа. Вот они, ряды черных шкафов, чередующихся с прецизионными рядными внутренними блоками системы кондиционирования, которые называются Фанкойл. Четыре ряда по девять шкафов, напичканных оборудованием, и еще есть место для по крайней мере трех рядов. Два ряда шкафов – оборудование с высоким тепловыделением, накрыты сверху легким потолком из сотового поликарбоната, начало и конец ряда так же закрыты раздвижными дверьми, образуя «горячий» коридор.
Оборудование в шкафе захватывает холодный воздух через перфорированную дверь из помещения. Нагретый воздух выбрасывается через заднюю дверь вовнутрь «горячего» коридора. Прецизионные блоки кондиционеров забирают нагретый воздух из «горячего» коридора, охлаждают и выбрасывают его обратно в помещение. Температура в помещении 22оС.
В шкафах размещено самое разнообразное оборудование, системы хранения данных я встретил всех известных мне вендоров: IBM Storwize, Hitachi, HPE 3par, Net APP, EMC VNXe3000. Можно было найти сетевое оборудование Juniper, Mikrotik и конечно же Cisco. Естественно серверов так же был полный ассортимент. Всё оборудование размещено аккуратно и промаркировано.
Руководитель по реализации комплексных решений RTCLOUD Дьячук Евгений рассказал про сервисы, предоставляемые компанией. Собственное оборудование компании так же расположено в ЦОДе и представляет из себя мощную систему хранения данных с дисками NL SAS 7200, SAS 10k и SSD носителями. Вторая часть - это серверы Blade. Можно арендовать шкаф и наполнить его своим оборудованием. Можно арендовать несколько юнитов в шкафе, можно купить виртуальные машины на действующем оборудовании, выбрать необходимые по быстродействию диски, объем оперативной памяти и процессоры.
Все участники экскурсии оказались под большим впечатлением, ведь она действительно удалась!
Автор статьи - Сергей Кооль
