Техническое описание

Сервер HPE Superdome Flex: архитектура и функции RAS Не имеющее себе равных сочетание гибкости, производительности и надежности для критически важных окружений любого размера

Техническое описание

Содержание Введение 3

Надежность, доступность и удобство обслуживания 4

Управляемость 4

Архитектура системы 5

Шасси HPE Superdome Flex – модульный конструктивный блок 6

Управление шасси HPE Superdome Flex 11

Контроллер HPE Superdome Flex Rack Management Controller 11

RAS 12

Стратегия управления сбоями 12

Подход Firmware First 12

Уникальные возможности в области RAS 13

Управление 19

Встроенные компоненты управления 19

Дополнительные средства управления 20

Дополнительные материалы 22

Техническое описание Страница 3

ВведениеСервер HPE Superdome Flex Server – это революционная компьютерная платформа, способная исполнять критически важные приложения, ускорять анализ данных и эффективно справляться с рабочими нагрузками искусственного интеллекта и высо-копроизводительных вычислений. Он предлагает уникальное сочетание гибкости, производительности и надежности для критически важных окружений любого размера. Модульная архитектура и непревзойденная масштабируемость позволяют заказчикам начать с малого и расти в соответствии с развитием собственных потребностей. Спроектированный с учетом технологии in-memory и обладающий революционной производительностью, сервер HPE Superdome Flex позволяет компаниям обрабатывать и анализировать непрерывно растущие объемы данных с выдающейся скоростью. Превосходные функции RAS и комплексная система безопасности сервера HPE Superdome Flex обеспечивают защиту этих жизненно важных рабочих нагрузок. Портфель услуг HPE Pointnext, обширная партнерская экосистема и опыт поддержки критически важных приложений дополняют эти возможности и повышают ценность платформы, что гарантирует успешность применения сервера HPE Superdome Flex.

Некоторые из наиболее примечательных характеристик этой платформы:

• Модульная архитектура с возможностью простого масштабирования в рамках одной системы от 4 до 32 процессорных сокетов с шагом в 4 сокета.

• Объем общей памяти от 768 ГБ до 48 ТБ• Поддержка процессоров Intel® Xeon® Scalable 1-го или 2-го поколения• Проверенные возможности RAS, недоступные на других стандартных платформах х86• Лучший в своем классе механизм прогнозирования и обработки отказов Analysis Engine, позволяющий предсказывать

аппаратные сбои и инициировать процесс самовосстановления без привлечения оператора • Firmware First – основанный на анализе журналов регистрации событий подход, который на уровне микропрограммного

обеспечения (firmware) гарантированно ограничивает распространения ошибок (в том числе ошибок памяти) до того, как ошибка вызовет какое-либо прерывание на уровне операционной системы (ОС)

• Отказоустойчивость, необходимая для решения критически важных задач: от всеобъемлющей реализации возможностей RAS на уровне процессора до резервирования ключевых компонентов системы и усовершенствованного системного программного обеспечения

В этом документе описывается архитектура сервера HPE Superdome Flex и его весомые преимущества для критически важных окружений с точки зрения производительности, управляемости и надежности.

Рис. 1. Система HPE Superdome Flex

Как показано на рис. 1, сервер HPE Superdome спроектирован на основе модульного конструктивного блока высотой 5U, способном масштабироваться в диапазоне от 4 до 32 сокетов с шагом в 4 сокета при помощи коммутационной матрицы (фабрики) под названием HPE Superdome Flex Grid с использованием кабельных соединений. Благодаря такой гибкой модульной конструкции заказчики сервера HPE Superdome Flex не платят за элементы инфраструктуры (блоки питания, кабели Flex Grid и т. п.) сверх и помимо того, что требуется их системе на данном этапе, однако если в будущем потребности приложения заказчика изменятся, он сможет с легкостью нарастить вычислительные ресурсы. Сервисный доступ к системе предоставляется спереди и сзади шасси с использованием направляющих рельсов с возможностью перемещения в прямом и обратном направлениях. При этом такие компоненты, как блоки питания (Bulk Power Supply, BPS), блоки вентиляторов и загрузочные накопители можно обслуживать, не прерывая работы критически важных приложений и операционной системы. Фабрика HPE Superdome Flex Grid обеспечивает функции адаптивной маршрутизации для повышения производительности посредством передачи трафика по оптимальному с точки зрения задержки пути и для предотвращения простоев посредством автоматического перенаправления трафика в обход отказавших компонентов.

Техническое описание Страница 4

Надежность, доступность и удобство обслуживанияНадежность, доступность и удобство в обслуживании, обозначаемые единой аббревиатурой «RAS» – важнейшие причины, по которым заказчики развертывают свои критически важные рабочие нагрузки именно на серверах HPE Superdome Flex. Расширенные возможности RAS позволяют либо сохранить систему в рабочем состоянии, несмотря на отказы компонентов, либо быстро и автоматически восстановиться после отказа, чтобы критически важные приложения смогли продолжить работу не дожидаясь прибытия сервисного персонала. При проектировании серверов семейства HPE Superdome первооче-редное внимание всегда уделялось мощным возможностям RAS. Основанный на этой стратегии сервер HPE Superdome Flex предоставляет заказчику следующую функциональность в сфере RAS:

• Выборочная и расширенная реализация возможностей RAS процессора Intel Xeon Scalable за счет специальной модифи-кации эталонного кода– Например, реализация механизма Adaptive DDDC в сервере HPE Superdome Flex использует больше регионов коррекции

ошибок и имеет более высокую гранулярность, чем в стандартном эталонном коде Intel®. В результате частота обслужи-вания и замены модулей памяти значительно ниже, чем на платформах других поставщиков.

• Фабрика HPE Superdome Flex Grid с кабельными соединениями и адаптивной маршрутизацией:– Автоматически выбирает маршрут с оптимальным временем задержки для достижения максимальной производитель-

ности и перенаправляет трафик в обход обнаруженных точек отказа без необходимости перезагрузки.– Поддерживает аппаратные разделы HPE nPar для обеспечения полной изоляции рабочих нагрузок и возможности неза-

висимого обслуживания (при надлежащем кабельном подключении).• Выделенный контроллер Rack Management Controller (RMC) или встроенный контроллер RMC (eRMC) предоставляет

интерфейс командной строки для управления сервером, а также содержит механизм HPE Superdome Flex Analysis Engine, который обеспечивает обработку/исправление ошибок, самовосстановление и мониторинг состояния системы.

• Компоненты питания и охлаждения с возможностью горячей замены.

Возможности RAS подробно рассматриваются в разделе RAS данного документа.

УправляемостьВ состав сервера HPE Superdome Flex входит усовершенствованная постоянно действующая система управления, которая осуществляет непрерывный мониторинг системных компонентов, фабрики и элементов инфраструктуры, а также управ-ление ими с целью поддержания высокого уровня доступности для критически важных задач. При проектировании сервера разработчики рассматривали управление как важнейший системный компонент. Как результат, управление сервером легко интегрируется как с инструментами управления на базе отраслевых стандартов, так и с собственным набором средств управления от НРЕ, использующим индустриально стандартный API-интерфейс Redfish®. В дополнение к этому механизм Superdome Flex Analysis Engine предоставляет улучшенные возможности самодиагностики и автоматического восстанов-ления. Кроме того, администраторам доступен полнофункциональный SSH-интерфейс командной строки для наиболее детализированного управления с возможностью повторения операций (на основе скриптов).

Основные компоненты и ресурсы управления:

• HPE Superdome Flex Rack Management Controller (RMC)

• HPE OneView, включая HPE OneView Remote Support (OVRS)

• HPE Insight Remote Support

• HPE Smart Update Manager

Подсистема управления сервером HPE Superdome Flex интегрируется с компонентами управления решений для центров обработки данных благодаря использованию открытого интерфейса Redfish API. Это позволяет использовать индустриально стандартные продукты, такие как OpenStack®, а также простые скрипты для для управления системой и получения инфор-мации о ее состоянии.

Возможности управления сервером HPE Superdome Flex подробно рассматриваются в разделе Управление данного документа.

Техническое описание Страница 5

Архитектура системы Сервер HPE Superdome Flex сочетает наилучшие черты процессора Intel Xeon и нового чипсета HPE Superdome Flex ASIC, в результате чего является самым гибким из представленных на рынке серверных решений с архитектурой x86. HPE Superdome Flex способен обеспечить производительность и масштабируемость в диапазоне от 4 до 32 процессорных сокетов с шагом в 4 сокета. В нем реализованы функции RAS, необходимые для работы в критически важных окружениях, где доступность приложений чрезвычайно важна. На рис. 2 показана архитектура шасси HPE Superdome Flex Base Chassis, которое является базовым модульным конструктивным блоком для серверного решения. Каждый сервер HPE Superdome Flex обязательно включает в себя одно базовое шасси Base Chassis плюс до семи дополнительных шасси расширения Expansion Chassis или Partition Expansion Chassis, что обеспечивает возможность масштабирования до 32 сокетов или разби-ения системы на аппаратные разделы HPE nPar с целью изоляции рабочих нагрузок и/или консолидации нескольких рабочих нагрузок в рамках одного управляемого комплекса. Чипсет HPE Superdome Flex ASIC предоставляет возможность объеди-нения Base Chassis и нескольких Expansion Chassis посредством кабелей фабрики HPE Superdome Flex Grid, обеспечивая множество существенных преимуществ:

• Адаптивная маршрутизация: Автоматически перенаправляет трафик фабрики в обход неисправных компонентов и балансирует загрузку фабрики с целью повышения производительности используя доступные пути с минимальной задержкой.

• Гибкость конфигурирования: Конфигурация кабельных соединений может быть быстро изменена на площадке заказчика для достижения максимальной производительности в случае изменения требований со стороны приложения.

• Высокое качество сигнала: Кабели, в сравнении с печатным проводниками, обеспечивают более высокую скорость и стабильность распространения сигнала, меньшие задержки, лучшее экранирование с низкими перекрестными поме-хами, и лучшее соотношение сигнал/шум.

• Готовность к будущим изменениям: Внешние медные кабели формируют инфраструктуру, которая в будущем легко может быть адаптирована к оптоволоконной технологии. Когда требования к скорости передачи данных превысят возможности медных проводников, а стоимость внедрения оптоволоконных соединений станет приемлемой, инфраструк-туру Flex Grid можно будет преобразовать в оптику путем замены модуля Flex ASIC.

• Низкие начальные затраты: Благодаря модульному дизайну и кабельным соединениям, для удовлетворения текущих потребностей достаточно приобрести только необходимое на данном этапе оборудование, включая элементы инфра-структуры питания и охлаждения, и тем самым избежать дополнительных затрат на обеспечение возможностей расши-рения до тех пор, пока оно реально не потребуется.

Техническое описание Страница 6

Рис. 2. Архитектура модульного шасси HPE Superdome Flex

Шасси HPE Superdome Flex – модульный конструктивный блок В каждом шасси сервера HPE Superdome Flex имеется четыре процессорных сокета для процессоров Intel Xeon Scalable серии 82xx, 81xx, 62xx или 61xx, каждый из которых может содержать до 28 ядер. При активированной технологии hyper-threading 112-ядерное шасси предоставляет 224 логических процессора. Четыре физических процессора соединены друг с другом в кольцо посредством каналов Intel Ultra Path Interconnect (UPI) с пропускной способностью 10,4 ГТ/с. Помимо этого, каждый процессор подключен одним каналом Intel UPI к одному из двух специализированных чипов HPE Superdome Flex ASIC для передачи исходящего кэш-когерентного трафика данных к остальным шасси в сервере или разделе HPE nPar с 8 или более сокетами. В архитектуре HPE Superdome Flex к каждому процессору напрямую подключены 12 слотов DDR4 DIMM, в которые могут быть установлены модули памяти DDR4 емкостью 32 ГБ, 64 ГБ или 128ГБ, а также слоты расширения ввода-вывода для стандартных карт PCIe 3.0 x8 и x16. Процессоры серий 82xx и 62xx помимо классической памяти DDR4 поддерживают также энергонезависимую память (модули объемом 128, 256 и 512 ГБ).

Техническое описание Страница 7

Обе микросхемы HPE Superdome Flex ASIC соединены между собой в рамках шасси, что обеспечивает уникальную способ-ность системы поддерживать как процессоры серий 82xx и 81xx Platinum, так и процессоры серий 62xx и 61xx Gold, причем с сохранением возможности масштабирования от 4 до 32 сокетов. Процессоры Intel Xeon Scalable второго поколения (серий 82xx и 62xx) обладают следующими преимуществами относительно процессоров предыдущего поколения:

• Более высокие тактовые частоты у большинства моделей (прибавка до 300 МГц в пересчете на ядро)• Большее количество ядер у некоторых моделей (на 2 или на 4 ядра)• Примерно на 10% более быстрая шина памяти, 2933 МТ/с; эта возможность доступна для всех модулей DIMM (требуются

новые DIMM-модули)• Аппаратные исправления уязвимостей, в частности, Spectre и Meltdown• Поддержка модулей энергонезависимой памяти объемом до 512 ГБ каждый• Увеличенный объем памяти на один сокет и новая опция процессора “L” для поддержки модулей DIMM максимальной

емкости и энергонезависимой памяти• Новый набор инструкций VNNI (Vector Neural Network Instructions) для ускорения выполнения задач искусственного интел-

лекта и машинного обучения• Минимальное либо нулевое повышение энергопотребления в пересчете на сокет

HPE Superdome Flex ASICHPE Superdome Flex ASIC – новый специализированный чип от компании HPE, напрямую взаимодействующий с процессорами Intel Xeon Scalable и предоставляющий возможность объединения до восьми шасси HPE Superdome Flex в кэш-когерентную «фабрику» (коммутационную матрицу) под названием HPE Superdome Flex Grid. Чип HPE Superdome Flex ASIC с одной стороны предоставляет два канала UPI для взаимодействия с двумя процессорам Intel Xeon Scalable, а с другой стороны - шестнадцать Grid-портов для соединения со вторым HPE Superdome Flex ASIC в том же шасси и всеми ASIC в остальных внешних шасси сервера посредством кабелей HPE Superdome Flex Grid. HPE Superdome Flex ASIC поддерживает когерентность кэша путем отслеживания состояния строки кэша и ее принадлежности применительно ко всем процессорам в пределах системы (или раздела HPE nPar), используя для этого каталог с записями состояния строк кэша, который встроен непосредственно в ASIC. Эта схема когерентности играет важнейшую роль в способности сервера HPE Superdome Flex поддерживать близкое к линей-ному масштабирование производительности от 4 до 32 сокетов. Типовые реализации т.н. glueless-архитектуры («без склеи-вания») демонстрируют более ограниченное масштабирование производительности уже в интервале от 4 до 8 сокетов (из-за необходимости использования широковещательной рассылки служебных запросов для обеспечения когерентности).

Характеристики HPE Superdome Flex ASIC:

• Поддержка физической адресации до 64 ТБ основной памяти на каждый кэш-когерентный домен• Очень большой каталог кэша для отслеживания состояния строки кэша и поддержания когерентности между всеми

подключенными процессорными сокетами • Функциональность адаптивной маршрутизации, которая обеспечивает отказоустойчивость и балансировку нагрузки в фабрике

– Повышение производительности, достигаемое посредством выбора оптимальных маршрутов передачи данных с наименьшей задержкой

– Автоматическое выявление отказавших компонентов и построение маршрута для их обхода • 16 портов Flex Grid, каждый из которых способен поддерживать скорость передачи данных 13,3 ГБ/с для обеспечения

максимальной пропускной способности фабрики Flex Grid – Более 210 ГБ/с пропускная способность между двумя половинами (bi-sectioned) фабрики в 8-процессорной конфигу-

рации с 4 каналами Flex Grid между каждой парой ASIC – Более 425 ГБ/с пропускная способность между двумя половинами (bi-sectioned) фабрики в 16-процессорной конфигу-

рации с 2 каналами Flex Grid между каждой парой ASIC– Более 850 ГБ/с пропускная способность между двумя половинами (bi-sectioned) фабрики в 32-процессорной конфигу-

рации с 1 каналом Flex Grid между каждой парой ASIC

HPE Superdome Flex Grid – коммутационная матрица HPE Superdome Flex Grid – это основополагающий отличительный признак масштабируемой системной архитектуры HPE. Опираясь на возможности специализированного чипсета HPE Superdome Flex ASIC, компания HPE предлагает систему, масшта-бируемость которой превосходит 8-сокетный предел стандартной эталонной архитектуры Intel. Сочетание специализированного чипсета HPE Superdome Flex ASIC и кабельного подключения через HPE Superdome Flex Grid обеспечивает маршрутизацию между всеми процессорами, определенными внутри каждого раздела nPar, причем, с низкими задержками, с высокой пропускной способностью и с сохранением когерентности кэша. При этом важно отметить возможность разбиения системы на «насто-ящие» аппаратные разделы (с полной изоляцией рабочих нагрузок) посредством полного отключения передачи сигналов по всем кабельным соединениям HPE Superdome Flex Grid между разделами HPE nPar, вследствие чего трафик данных из одного раздела не способен повлиять на работу другого раздела. Если разделы HPE nPar соединены кабелями по индивидуальной схеме с учетом конкретного размера HPE nPar (что имеет место в случае системы, интегрированной в заводских условиях), тогда каждый раздел HPE nPar можно обслуживать независимо, без прерывания работы других разделов nPar, находящихся в том же комплексе.

Техническое описание Страница 8

Обеспечивая возможность масштабирования системы вплоть до 32 сокетов, сервер HPE Superdome Flex является самой мощной из доступных сегодня серверных систем с кэш-когерентной разделяемой памятью, открывая перед заказчиками возможности решения гораздо более ресурсоемких задач, чем прежде. Пример схемы соединений фабрики HPE Flex Grid для 32-сокетной системы с одним разделом HPE nPar показан на рис. 3.

Рис. 3. Схема соединений HPE Superdome Flex Grid для системы с 32 сокетами

Как показано на рис. 3, фабрика HPE Superdome Flex Grid связывает все чипы ASIC между собой прямыми соединениями с удаленностью в один шаг (single-hop), что обеспечивает минимальные задержки и максимальную производительность. Фабрика HPE Superdome Flex Grid на основе кабельных соединений обладает столь высокой гибкостью, что допускает масштабировании даже свыше 32 сокетов. В этом случае, прямое соединение в один шаг между чипами HPE Superdome Flex ASIC уже невозможно, однако масштабирование свыше 32 сокетов (до 64 сокетов и даже более) обеспечивается соединениями в несколько шагов (multi-hop). Такая гибкость позволит самым требовательным заказчикам получить решение с разделяемой когерентной памятью с недостижимыми прежде возможностями вертикального масштабирования для решения любых вычислительных задач.

Подсистема памяти В каждом шасси HPE Superdome Flex имеется 48 слотов DDR4 DIMM, допускающих установку модулей памяти 32 ГБ RDIMM, 64 ГБ LRDIMM или 128 ГБ TSV LRDIMM, что обеспечивает максимальный объем памяти 6 ТБ на шасси. Соответственно, общий объем основной памяти HPE Superdome Flex в максимальной конфигурации с 32 сокетами составляет 48 ТБ, что

Техническое описание Страница 9

позволяет работать с самыми ресурсоемкими приложениями, использующими технологию in-memory. В системах на базе процессоров Intel Xeon Scalable второго поколения (серии 82xx и 62xx) в слоты DIMM также можно устанавливать модули энергонезависимой памяти (объемом 128, 256 и 512 ГБ) в дополнение к памяти типа DDR4.

Половина слотов DIMM всегда должна быть заполнена модулями памяти типа DDR4. Другая половина слотов DIMM может быть заполнена либо только модулями памяти типа DDR4, либо модулями памяти типа DDR4 и модулями энергонезависимой памяти в соотношении 6:1, 6:2 или 6:6. Конфигурации с энергонезависимой памятью поддерживаются в режиме App Direct, если его поддерживает операционная система. На рис. 4 показана архитектура подсистемы памяти.

Рис. 4. Подсистема памяти шасси HPE Superdome Flex

Как показано на рис. 4, подсистема памяти обладает следующими характеристиками:

• Каждый процессор Intel Xeon Scalable имеет два полностью независимых интегрированных контроллера памяти (memory controller, MC). Процессоры связаны между собой посредством кольцевой архитектуры с когерентным кэшем, что порож-дает в каждом шасси три уровня задержки (локальный доступ, прямое подключение, непрямое подключение).

• Каждый контроллер памяти имеет три полностью независимых канала памяти.• Каждый канал памяти соединен напрямую с двумя слотами DIMM, в которые устанавливается либо память DDR4, либо

поддерживаемая комбинация памяти DDR4 и энергонезависимой памяти.• Предусмотрены соединения с внешними шасси (на схеме не показаны).

Техническое описание Страница 10

Поскольку эти каналы памяти полностью независимы, все они могут работать одновременно со скоростями передачи данных памяти DRAM до 2933 МТ/с, что обеспечивает каждому 4-сокетному шасси HPE Superdome Flex пропускную способ-ность локальной памяти свыше 360 ГБ/с (STREAM TRIAD).

Подсистема ввода/вывода При проектировании своих серверов для решения ответственных задач компания HPE с целью достижения максимальной производительности первостепенное внимание всегда уделяла поддержанию баланса между вычислительной мощностью, объемом/производительностью памяти, топологией коммутационной матрицы и возможностями подсистемы ввода/вывода. Каждое шасси HPE Superdome Flex может быть оборудовано корзиной с 16 или 12 слотами ввода/вывода для обеспечения большого количества вариантов установки карт стандарта PCIe 3.0 и гибкой возможности поддержания вышеуказанного жизненно-важного системного баланса для любых рабочих нагрузок. Корзина ввода/вывода с 16 слотами для карт PCIe 3.0 предоставляет девять низкопрофильных слотов x8 и семь низкопрофильных слотов x16. Корзина использует 48 доступных линий PCIe от каждого процессора, что обеспечивает максимально возможную пропускную способность подсистемы ввода/вывода на уровне 110 ГБ/с на шасси. Корзина ввода/вывода с 12 слотами для карт PCIe 3.0 предоставляет четыре слота x8 полной высоты, четыре слота x16 полной высоты, три низкопрофильных слота х8 и один низкопрофильный слот x16. Корзина предоставляет достаточную дополнительную мощность питания для поддержки графических карт (GPU) полной высоты/двойной ширины мощностью порядка 300 Вт для требовательных рабочих нагрузок HPC/HPTC или для задач машинного обучения в качестве эффективного механизма обучения нейронной сети. В обоих вариантах корзины слоты ввода/вывода подключены к процессорам напрямую, без применения шинных повторителей или расширителей, что могло бы увеличить время задержки или уменьшить пропускную способность. Пользователям сервера HPE Superdome Flex это дает уверен-ность в максимально возможной производительности каждой карты ввода/вывода. На рис. 5 показаны схемы корзин ввода/вывода с 16 слотами и с 12 слотами.

Lorem ipsum

Рис. 5. Схемы корзин ввода/вывода сервера HPE Superdome Flex с 16 слотами и с 12 слотами

Помимо возможности выбрать нужный вариант корзины ввода/вывода с учетом потребностей любого приложения, подси-стема ввода/вывода сервера HPE Superdome Flex также включает в себя модуль Base I/O с набором базовых функций. В этом модуле размещены внутренние загрузочные накопители с возможностью горячей замены, предназначенные для упро-щения развертывания и минимизации затрат. Безусловно, заказчик также может выбрать вариант с загрузкой из сети SAN, что часто рекомендуется для решения SAP HANA®, или даже варианты сетевой загрузки через PXE.

Техническое описание Страница 11

Рис. 6. Модуль Base I/O сервера HPE Superdome Flex

Как показано на рис. 6, модуль HPE Superdome Flex Base I/O предоставляет шасси Base Chassis комплекса HPE Superdome Flex следующую функциональность:

• Встроенное загрузочное хранилище на основе четырех внутренних накопителей 2.5» HDD/SSD с возможностью горячей замены

• Один привод DVD-ROM/RW для установки ОС/драйверов• Два сетевых порта 10GbE-T общего назначения • Два сетевых порта 1GbE-T общего назначения • Четыре порта USB 3.0 • Последовательный порт консоли ОС, порт VGA и сетевой порт KVM• Один сетевой порт для соединения контроллера Rack Management Controller (RMC) с сетью управления сервером• Один порт консоли контроллера Board Management Controller (BMC) для первоначальной настройки системы, восстанов-

ления пароля и отладки

Каждая система HPE Superdome Flex обязательно должна содержать одно основное шасси Base Chassis в качестве монарха и может включать дополнительно до семи шасси расширения Expansion Chassis либо Partition Expansion Chassis (в зависи-мости от конфигурации, выбранной заказчиком). Если в системе предполагается использование двух и более аппаратных разделов HPE nPars, то в дополнение к основному Base Chassis, должны использоваться шасси расширения раздела Partition Expansion Chassis.

Управление шасси HPE Superdome FlexКаждое шасси сервера HPE Superdome Flex включает в себя чип Platform Controller Hub (PCH) и контроллер Baseboard Management Controller (BMC), которые обеспечивают все необходимые функции для интеграции шасси с основным компо-нентом управления сервером – контроллером Rack Management Controller (RMC). Чип PCH обеспечивает функции сброса в исходное состояние (reset) и часов реального времени. Контроллер BMC обеспечивает основную часть функций организации аппаратных разделов и обработки отказов и сбоев. Кроме того, аппаратное и микропрограммное обеспечение контрол-лера BMC предоставляет возможность удаленного управления сервером через Ethernet-сеть управления. Контроллер BMC каждого шасси напрямую соединен с контролером RMC, который предоставляет необходимую вычислительную мощность для управления такой большой и гибкой системой, как HPE Superdome Flex.

Контроллер HPE Superdome Flex Rack Management ControllerУправление сервером HPE Superdome Flex осуществляется с помощью контроллера HPE Superdome Flex Rack Management Controller (RMC). Это дает возможность управлять разделами системы, проводить инвентаризацию компонентов и следить за их состоянием. Каждое шасси имеет собственный контроллер BMC, а контроллер RMC при помощи этих контроллеров управляет всеми шасси и коммутационной матрицей сервера как единой системой, без необходимости опускаться до уровня управления отдельными узлами.

Встроенный в HPE Superdome Flex RMC механизм Analysis Engine непрерывно анализирует состояние всех аппаратных компонентов с целью своевременного выявления сбоев, прогнозирования отказов и инициирования процедур автоматиче-ского восстановления, а также отправки уведомлений администраторам и инструментам удаленной поддержки HPE Insight Remote Support и HPE OneView.

Техническое описание Страница 12

RASСерверы HPE Superdome Flex обеспечивают функции RAS для всех ключевых аппаратных подсистем (процессоры, память и ввод/вывод) и являются идеальной платформой для работы критически важных операционных сред Linux®, Microsoft Windows® и VMware®. Сервер HPE Superdome Flex дает адекватный ответ на усиление внимания заказчиков к уровню доступ-ности – в нем реализован многоуровневый подход, обеспечивающий защиту на уровне приложений, на уровне файловой системы и на уровне операционной системы. Отказоустойчивая инфраструктура сервера HPE Superdome Flex в сочетании с операционными окружениями для архитектуры x86 является основой комплексной стратегии обеспечения высокой доступности, охватывающей все уровни – от приложений до аппаратных средств.

Стратегия управления сбоямиВ серверах HPE Superdome Flex в полной мере реализован подход компании HPE к проектированию систем, предназна-ченных для поддержки критически важных рабочих нагрузок. Это подход состоит в реализации (когда это возможно) четы-рехступенчатой стратегии обеспечения RAS-, включающий в себя обнаружение, регистрацию, анализ и устранение сбоев (см. рис. 7).

Рис. 7. Стратегия HPE в области обеспечения отказоустойчивости аппаратных платформ

Такая стратегия обеспечивает работоспособность приложений и доступность данных заказчика даже при наличии сбоев. Даже в редком случае некорректируемой на аппаратном уровне ошибки эта стратегия позволяет обнаружить и изолировать поврежденные данные и предотвратить их попадание в локальную сеть или в систему хранения.

При возникновении неисправностей, требующих вмешательства службы поддержки, ключевое значение имеет точная и своевременная диагностика, которая позволяла бы быстро определить причину неисправности и найти метод ее устранения с первой попытки. Ниже перечислены некоторые возможности сервера HPE Superdome Flex в плане диагностики:

• Минимизация времени ремонта• Сбор достаточного объема данных для диагностики сбоев с момента их первого проявления • Обеспечение функционирования системы после сбоя для завершения регистрации этого сбоя в журнале событий • Возможность диагностирования всех компонентов системы (программное обеспечение, микропрограммное обеспечение,

аппаратные средства) на основе полного журналирования ошибок • Возможность ремонта на уровне блоков, заменяемых в процессе эксплуатации (Field-replaceable-unit, FRU)• Самовосстановление на уровне компонентов

Подход Firmware FirstОдним из элементов реализованной в серверах HPE Superdome Flex комплексной стратегии управления сбоями является подход Firmware First, обеспечивающий диагностику проблем на уровне микропрограммного обеспечения. Суть подхода Firmware First заключается в следующем: при возникновении какой-либо проблемы первым выходит на сцену микропро-граммное обеспечение, обладающее детальными знаниями систем HPE Superdome Flex, чтобы быстро и точно установить причины проблемы и найти способы ее устранения. Реализованная в процессорах Intel Xeon Scalable технология Enhanced Machine Check Architecture Gen 2 (EMCA2) позволяет микропрограммному обеспечению первым просмотреть журнал ошибок с целью диагностики проблем и принятия соответствующих мер на уровне платформы, еще до вовлечения в этот процесс операционной системы и другого ПО более высокого уровня. Подход Firmware First распространяется как на корректируемые, так и на некорректируемые на аппаратном уровне ошибки, и позволяет микропрограммному обеспе-чению собирать данных об ошибках и осуществлять диагностику даже в тех случаях, когда процессоры системы имеют ограниченную функциональность. Подход Firmware First дает возможность выполнять множество специфических для данной платформы действий по диагностике и локализации сбоев, включая упреждающий анализ сбоев системной памяти, процессоров, компонентов ввода/вывода и коммутационной матрицы.

Техническое описание Страница 13

Уникальные возможности в сфере RASНа данный момент такие возможности, как резервирование блоков питания с горячей заменой по принципу N+1, коррекция одноразрядных/многоразрядных ошибок памяти и пр., уже получили широкое распространение в ИТ-отрасли, однако сервер HPE Superdome Flex дополнительно предлагает ряд уникальных функций RAS, выделяющих его из ряда индустриально стан-дартных систем, таких как:

• Возможность самовосстановления после сбоев• RAS на уровне процессора • RAS на уровне памяти • RAS на уровне платформы• RAS на уровне приложений • RAS на уровне ОС

СамовосстановлениеВ серверах Superdome Flex предусмотрено несколько механизмов реагирования на сбои, позволяющих избежать внепла-новых простоев. Основные способы защиты от простоев – это деактивация неисправных или сбойных компонентов в процессе начальной загрузки, а также попытка восстановления неисправных или сбойных компонентов во время работы системы. Выведение неисправных и сбойных компонентов из конфигурации позволяет системе продолжить работу с использованием исправной части оборудования вплоть до момента появления возможности для технического обслужи-вания системы. Такие средства самовосстановления позволяют избежать внеплановых простоев системы.

Вывод из конфигурации неисправных или сбойных компонентов В сервере HPE Superdome Flex предусмотрена возможность вывода компонентов из конфигурации, позволяющая системе выдержать одиночный аппаратный сбой.

• Вывод из конфигурации модулей DIMM, слотов ввода/вывода и процессорных ядер: Реактивный и упреждающий анализ сбоев позволяет вывести из конфигурации неисправные или сбойные модули DIMM памяти, слоты ввода/вывода и процес-сорные ядра, чтобы система смогла продолжить работу, используя только исправные компоненты.

• После перезагрузки отказавшая память может быть восстановлена с помощью резервных ячеек в DRAM. Данная техно-логия, которая носит название Post Package Repair, поддерживается в сервере HPE Superdome Flex.

Заблаговременная (до возникновения отказа) деактивация компонентов в процессе работы Неисправности во многих областях сервера Superdome Flex приводят к деактивации ресурсов в процессе работы, чтобы избежать дальнейшего использования сбойных компонентов. Самовосстановление на таком уровне дает возмож-ность свести простои системы к минимуму и позволяет произвести ремонт во время ближайшей плановой остановки. Коммутационная фабрика и подсистема памяти предоставляют следующие возможности самовосстановления с деактива-цией сбойных компонентов в случае необходимости:

• Самовосстановление канала HPE Superdome Flex Grid с уменьшением ширины канала, деактивацией порта в режиме онлайн и изменением маршрута трафика через фабрику

• Механизм Adaptive Double Device Data Correction (ADDDC), позволяющий продолжить работу в случае отказа двух чипов DRAM в одном ранге модулей DIMM

• Механизм работы с памятью MEMlog™, используемый приложениями для высокопроизводительных вычислений

RAS на уровне процессора В серверах HPE Superdome Flex применяются процессоры Intel Xeon Scalable, которые обладают обширными возможно-стями для обнаружения, коррекции и регистрации постоянных и случайных ошибок. Поскольку такие функции RAS требуют дополнительной поддержки на уровне микрокода платформы, как правило, на других индустриально стандартных серверах они не используются. В сервере HPE Superdome Flex реализованы следующие функции RAS, предоставляемые процессо-рами Xeon Scalable:

• Ограничение распространения поврежденных данных • Ограничение распространения ошибок PCIe, механизм PCIe Live Error Recovery • Ограничение распространения вирусных ошибок • Защита от ошибок в межпроцессорных соединениях • Расширенные возможности восстановления с использованием технологии Advanced MCA• Деактивация сокета и вывод его из конфигурации• Улучшенная отчетность по ошибкам в канале UPI• Функциональность HPE Address Range Scrub

Техническое описание Страница 14

Ограничение распространения поврежденных данных Серверы HPE Superdome Flex на базе процессоров Intel Xeon Scalable поддерживают режим ограничения распространения поврежденных данных, позволяющий обнаруживать и в некоторых случаях устранять некорректируемые на аппаратном уровне ошибки. Если этот режим активирован, то источник поврежденных данных не будет подавать сигнал Machine Check Exception. Вместо этого для поврежденных данных будет установлен флаг Error Containment. При поступлении помеченных таким образом данных к получателю будет инициирован сигнал об ошибке, после чего она будет обработана микропро-граммным обеспечением и операционной системой. Возможны несколько сценариев восстановления, в том числе следу-ющие: Uncorrected No Action (UCNA), Software Recovery Action Optional (SRAO) и Software Recovery Action Required (SRAR). Ориентированная на выполнение критически важных задач инфраструктура HPE Superdome Flex и операционные окру-жения для архитектуры х86 поддерживают все вышеуказанные сценарии обработки ошибок данных и, когда это возможно, обеспечивают комплексное восстановление после ошибок на аппаратном, микропрограммном и программном уровнях.

Механизм PCIe Live Error Recovery Некорректируемые ошибки в подсистеме PCIe сервера потенциально способны повлиять на работу других компонентов, что может привести к аварийному отказу раздела или даже всего сервера. Чтобы свести эти риски к минимуму, компания HPE реали-зовала на уровне микрокода сервера HPE Superdome Flex функции, использующие механизм Intel Live Error Recovery (LER), которые обеспечивают возможность перехвата ошибки на корневом порту PCI с целью предотвращения ее дальнейшего распространения. Механизм LER позволяет платформе обнаруживать как ошибки, составляющие подмножество ошибок Advanced Error Reporting (AER), так и ошибки проприетарных компонентов PCIe во входящих и в исходящих каналах PCIe. После выявления ошибки PCIe механизм LER способен ограничить ее распространение, остановив передачу данных ввода/вывода для предотвращения попа-дания поврежденных данных в сеть и/или в систему хранения. Кроме того, ограничение дальнейшего распространения ошибки средствами LER позволяет избежать немедленной аварийной остановки всей системы. Одновременно с ограничением распро-странения ошибки информация об этой ошибке поступает в микропрограммное обеспечение HPE, которое, в свою очередь, информирует о ней операционную систему и драйверы устройств более высокого уровня. Компания HPE значительно усовершен-ствовала реализацию PCIe Advanced Error Reporting, что позволяет операционной системе Linux формировать более подробные отчеты о подобных ошибках в файлах своих системных журналов, а также улучшить взаимодействие с драйверами устройств с целью восстановления после корректируемых ошибок PCIe. Это инновационное решение для механизма Live Error Recovery, реали-зованное на сервере HPE Superdome Flex, недоступно на других стандартных системах на базе процессоров Intel Xeon.

Ограничение распространения вирусных ошибок Серверы HPE Superdome Flex обеспечивают дополнительную защиту данных пользователей от повреждения, помечая «зараженные» данные в процессоре или в масштабируемом чипсете сервера. Это предотвращает попадание поврежденных данных в подсистему ввода/вывода или получение поврежденных данных из нее. Теоретически, зараженные данные можно прочитать, однако они никогда не будут использованы процессором или средствами ввода/вывода.

Защита от ошибок в межпроцессорных соединениях Все межпроцессорные соединения, в том числе UPI, Memory Interconnect и PCIe, широко используют алгоритм контроля циклическим избыточным кодом (CRC) для корректировки ошибок на соответствующих шинах передачи данных. Кроме того, в них предусмотрены механизмы самовосстановления, позволяющие продолжить работу после устойчивого отказа, например, после отказа канала передачи данных. Каналы PCIe также поддерживают возможность уменьшения ширины канала и его пропускной способности при невозможности работы с полной шириной или на полной скорости.

Технология Advanced MCA recoveryAdvanced MCA Recovery – это технология, использующая сочетание возможностей процессора, микропрограммного обеспечения и операционной системы. Эта технология позволяет на уровне операционной системы исправлять ошибки, которые не могут быть скорректированы на аппаратном уровне. Без использования MCA recovery такая ошибка неизбежно вызвала бы аварийную оста-новку системы. С помощью МСА recovery операционная система анализирует ошибку и выясняет, можно ли ее локализовать на уровне приложения, потока или экземпляра ОС. Затем ОС определяет, каким способом реагировать эту на ошибку.

В процессорах Intel Xeon Scalable, по сравнению с предыдущим поколением процессора Xeon E7, расширены возможности улучшенного восстановления после ошибок. Теперь процессоры Intel Xeon Scalable поддерживают восстановление после неис-правимых ошибок памяти в исполняемых потоках инструкций и данных (software recovery action required, SRAR) в дополнение к обработке неисправимых ошибок памяти в потоках, не связанных с исполнением (software recovery action optional, SRAO). В свое время специалисты HPE проделали большую работу по созданию и тестированию расширенных возможностей восста-новления после ошибок памяти с использованием процессора Е7, в том числе и на уровне приложений SAP HANA (Intel, 2011).

При выявлении неисправимых на аппаратном уровне ошибок процессор прерывает работу ОС или виртуальной машины и передает им адрес соответствующей ошибки. Операционная система сбрасывает состояние ошибки, помечает неисправную ячейку памяти флагом bad («плохая»), чтобы не допустить ее дальнейшего использования, и продолжает работу.

Деактивация сокета и вывод его из конфигурации Если в процессе работы произойдет отказ процессорного сокета, соответствующий раздел зарегистрирует ошибки и аварийно остановится. Механизм Analysis Engine обнаружит индикацию ошибки сокета, после чего отошлет сервисное оповещение в инструмент Insight Remote Support (IRS) вместе со сведениями о физическом местоположении соответствующего центрального процессора. Система перезагрузится и вернется к работе после регистрации информации о сбое в системном журнале.

Техническое описание Страница 15

Если процессор откажет в процессе начальной загрузки, BIOS системы обнаружит это и отошлет сервисное оповещение в инструмент IRS. BIOS деактивирует процессорную группу (CPU group), содержащую сбойный сокет. В зависимости от типа центральных процессоров группа CPU group может состоять из двух или из четырех сокетов. Остальные шасси в данного раздела продолжат начальную загрузку и останутся в этом разделе.

RAS на уровне памяти Ошибки оперативной памяти всегда были одной из основных причин простоев оборудования. В сервере HPE Superdome Flex используются несколько технологий для повышения надежности памяти, в том числе упреждающая очистка памяти и адаптивный механизм коррекции ошибки данных в двух микросхемах памяти (ADDDC). Кроме того, сервер HPE Superdome Flex поддерживает технологию Post Package Repair, позволяющую зарезервировать память и в случае необходимости заме-нить дефектные участки DRAM. Применяемые модули HPE Memory DIMM соответствуют высоким стандартам производи-тельности и качества. Кроме того, HPC-приложения (приложения для высокопроизводительных вычислений) могут восполь-зоваться возможностями технологии MEMlog для повышения отказоустойчивости оперативной памяти.

Упреждающая очистка памяти Для более эффективной защиты оперативной памяти в сервере HPE Superdome Flex реализован специальный аппаратный механизм очистки, который осуществляет активное сканирование памяти на предмет ошибок. При выявлении ошибки этот механизм корректирует ее и перезаписывает исправленные данные в память. В сочетании с ECC этот механизм предотвра-щает накопление случайных ошибок в нескольких разрядах. Однако если ошибка является устойчивой, память по-прежнему находится под угрозой ошибок в нескольких разрядах. Накопление ошибок памяти в модулях DIMM может привести к иска-жению информации сразу в нескольких разрядах – эта ситуация не поддается корректировке и может привести к повреж-дению данных. Упреждающая очистка памяти – это реализованная в серверах HPE Superdome Flex аппаратная функция, находящая ошибки памяти прежде, чем произойдет их накопление.

Коррекция данныхОтраслевым стандартом защиты памяти является алгоритм SECDED, предполагающий коррекцию ошибки в одном разряде и выявление ошибок в двух разрядах. Помимо этого, многие серверы, предлагаемые сегодня на рынке, поддерживают меха-низм SDDC (Single Device Data Correction – коррекция данных при сбое в одном чипе памяти), известный также под фирмен-ными наименованиями Chip Sparing или Chipkill. Механизм ADDDC (Adaptive Double Device Data Correction – адаптивная коррекция ошибок в двух чипах памяти) в серверах HPE Superdome Flex обеспечивает более качественную защиту памяти по сравнению со стандартными методами.

Технология ADDDC выявляет отказ в первом чипе DRAM в ранге, корректирует его данные и перемещает их в резервные (spare) разряды в этом ранге, а сам сбойный чип выводит из использования. После выполнения данной операции механизм коррекции SDDC по-прежнему доступен для этого исправленного ранга. Таким образом, даже при отказах в двух чипах памяти DRAM в одном ранге модулей DIMM, память все еще будет защищена технологией ECC. Благодаря этому система остается устойчивой к сбою одного DRAM в каждом модуле DIMM. В случае сбоя двух DRAM на модуле DIMM содержимое памяти находится под угрозой. В этом случае микропрограммное обеспечение инициирует завершение работы операци-онной системы, чтобы предотвратить повреждение данных.

Механизм ADDDC радикально увеличивает период работоспособности системы, поскольку уменьшает количество сбойных модулей DIMM, подлежащих замене. Использование этой технологии позволяет уменьшить частоту замены модулей DIMM до 17 раз по сравнению с системами, использующими только технологии Single-Chip Sparing. Более того, по сравнению с системами, поддерживающими только возможности Single-Chip Sparing, механизм ADDDC кардинально снижает вероят-ность аварийной остановки системы по причине отказов, связанных с памятью.

И хотя технология ADDDC основана на функциях процессора Intel Xeon E7, в серверах HPE Superdome Flex она была усовер-шенствована за счет использования специальных микропрограммных и аппаратных алгоритмов. ADDDC позволяет улуч-шить показатели RAS оперативной памяти по сравнению с базовым решением Intel и уменьшить простои по вине сбоев памяти на 33-95% по сравнению со стандартными платформами x86.

Новые возможности RAS на уровне памяти, реализованные в процессоре Intel Xeon Scalable Процессоры Intel Xeon Scalable и их подсистема памяти DDR4 поддерживают новые функции RAS на уровне памяти, в допол-нение к уже ранее имевшимся в предшествующих версиях процессора E7. Речь идет о следующих функциях:

• Функция Multiple Rank SparingСбои могут затрагивать ранги DRAM целиком. Эта функция позволяет перенести данные из поврежденного ранга. Это новое свойство ADDDC по сравнению с DDDC.

• Функция DRAM Bank SparingЧтобы улучшить обработку наиболее вероятных типов ошибок памяти на уровне DRAM, функция DRAM Bank Sparing предоставляет возможность перемещения данных из сбойного банка. В технологии ADDDC функция DRAM Bank Sparing уже активирована автоматически. Эта функция повышает устойчивость к ошибкам до 33 % по сравнению с усовершен-ствованной технологией DDDC в процессорах E7 v2.

Техническое описание Страница 16

• Функция DDR4 Command/Address Parity Error RetryКомандная/адресная шина памяти DDR4 имеет защиту по четности, а интегрированные контроллер памяти и буфер памяти процессоров E7 v4 и E7 v3 обеспечивают обнаружение и регистрацию ошибок четности. В предыдущих плат-формах E7 все ошибки четности в командной/адресной шине оказывались фатальными и приводили к аварийному прекращению работы ОС. Сочетание Command/Address Parity Error Retry и ADDDC обеспечивает устойчивость к ошибкам во всех интерфейсах и компонентах памяти.

RAS на уровне энергонезависимой памяти* HPE Persistent MemoryСервер HPE Superdome Flex поддерживает энергонезависимую память HPE Persistent Memory (в режиме App Direct), доступную в виде модулей объемом 128, 256 и 512 ГБ на базе технологии Intel® OptaneTM DC Persistent Memory. В связи с этим компания HPE расширила возможности RAS системы, добавив в механизме Analysis Engine поддержку отчетности по сбоям контроллеров, по ошибкам данных, по температурным условиям и по нештатному/аварийному завершению работы.

В сервере HPE Superdome Flex компания HPE улучшила возможности отчетности Address Range Scrub, распространив их на модули энергонезависимой памяти HPE Persistent Memory, чтобы сократить задержки при начальной загрузке системы и в течение дальнейшей работы. HPE Superdome Flex отслеживает местоположения плохих адресов и передает сведения о них в операционную систему вместо того, чтобы запрашивать их из энергонезависимой памяти. Это улучшает обработку системных вызовов к модулям DIMM энергонезависимой памяти.

В модулях энергонезависимой памяти реализован механизм регулярной очистки (patrol scrubber) и механизм коррекции ошибок ADDDC с использованием микроконтроллера на модуле DIMM. При таком подходе целостность данных обеспечи- вается на гораздо более длительный период, чем при использовании механизма регулярной очистки на базе процессора. HPE предоставляет средства для сигнализации о состоянии энергонезависимой памяти в тех случаях, когда ее модули начи- нают проявлять признаки износа. Механизм Analysis Engine осуществляет мониторинг среды энергонезависимой памяти и отсылает предупреждения до наступления отказа типа «исчерпание ресурса» в модуле памяти, что позволяет заблаго- временно заменить этот модуль.

При отказе питания данные можно поместить в очередь в модуле энергонезависимой памяти. Система предоставляет меха- низм, который пытается заблаговременно записать все данные – он сигнализирует о проблеме и поддерживает питание модуля энергонезависимой памяти на протяжении времени, достаточного для завершения этого процесса записи. Механизм Analysis Engine сообщает о флуктуациях питания или о небезопасном завершении работы, которое может произойти в системе.

В случае сбоя микроконтроллера энергонезависимой памяти на этапе загрузки или на этапе включения питания, а также в случае его полного отказа, коммуникационных ошибок или перегрева, механизм Analysis Engine регистрирует информацию обо всех этих ошибках в журнале и сообщает о них с целью их исправления, обновления микропрограммного обеспечения или замены отказавшего модуля.

И, наконец, под воздействием высокой температуры может произойти отказ модуля энергонезависимой памяти или потеря данных. Механизм Analysis Engine осуществляет мониторинг теплового режима и сообщает о его нарушениях заказчику.

RAS на уровне платформыСервер Superdome Flex предоставляет расширенный набор встроенных функций RAS, в том числе на уровне коммутаци-онной фабрики (System Fabric RAS) и на уровне платформы (Fault-Tolerant RAS).

Функциональность System Fabric RAS HPE Superdome Flex Grid представляет собой усовершенствованную схему коммутации, которая обеспечивает гибкость решения и возможности адаптивной маршрутизации. Система не только направляет трафик по оптимальному в плане задержки пути с целью повышения производительности, но также предоставляет возможность направить трафик в обход отказавших компонентов HPE Superdome Flex Grid и продолжить работу в большинстве случаев сбоя фабрики. Инновационный чипсет HPE для масштабируемой системы корпоративного уровня обладает обширными возможностями в плане самовосстановления, обнаружения ошибок и их исправления.

Реализация отказоустойчивой фабрикиРешение HPE Superdome Flex Grid было спроектировано с целью обеспечения отказоустойчивости коммутационной матрицы (фабрики). В основе этой фабрики лежат каналы с высокой пропускной способностью, предоставляющие множе-ство путей передачи данных, и транспортный уровень для гарантированной доставки пакетов через фабрику. Физические каналы связи поддерживают функциональность адаптивной маршрутизации для динамического направления трафика в обход отказавших компонентов без прерывания работы фабрики. Для гарантии целостности данных применяются мощные алгоритмы CRC. Кабельные соединения сами по себе не имеют активных компонентов, способных выйти из строя; вполне вероятно, что в будущем сами кабели можно будет обслуживать (в том числе заменять и повторно активировать каналы) без перезагрузки раздела HPE nPar.

* В дальнейшем под «энергонезависимой памятью» в этом документе будет пониматься память HPE Persistent Memory, предлагаемая в виде модулей объемом 128, 256 и 512 ГБ на базе технологии Intel® OptaneTM DC Persistent Memory.

Техническое описание Страница 17

Разбиение на разделы и изоляция ошибок Отказоустойчивость – это обязательное условие при реализации полноценных аппаратных разделов. Технология аппаратных разделов HPE nPar обеспечивает полную изоляцию рабочей нагрузки, позволяя вам сконфигурировать серверный комплекс, состоящий из нескольких шасси, как один большой сервер или как несколько независимых серверов. Каждый раздел HPE nPar имеет собственные независимые ресурсы (процессоры, память и средства ввода/вывода), которые и образуют этот раздел. Если подключение кабелей HPE Superdome Flex Grid осуществлено надлежащим образом, эти ресурсы можно удалять из одного раздела и добавлять в другой раздел используя командный интерфейс управления системой, без необхо-димости физических манипуляций с оборудованием. Разделы HPE nPar обеспечивают оптимальную производительность при условии правильной коммутации кабелей и возможность увеличения количества сокетов до 16 в одном разделе.

Во многих системах используется общая объединительная панель, при этом все blade-модули конкурируют за одни и те же электрические ресурсы, что повышает вероятность возникновения общих отказов по вине разделяемых компонентов. К примеру, такие факторы, как высокие задержки из-за очередей и исчерпание ресурсов общей коммутационной матрицы, могут ограничить масштабирование производительности, а перебои в энергоснабжении общего шасси в системах с общим источником питания могут привести к одновременному отказу нескольких разделов. В системе HPE Superdome Flex все подсистемы подключены напрямую посредством кабелей, а каждое шасси имеет собственную мощную систему электропи-тания, что повышает гибкость, надежность и масштабируемость системы.

RAS на уровне приложений Кластерное программное обеспечение HPE Serviceguard для Linux (SGLX) отслеживает доступность ваших критически важных ИТ сервисов, включая базы данных и приложения, и автоматически восстанавливает их работу на резервных системах в случае отказов. Приложения и все компоненты, от которых зависит их работа, тщательно отслеживаются на предмет возникновения сбоев аппаратного и программного обеспечения комплекса. При обнаружении отказа или подо-зрении на него при превышении порогового значения времени отклика на сигнал heartbeat, HPE SGLX автоматически и прозрачно возобновляет работу приложения на резервном оборудовании реагируя в считанные секунды..

Кроме того, пакет HPE Serviceguard Storage Management Suite (SMS) позволяет заказчику использовать кластерную файловую систему для достижения высокого уровня доступности и производительности приложений благодаря улучшению управляемости и масштабируемости. И, наконец, HPE Serviceguard способен обеспечить комплексную защиту не только в рамках одного центра обработки данных, но и катастрофоустойчивость решения в территориально распределённых (в рамках города, страны или даже разных континентов) конфигурациях. Два продукта – HPE Serviceguard Metrocluster for Linux и HPE Serviceguard Continental clusters for Linux – предлагают мощные механизмы восстановления для географически распределенных кластеров, позволяя бизнес-приложениям оставаться доступными даже в случае катастроф.

Более подробную информацию о кластерном решении для поддержания высокой доступности и аварийного восста-новления на базе HPE Serviceguard for Linux можно получить на веб-сайте: hpe.com/us/en/product-catalog/detail/pip.hpe-serviceguard-for-linux.376220.html.

RAS на уровне операционной системы Критически важные окружения на основе сервера HPE Superdome Flex предлагают не имеющий себе равных набор функций для обнаружения и устранения неисправностей. В результате многолетнего сотрудничества между разработчиками процес-соров, микропрограммного обеспечения, операционных систем и приложений нам удалось создать ряд эффективных механизмов коррекции ошибок. Более подробные сведения об исправлении ошибок памяти и PCIe с привлечением средств операционной системы изложены в разделе Уникальные возможности в сфере RAS.

Краткий обзор функций RASНа уровне шасси

• Обработка ошибок на уровне микропрограммного обеспечения (подход Firmware First)• Резервированные блоки питания с горячей заменой (N+N или N+1) и вентиляторы• Фабрика HPE Superdome Flex Grid: при сбое в канале переключение на исправный канал, повторная попытка передачи

на уровне канала, динамическая настройка канала, согласование пропускной способности• Адаптивная маршрутизация: находит дефектные каналы фабрики и направляет трафик в обход• Защита циклическим избыточным кодом (CRC) на уровне микропакетов и быстрая повторная передача при случайных ошибках • При нерегулярных ошибках системы: инициирование повторного выполнения операции или попытки восстановления • Фабрика Superdome Flex Grid: переключение на исправный канал при сбое в канале• Отчетность по ошибкам шасси• Деактивация сокета на этапе загрузки вследствие ограничений • Исключение шасси из конфигурации на этапе загрузки• Разделы HPE nPar

Техническое описание Страница 18

На уровне процессора • Восстановление средствами EMCA2• Возможность повтора операций целочисленного конвейера или конвейера инструкций • Защита кодом коррекции ECC всех внутренних кэшей и дескрипторов кэшей• Проверка на четность регистров или буферов TLB• Улучшенная способность ограничивать распространение ошибки (вызванной вирусом) с целью повышения живучести системы • Повторение операции/перезапуск/повторная калибровка на уровне канала UPI• Текущая проверка каналов UPI методом CRC на наличие нерегулярных ошибок • Деактивация ядра, маркировка ядра как дефектного и вывод ядра из конфигурации на этапе загрузки; ограничение

распространения поврежденных данных на уровне ядра • Ограничение распространения данных (зараженных)

На уровне памяти • Упреждающая очистка памяти (регулярная и по требованию) • Adaptive DDDC для критически важных задач и задач HPC • Проверка на четность шин адреса и команд • Маркировка модуля DIMM как дефектного и вывод его из конфигурации• Регистрация ошибок памяти / ведение истории ошибок памяти в управляющем микропрограммном обеспечении • Освобождение страниц на уровне ОС средствами MEMlog• Реагирование на поток ошибок памяти • Применение технологии Post Package Repair для восстановления DRAM• Резервирование на уровне ранга и банка

На уровне ввода/вывода • Механизм PCIe Live Error Recovery (LER); ограничение распространения ошибок корневого порта PCIe и исправление ошибок карт• Остановка PCIe и соответствующая аварийная сигнализация; ограничение распространения поврежденных данных корне-

вого порта PCIe • Полная CRC-проверка PCIe • Ограничение распространения поврежденных данных PCIe (заражение данных)• CRC-проверка канала PCIe на ошибки и повторение операции • Повторная проверка и восстановление канала PCIe • Исключение из конфигурации корневого порта и карт

Управление• Механизм анализа состояния системы и обработки отказов Analysis Engine• Штатный встроенный анализатор • Консоль Virtual KVM • Инструмент удаленной поддержки Insight Remote Support и услуги Proactive Care • HPE SUM• HPE OneView• Встроенные сервисы регистрации ошибок Сервер HPE Superdome Flex: ключевые преимущества в области RAS относительно стандартных систем с архи-тектурой x86• Подход Firmware First - диагностика проблем на уровне микрокода• Автоматическая регистрация ошибок • Автоматическое самовосстановление (Analysis Engine) • Деактивация и вывод из конфигурации отказавших блоков, заменяемых в процессе эксплуатации (FRU) • Встроенный анализатор ошибок • Автоматический перезапуск системы• Усовершенствованная обработка ошибок процессора (EMCA2) • Повышенная отказоустойчивость памяти (ADDDC) • Реагирование на поток ошибок памяти • Улучшенная отказоустойчивость фабрики (адаптивная маршрутизация Flex Grid) • Усовершенствованное исправление ошибок PCI (LER) • Аппаратные разделы HPE nPar

Техническое описание Страница 19

УправлениеСервер HPE Superdome Flex предлагает расширенные возможности управления на основе встроенных компонентов управ-ления и дополнительных средств управления.

Встроенные компоненты управленияСервер HPE Superdome Flex предлагает следующие встроенные компоненты управления:

• Контроллер управления сервером HPE Superdome Flex Rack Management Controller• Контроллер управления шасси HPE Superdome Flex BMC

Контроллер HPE Superdome Flex Rack Management Controller (RMC или eRMC)Основной компонент подсистемы управления – контроллер Rack Management Controller (RMC); он напрямую подключен ко всем шасси системы через физически защищенную выделенную локальную сеть (рис. 8, система с N шасси). Кроме того, каждое шасси управляется контроллером Baseboard Management Controller (BMC), который отвечает за конфигурирование и управ-ление применительно к аппаратным компонентам этого шасси, а также поддерживает функциональность vMedia и vKVM.

Рис. 8. Варианты реализации контроллера RMC

Для конфигураций сервера Superdome Flex с одним или с двумя шасси имеется специальная опция: функциональность RMC можно реализовать на одном из управляющих процессоров BMC, а оба этих шасси соединить друг с другом напрямую через порты RMC. Такая реализация носит название embedded RMC (eRMC). Функциональность eRMC идентична функцио-нальности внешнего контроллера RMC, занимающего в стойке 1U и не являющегося обязательным для 4-8 процессорных систем. Для трех или более шасси, а также в случае, если имеются планы по расширению системы до такого масштаба, следует использовать контроллер RMC в виде отдельного устройства.

Техническое описание Страница 20

Контроллер HPE Superdome Flex RMC предоставляет следующие ключевые возможности:

• Механизм Analysis Engine• Модуль Firmware manager• Управление разделами• Интерфейс командной строки на базе SSH• Консоль для каждого раздела HPE nPar• Интерфейс Redfish

Механизм Analysis Engine непрерывно анализирует все оборудование на предмет неисправностей. Используя информацию об обнаруженных ошибках и событиях, он прогнозирует отказы и инициирует процедуры автоматического восстановления, а также отправляет уведомления администраторам ив службу удаленной поддержки через инструмент HPE OneView Remote Support или HPE Insight Remote Support.

Встроенный модуль Firmware Manager сканирует раздел и информирует о компонентах с несовместимыми версиями микропро-граммного обеспечения. Несовпадение версий микропрограммного обеспечения (вследствие замены компонентов или модер-низаций системы) в одном разделе nPar или во всей системе HPE Superdome Flex можно с легкостью устранить путем обнов-ления микропрограммного обеспечения до согласованного уровня. Разделы с согласованным уровнем микропрограммного обеспечения всех компонентов проходят полную валидацию со стороны разработчиков системы на предмет максимальной надежности функционирования. С точки зрения управления микропрограммное обеспечение сервера HPE Superdome Flex рассматривается как одна версия микропрограммного обеспечения комплекса, в состав которого входит определенная версия микропрограммного обеспечения раздела HPE nPar, соответствующая версии BIOS сервера. Микропрограммное обеспечение комплекса охватывает все инфраструктурные компоненты сервера, включая аппаратную часть в виде RMC, BMC, FPGA и CPLD, а также образы BIOS для системы. Наличие единого процесса установки и единой обновляемой версии существенно упрощает управление микропрограммным обеспечением и повышает надежность платформы.

Управление разделами полностью реализовано в микропрограммном обеспечении. Нет необходимости использовать допол-нительные программные инструменты, внешнюю станцию управления или специальный гипервизор для формирования требуемой конфигурации раздела. В результате для конфигурирования, запуска и остановки раздела требуется меньше времени и усилий. Разделы HPE nPar полностью электрически изолированы друг от друга и функционируют независимо. Все они управляются и контролируются средствами RMC.

Основанный на SSH интерфейс командной строки контроллера RMC обеспечивает доступ ко всем возможностям RMC, к журналам Analysis Engine, к средствам управления системой, а также к консоли каждого раздела HPE nPar в системе.

Интерфейс Redfish контроллера RMC позволяет управлять системой как с помощью инструментов HPE, так и с помощью простых скриптов с использованием Python, curl или других методов, в рамках современного защищённого RESTful-интерфейса поверх https. Поскольку компания НРЕ совместно с другими представителями ИТ-отрасли работает над разви-тием стандарта Redfish с момента его появления, этот стандарт уже поддерживает большие системы с аппаратными разде-лами под управлением единого агрегированного контроллера, например, контроллера HPE Superdome Flex RMC. Другими словами, этот стандарт дает возможность представлять и контролировать систему с несколькими шасси, несколькими разделами HPE nPar и т.д., что упрощает интеграцию с такими программными платформами, как OpenStack.

HPE Superdome Flex BMCКаждое шасси управляется контроллером Baseboard Management Controller (BMC), который отвечает за конфигурирование и управление применительно к аппаратным компонентам этого шасси, а также поддерживает функциональность vMedia (виртуальные носители) и vKVM (виртуальные клавиатура, видео, мышь). Функции управления системой и функции инвента-ризации сохраняются у контролера RMC для обеспечения координации между разделами HPE nPar и всей системой. BMC выполняет инструкции, полученные от RMC, и осуществляет мониторинг каждого шасси по отдельности, сообщая в RMC о любых проблемах. Функции vMedia и vKVM для раздела HPE nPar обслуживаются непосредственно одним из контроллеров BMC (а именно, тем контроллером, который находится в шасси с активным модулем Base I/O).

Дополнительные средства управления Дополнительные средства управления, такие как HPE Insight Remote Support, HPE Insight Online, HPE OneView и Smart Update Manager, позволяют эффективно выполнять комплексный мониторинг сервера Superdome Flex и управлять им практически из любого места.

HPE Insight Remote SupportВ механизме HPE Superdome Flex Analysis Engine была добавлена возможность работы непосредственно с инструментом HPE Insight Remote Support. Для мониторинга и инвентаризации системы HPE Superdome Flex средствами Remote Support не требуется соединения по локальной сети с операционной системой. Мониторинг, поиск/устранение неисправностей и сбор инвентаризационной информации производятся непосредственно через RMC. Программный пакет DCD из состава Superdome Flex Foundation Software дополняет аналитические и инвентаризационные возможности RMC, осуществляя

Техническое описание Страница 21

мониторинг некоторых ошибок, например, ошибок ввода/вывода и ошибок дисков, которые микропрограммное обеспечение не способно обнаружить столь же быстро. Пакет DCD обменивается информацией только внутри системы и только с RMC; он не нуждается в конфигурировании и в соединениях с чем-либо за пределами операционной системы. Механизм Analysis Engine использует информацию от DCD, от BMC, от UEFI и от других датчиков системы и на ее основе устанавливает факт возникновения проблемы или высокую вероятность ее возникновения в системе. Он отсылает информацию о сервисных событиях и периодические отчеты о состоянии системы в инструмент HPE Insight Remote Support, который способен соеди-ниться с бэк-офисом HPE для автоматического уведомления службы HPE Pointnext о наличии проблем в системе. Для сервера HPE Superdome Flex предлагается несколько уровней контрактов технической поддержки. Дополнительная инфор-мация: hpe.com/services/getconnected.

HPE Insight OnlineИнструмент HPE Insight Online предоставляет быстрый и безопасный доступ к информации, необходимой заказчику, чтобы получить поддержку для сервера HPE Superdome Flex в рамках стандартной гарантии и предусмотренных контрактом услуг. При содействии службы HPE Pointnext инструмент HPE Insight Online способен автоматически отображать устройства, дистанционный мониторинг которых осуществляет компания HPE. Он предоставляет возможность с легкостью отслеживать сервисные события и заявки на техническую поддержку, просматривать конфигурации устройств и осуществлять упрежда-ющий контроль текущих контрактов с компанией HPE и соответствующих гарантий. Это позволяет персоналу заказчика или уполномоченному сервисному партнеру HPE более эффективно поддерживать имеющиеся у заказчика продукты HPE. Более того, этот инструмент позволяет заказчику делать это из любого места и в любое время. Инструмент HPE Insight Online также обеспечивает онлайн-доступ к отчетам, предоставляемым сервисами HPE Proactive Care. Встроенные в сервер HPE Superdome Flex средства управления спроектированы в расчете на беспрепятственную интеграцию с инструментами HPE Insight Online и HPE Insight Remote Support.

HPE OneViewИнтеграция с HPE OneView обеспечивает графический интерфейс для анализа состояния сервера HPE Superdome Flex, включая отображение детальной инвентаризации его компонентов, а также позволяет получать предупреждения о событиях и актуальную информацию о текущем состоянии системы. Инструмент HPE OneView осуществляет полный мониторинг и часть функций управления сервером HPE Superdome Flex. В настоящее время в его состав входит компонент HPE OneView Remote Support (OVRS), обеспечивающий активацию One Click, заблаговременные предупреждения о потенциальных отказах и автоматическое создание заявок на техническую поддержку.

Рис. 9. Снимок экрана HPE OneView

HPE Smart Update ManagerHPE Smart Update Manager (SUM) представляет собой инструмент НРE для централизованного управления и обновления прошивок (микрокода) в корпоративных окружениях. С его помощью можно выполнять дистанционное обновление микро-программного обеспечения на всех серверах HPE, а также на других продуктах HPE. Инструмент SUM предоставляет информацию о рекомендуемых к обновлению прошивках. Он предлагает удобный в использовании веб-интерфейс с такими функциями, как подготовка отчетов, проверка взаимозависимостей и установка обновлений в правильной последователь-ности через CLI-интерфейс и/или GUI-интерфейс.

Техническое описание Страница 22

ЗаключениеБлагодаря тесному взаимодействию с компанией Intel на этапе разработки ее процессоров, мы смогли полностью реализо-вать в сервере HPE Superdome Flex потенциальную производительность этих процессоров и все встроенные в них функции RAS. Благодаря нашему платиновому уровню членства в организации Linux Foundation мы внесли весомый вклад в расши-рение возможностей ядра Linux, чтобы гарантировать масштабируемость, надежность и высокую производительность на уровне операционной системы. Результат – революционная производительности, мощная функциональность RAS и гибкие возможности управления, что обеспечивает уникальное положение сервера HPE Superdome Flex в качестве вертикально масштабируемого решения на базе арххитектуры x86 для критически важных окружений.

© Hewlett Packard Enterprise Development LP, 2017–2019. Информация, содержащаяся в данном документе, может быть изменена без предварительного уведомления. Hewlett Packard Enterprise предоставляет только те гарантии на свои продукты и услуги, которые указаны в гарантийных обязательствах, прилагаемых к соответствующим продуктам и услугам. Никакие сведения, содержащиеся в данном документе, не могут рассматриваться как дополнительные гаран-тийные обязательства. Hewlett Packard Enterprise не несет ответственности за технические или редакторские ошибки и упущения в данном документе.

Intel и Intel Xeon являются товарными знаками корпорации Intel в США и других странах. Microsoft и Windows являются зарегистрированными товарными знаками или товарными знаками Microsoft Corporation в США и/или других странах. SAP HANA является товарным знаком или зарегистрированным товарным знаком SAP SE в Германии и некоторых других странах мира. Текстовый знак OpenStack является (зарегистрированным) товарным знаком/знаком обслуживания OpenStack Foundation в США и других странах и используется с разрешения OpenStack Foundation. Мы не являемся аффилированной компанией OpenStack Foundation или сообщества OpenStack, не поддерживаемся и не финансиру-емся ими. Linux является зарегистрированным товарным знаком Линуса Торвальдса (Linus Torvalds) в США и других странах. VMware является зарегистрированным товарным знаком или товарным знаком компании VMware, Inc. в США и/или других юрисдикциях. Все прочие товарные знаки третьих сторон являются собственностью соответствующих владельцев.

a00036491RUE, апрель 2019 года, Выпуск 2

Technical white paper

Share now

Get updates

© Copyright 2017–2019 Hewlett Packard Enterprise Development LP. The information contained herein is subject to change without notice. The only warranties for Hewlett Packard Enterprise products and services are set forth in the express warranty statements accompanying such products and services. Nothing herein should be construed as constituting an additional warranty. Hewlett Packard Enterprise shall not be liable for technical or editorial errors or omissions contained herein.

Intel and Intel Xeon are trademarks of Intel Corporation in the U.S. and other countries. Microsoft and Windows are either registered trademarks or trademarks of Microsoft Corporation in the United States and/or other countries. SAP HANA is the trademark or registered trademark of SAP SE in Germany and in several other countries. The OpenStack Word Mark is either a registered trademark/service mark or trademark/service mark of the OpenStack Foundation, in the United States and other countries and is used with the OpenStack Foundation’s permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community. Linux is the registered trademark of Linus Torvalds in the U.S. and other countries. VMware is a registered trademark or trademark of VMware, Inc. in the United States and/or other jurisdictions. All other third-party marks are property of their respective owners.

a00036491ENW, April 2019, Rev. 2

Resources HPE Superdome Flex information hpe.com/servers/superdomeflex

HPE Insight Remote Support hpe.com/services/getconnected

Smart Update Manager hpe.com/info/hpsum

Learn more at hpe.com/superdome

Дополнительные материалыИнформация о HPE Superdome Flex

hpe.com/servers/superdomeflex

HPE Insight Remote Support

hpe.com/services/getconnected

Smart Update Manager

hpe.com/info/hpsum

Более подробную информацию см. на веб-сайте:hpe.com/superdome