Настройка мониторинга СХД Dell EMC в SCOM

Любой системный администратор знает золотое правило: если элемент ИТ-инфраструктуры не мониторится, значит он сломается в самый неподходящий момент в пятницу вечером. Интеграция корпоративных систем хранения данных (СХД) в единый контур мониторинга — задача нетривиальная, но критически важная для проактивного реагирования на инциденты.
 
В этом подробном руководстве мы разберем, как настроить автоматический мониторинг массивов Dell EMC (на примере классической EMC VNX5500) с использованием официального пакета управления EMC Storage Integrator (ESI) в System Center Operations Manager (SCOM).
 
Из этой инструкции вы узнаете:

• Как работает архитектура связки SCOM, ESI Service и контроллеров СХД.
• Как установить и настроить службу ESI (открыть нужные порты, заменить SSL-сертификат, настроить роли).
• Как зарегистрировать СХД с помощью PowerShell-командлетов.
• Как импортировать Management Packs и создать переопределения (overrides) для обнаружения устройств.

Внедрив этот функционал, вы сможете отслеживать статус физических дисков, блоков питания, контроллеров и LUN-ов прямо из консоли SCOM, используя встроенные дашборды и алерты.

Описание пакета EMC Storage Integrator

Мониторинг систем хранения EMC в SCOM осуществляется с помощью пакета EMC Storage Integrator for Windows Suite или сокращенно ESI. Скачать его, зарегистрировавшись, можно на сайте производителя.

В состав ESI входят:

• ESI for Windows и ESI PowerShell Toolkit

ESI for Windows позволяет наблюдать и управлять СХД EMC, подключенными к серверам Windows и Microsoft SQL Server.  ESI for Windows GUI — это консоль на базе MMC.  ESI PowerShell Toolkit — это набор специальных командлетов PowerShell для управления системами хранения данных Dell EMC.

• Адаптеры ESI

Адаптеры позволяют администратором управлять хранилищами данных с помощью графической консоли или PowerShell, то есть для управления конкретной СХД, вы должны установить соответствующий адаптер. Также есть адаптеры для серверов SQL, Hyper-V и ESX.

Список поддерживаемых адаптеров на текущий момент приведен ниже:

• Средства поддержка гипервизоров в ESI

Помимо физического оборудования ESI поддерживает выделение и обнаружение дискового пространства СХД для виртуальных машин на базе гипервизоров Microsoft Hyper-V и VMware vSphere. Для этого должен быть установлен соответствующий адаптер.

• Служба ESI Service и ESI Service PowerShell Toolkit

Служба ESI Service предназначена для интеграции ESI с системой мониторинга Microsoft SCOM. SCOM опрашивает службу ESI Service о зарегистрированных в ней системах хранения и их компонентах. Эту службу также можно использовать отдельно без использования SCOM в качестве инструмента сбора и просмотра данных о массивах EMC и составления отчетов. Во время установки службы ESI Service также устанавливается и пакет ESI Service PowerShell Toolkit, который как раз используется для настройки связи между службой ESI Service, системами хранения данных и пакетами управления ESI.

• Пакеты управления ESI SCOM

Служба ESI Service и пакеты управления ESI взаимодействуют с Microsoft SCOM для централизованного обнаружения и мониторинга систем хранения EMC. Список поддерживаемого оборудования для них такой же, как и для ESI. Ниже показано, как серверы управления SCOM с установленными пакетами управления ESI, взаимодействуют с агентами мониторинга SCOM, которые в свою очередь подключаются по HTTPS к одной или нескольким службам ESI Service.

В набор установки EMC Storage Integrator входит три архива:

• ESI.GUI.Setup.zip
• ESI.PowerShell.Setup.zip
• ESI.SCOM.ManagementPacks.Setup.zip

Для установки основных компонент ESI нужно запустить установщик из второго архива. Во время установки вы сможете выбрать необходимые адаптеры, а также установить службу ESI Service. В месте со службой также устанавливаются командлеты PowerShell.

Для установки пакетов управления соответственно нужно запустить установщик из третьего архива. Пакеты не обязательно устанавливать на том же серверы, где вы установили службу ESI. Это может быть любой компьютер или сервер.

Установка службы ESI Service

ESI Service — это связующее звено между EMC Storage Integrator и пакетами управления в Operations Manager. Служба ESI обеспечивает следующую функциональность:

• Репозиторий для всех зарегистрированных в ней систем хранения и информации, относящейся к подключению.
• Конфигурирование и безопасное хранение настроек и политик доступа для всех зарегистрированных СХД.
• Обеспечение авторизации доступа к СХД с использованием аутентификации Windows.
• Метаданные, схема объектов и механизм запросов для обнаружения систем хранения и их компонент.
• Предоставление HTTP API для удаленного доступа.

Минимальные требования для установки ESI:

•  Windows Server 2012 R2 или Windows Server 2016
• .Net Framework 4.6

Более подробные требования вы можете посмотреть в руководстве по установке.

Для установки запустите ESI.PowerShell.Setup.msi:

Далее запустится мастер установки:

Проверьте, что в вашей системе уже установлены необходимые пререквизиты. Во время установки автоматически будут установлен пакет Microsoft Visual C++ 2015 Redistributable, если он не обнаружится.

Если отсутствует .Net Framework 4.6, то появится предупреждение, и процесс установки прекратится.

Важный этап выбора компонентов. Выберите необходимые адаптеры для вашей СХД и самое главное — ESI Service:

Дождитесь окончания установки:

Проверка корректности установки службы ESI Service

Корректность установки службы ESI Service можно проверить следующими шагами.

Проверьте, что служба появилась и работает в оснастке Computer Management:

Проверьте, что появилось разрешающее правило в оснастке Windows Firewall:

Проверьте наличие сертификата ESIService-SSL в оснастке Сертификаты:

Проверьте, что порты прослушиваются. По умолчанию они следующие:

• HTTP — 54500
• HTTPS — 54501

Проверить можно командой netstat:

Именно по этим портам в дальнейшем серверы управления SCOM будут опрашивать службу ESI Service о подключенных СХД.

Далее попробуйте в браузере открыть ссылки:

• http://ESI Service IP:54500/esi/console
• https://ESI Service IP:54501/esi/console

где ESI Service IP замените на IP-адрес вашего сервера, на котором вы установили службу. Если вы поменяли порты по умолчанию, то естественно замените их на свои.

Если ссылки открываются, и в окне отображается информация подобная этой:

то значит служба установлена корректно и можно переходить к следующему шагу — настройке параметров службы ESI и публикации систем хранения в службе ESI.

Настройка службы ESI Service

В некоторых случаях вам может понадобиться изменить некоторые настройки службы ESI, например, изменить порты по умолчанию, заменить сертификат SSL на свой, поменять интервал обновления, назначить роли и так далее.

Установка нового сертификата SSL

Вы можете заменить SSL сертификат, установленный по умолчанию, на свой.

Для этого:

1. Остановите службу ESI Service:

net stop esiservice

2. Удалите текущий сертификат:

netsh http delete sslcert ipport=0.0.0.0:54501

3. Импортируйте в локальное хранилище компьютера в оснастке Сертификаты свой новый сертификат. Скопируйте в буфер обмена thumbprint сертификата.

4. Выполните команду:

netsh http add sslcert ipport=0.0.0.0:54501 certhash=Thumbprint appid="{4024FDC3-B30D-43CA-8707-A50940B4BD14}

Вместо слова Thumbprint нужно указать скопированный из буфера thumbprint вашего сертификата без пробелов.

5. Запустите службу обратно:

net start esiservice

Изменение системного интервала обновления

Системный интервал обновления — это установленный промежуток времени, через который служба ESI опрашивает зарегистрированные в ней системы хранения и сохраняет у себя все полученные данные. Эти данные потом в свою очередь запрашиваются пакетами управления ESI SCOM для корректировки и обновления своих текущих данных обо всех обнаруженных компонентах СХД. По умолчанию этот интервал составляет 30 минут.

Этот интервал суммируется с интервалами обновления в мониторах пакетов управления SCOM. То есть, если в настройках монитора задан интервал 15 минут, а системный интервал по умолчанию равен 30 минут, то обновление состояния монитора может занимать до 45 минут. С другой стороны нужно не забывать, что слишком короткие интервалы обновлений могут повлиять на производительность системы мониторинга SCOM. Эти факторы необходимо учитывать в своей работе.

Для просмотра текущего системного интервала обновления выполните командлет:

Get-EmcServicePolicy

Для установки нового значения интервала введите:

Set-EmcServicePolicy –RefreshIntervalInMinutes 15

Перед запуском команд не забудьте сделать импорт модулей — Import-Module ESIServicePSToolkit.

Пример выполнения команд:

Настройка ролей безопасности

В ESI существует две роли безопасности — Monitor и Administrator. Эти роли определяют, какие операции будут позволены при обращении к службе ESI. Роль Administrator естественно дает полные права, эта роль автоматически назначается локальным администраторам сервера, на котором установлена служба. Администраторы могут регистрировать СХД в службе, изменять настройки, назначать роли. Для роли Monitor разрешается только опрашивать службу, а также устанавливать системный интервал обновления.

Просмотреть текущую политику безопасности можно двумя способами

• С помощью командлета Get-EmcServicePolicy
• С помощью браузера — http://ESI Service IP:54500/esi/console (или https://ESI Service IP:54501/esi/console)

Назначить роль можно с помощью команды Add-EmcUser.

• Установка роли Monitor:

Add-EmcUser "имя вашего домена\имя учетной записи или группы" Monitor

• Установка роли Administrator:

Add-EmcUser "имя вашего домена\имя учетной записи или группы" Administrator

Регистрация СХД EMC в службе ESI Service

Для того, чтобы иметь возможность мониторить массивы EMC в SCOM, нужно их добавить в службу ESI.  Это можно сделать с помощью командлета Add-EmcSystem  из набора ESI Service PowerShell Toolkit.

Пример добавления системы хранения EMC типа VNX-Block:

$p = @{"Username"="emc_user";"Password"="123456";"SpaIpAddress"="192.168.0.10";"SpbIpAddress"="192.168.0.11"};
Add-EmcSystem -SystemType VNX-Block -Params $p -UserFriendlyName EMC-VNX5500

После выполнения этого командлета зайдите через веб и убедитесь, что ваша система появилась в списке зарегистрированных.

Через какое-то время служба опросит систему хранения и соберет информацию о всех ее компонентах. О том, как идет этот процесс вы можете наблюдать в логе.

На этом процесс настройки службы ESI закончен, далее можно переходить к установке и настройке пакетов управления EMC SI в SCOM.

Установка пакетов управления ESI

Пакеты управления EMC обнаруживают и ведут наблюдение за различными компонентами систем хранения данных, используя агентов SCOM. Агенты мониторинга SCOM запрашивают данные у службы ESI с помощью HTTP или HTTPS. Служба ESI в свою очередь запрашивает данные у зарегистрированных СХД. Затем эти данные добавляются в базу данных SCOM.

Статус здоровья каждого уровня зависит от статусов компонент нижележащих уровней. На самом нижнем уровне ведется наблюдение за физическими и логическими компонентами хранилищ данных — такими, как физические диски, источники питания, виртуальные диски, дисковые разделы или тома.

Диаграмма компонент СХД EMC в Operations Manager из официального руководства:

Запустите мастер установки пакетов управления ESI:

Нажмите далее:

Выберете ESI Management Packs:

Проверьте наличие пакетов управления в целевой папке.

Импортируйте пакеты управления EMC в SCOM:

Дополнительная настройка SCOM для ESI

Настройка реестра на агенте SCOM

На агенте мониторинга SCOM, который обнаруживает службу ESI, рекомендуется изменить в реестре значение параметра Persistence Version Store Maximum службы HealthService на 5120 (десятичное значение).

Создание профилей Run As

Далее, если у вас используется «low privilege» сценарий, то необходимо создать два профиля Run As в консоли Opeartions Manager:

• Run As профиль для удаленного подключения к службе ESI. Используемая учетная запись Windows должна обладать ролью Monitor. Данный профиль нужно назначить агенту SCOM, который будет подключаться к службе ESI.
• Run As профиль для мониторинга службы ESI. Если на сервере, где установлена служба ESI, установлен агент мониторинга, этот профиль будет использоваться для проверки статуса самой службы ESI  и относящихся к этой службе сообщений в журнале событий Windows. У учетной записи должно быть право Allow logon locally. Если у вас агент мониторинга работает из-под System, то эту учетную запись и профиль можно не создавать.

Статус службы ESI потом можно будет смотреть здесь:

Настройка обнаружения службы ESI Service

По умолчанию правило обнаружения (discovery) службы ESI Service выключено. Чтобы его включить, нужно сделать переопределение (override) для него. Оно называется EMC SI Service Discovery.

Сделайте override, задайте параметру Enabled значение True, а для параметра ESI Service Host укажите ip-адрес или DNS-имя хоста с установленной службой ESI. Если вы меняли порт по умолчанию, то необходимо указать новый номер для параметра Port.

Сохраните настройки в пакете управления EMC Storage Integrator Customizations.

Через какое-то время нужно зайти в панель мониторинга консоли SCOM  и проверить статус соединения. Если он зеленый, значит все хорошо.

Когда закончатся все процессы обнаружения, в консоли мониторинга появится ваша СХД EMC.

Использование консоли SCOM для мониторинга СХД Dell EMC

После того как закончатся все процессы по обнаружению, вы сможет просматривать в консоли SCOM состояние основных компонент системы хранения, например статус физических дисков:

или состояние блоков питания:

Вы сможете просматривать общую топологию СХД EMC, использую диаграммы:

Можно использовать объекты СХД для построения своих распределенных приложений, для использования в файлах Visio и тому подобное.

В пакетах управления EMC реализовано достаточно большое количество мониторов и правил оповещений. Если вам не нужны какие-то из них, то стандартным образом через переопределение их можно отключить или изменить порог.

Также присутствует большое число правил сбора метрик производительности. Некоторые из них включены по умолчанию, другие надо включать самостоятельно. Полный список вы может посмотреть в руководстве по продукту.

Рекомендации

Для оптимизации производительности и масштабируемости используйте в работе следующие рекомендации:

1. Не рекомендуется устанавливать службу ESI на серверы управления SCOM. Лучше для этих целей использовать специально выделенный сервер.
2. Если у вас большое количество систем хранения, то для балансировки нагрузки используйте несколько агентов мониторинга SCOM, которые подключаются к одному или нескольким контроллерам со службой ESI.
3. Чтобы добиться наилучшей масштабируемости, подключайте массивы с большим количеством компонент к отдельным агентам SCOM с большей производительностью.

Итоги

Мы прошли полный путь: от развертывания службы ESI Service и регистрации массивов Dell EMC с помощью PowerShell, до импорта Management Packs в Operations Manager. Теперь ваша СХД полноценно интегрирована в ИТ-инфраструктуру: вы можете строить распределенные приложения (Distributed Applications), отслеживать метрики производительности и получать алерты о деградации массива раньше, чем об этом узнают пользователи.

Часто задаваемые вопросы (FAQ)