Настройка FreeGRID
Общие сведения
Внимание
При использовании технологии FreeGRID необходимо обеспечить сетевую связность между сетью, в которой располагаются ВМ, использующие графический адаптер, и контроллером, на котором активирован сервис FreeGRID.
FreeGRID — технология, которая позволяет нескольким ВМ совместно использовать возможности аппаратного ускорения графического адаптера, производительность графического адаптера в полной мере без лицензионных ограничений.
FreeGRID дополняет основной функционал продуктов линейки Space для работы в виртуальной среде с использованием графических адаптеров NVIDIA.
Срок действия лицензии
FreeGRID недоступен при использовании встроенной лицензии. Необходимо приобретение бессрочной лицензии или получение пробной.
Подробнее о технологии FreeGRID.
Внимание
Выбор конфигурации аппаратных компонентов и оптимального профиля системы должен быть соотнесен с индивидуальными требованиями проекта, особенностями используемых приложений и спецификой решаемых задач.
Перед внедрением выбранного графического адаптера в виртуальную инфраструктуру необходимо убедиться в его способности удовлетворить предъявляемые требования к функциональности.
Инструкция по настройке
1. Установка драйвера NVIDIA GRID на сервер
Версионность драйверов
Версии драйверов для сервера и виртуальных машин должны быть совместимы.
Требуется установка соответствующих драйверов как на узел SpaceVM в роли Controller+Node или Node с графическим адаптером, так и на ВМ с установленной гостевой ОС семейств Linux или Windows. Рекомендуется устанавливать драйверы из актуального пакета для Linux KVM, загруженного с официального сайта NVIDIA.
При отсутствии доступа к личному кабинету NVIDIA обратитесь в Авторизованный Центр Технической Поддержки ООО "ДАКОМ СЕРВИС".
Архив содержит:
-
документацию;
-
драйверы для сервера с ОС Linux;
-
драйверы для ВМ с ОС Linux;
-
драйверы для ВМ с ОС Windows.
-
При наличии на графическом адаптере физических дисплейных выходов необходимо программно отключить их.
-
Скачать драйверы с официального сайта NVIDIA.
-
Перейти в Web-интерфейс SpaceVM.
-
Перейти в раздел Хранилища - Пулы данных - <Пул данных> - Файлы.
-
Нажать кнопку Загрузить из файловой системы.
-
Выбрать файл драйвера и нажать кнопку ОК.
Также допускается загрузка файла драйвера на сервер SpaceVM с помощью SSH или FTP.
-
Перейти в CLI сервера, на котором установлен графический адаптер.
-
Установить драйверы командой:
install-run --nv /storages/local/default/_LIBRARY/NVIDIA-Linux-x86_64-*-vgpu-kvm.run
где
*
- версия устанавливаемых драйверов.Если файл был загружен на пул данных, отличный от Базового пула данных узла, необходимо вместо
/storages/local/default/_LIBRARY/
указать путь до соответствующей директории.Внимание
В процессе установки будет предложено установить драйверы, используя DKMS. Необходимо отклонить предложение.
-
Перезагрузить сервер.
Ошибка установки драйвера
При возникновении ошибки вида Невозможно установить nvidia.ko
,
содержащей текст 64-bit BAR
или нулевой размер BAR
,
необходимо включить в BIOS поддержку Above 4G Decoding и PCI 64-Bit Resource Allocation.
2. Подключение графического адаптера к ВМ
-
Выключить питание ВМ.
-
Перейти в раздел Mediated-устройства ВМ.
-
Нажать кнопку Подключить mediated-устройство.
Внимание
Не допускается перенос ВМ с mediated-устройствами между серверами.
-
В открывшемся окне необходимо заполнить следующие поля:
-
Выбрать mediated-устройство.
Выбор из раскрывающегося списка.
-
Выбрать PCI-контроллер.
Выбор из раскрывающегося списка.
-
Display.
Сообщает, необходимо ли использовать данное устройство для вывода графической информации.
Установить значение: включено.
-
Ramfb.
Добавляет устройство "кадровый буфер (framebuffer) в памяти" к ВМ, через которое выводятся сообщения от старта ВМ до загрузки основного драйвера vGPU.
Установить значение: включено.
-
-
Нажать кнопку Подключить.
Примечание для mediated-устройств NVIDIA
В случае использования mediated-устройств NVIDIA для каждого типа устройств (исключая вычислительные) производителем задается определенное ограничение частоты кадров (FRL - Framerate Limit) для равномерного распределения ресурсов GPU сервера между различными vGPU (mediated-устройствами).
Для включения/отключения ограничения необходимо перейти в окно свойств выбранного mediated-устройства.
FRL сохраняется и после перезагрузки сервера.
3. Установка драйвера NVIDIA GRID на ВМ
Версионность драйверов
Версии драйверов для сервера и виртуальных машин должны быть совместимы.
Требуется установка соответствующих драйверов как на узел SpaceVM в роли Controller+Node или Node с графическим адаптером, так и на ВМ с установленной гостевой ОС семейств Linux или Windows. Рекомендуется устанавливать драйверы из актуального пакета для Linux KVM, загруженного с официального сайта NVIDIA.
При отсутствии доступа к личному кабинету NVIDIA обратитесь в Авторизованный Центр Технической Поддержки ООО "ДАКОМ СЕРВИС".
Архив содержит:
-
документацию;
-
драйверы для сервера с ОС Linux;
-
драйверы для ВМ с ОС Linux;
-
драйверы для ВМ с ОС Windows.
Linux
-
Перейти в раздел Процессоры ВМ.
-
Рекомендуется установить Режим определения -
host-passthrough
.Для этого необходимо:
-
Выключить питание ВМ.
-
Нажать кнопку Изменение настроек процессоров.
-
В открывшемся окне нажать кнопку Режим определения и модель.
-
Далее выбрать
host-passthrough
и нажать кнопку ОК.
-
-
Установить пакеты в соответствии с установленной ОС:
-
Debian-based ОС:
linux-headers
,gcc
иmake
.sudo apt update
sudo apt install linux-headers-$(uname -r) gcc make
-
RHEL-based ОС:
kernel-lt-devel
,kernel-lt-headers
,gcc
,make
.Внимание
Если текущие версии ядра и заголовков (
headers
) совпадают, необходимо пропустить установкуlinux-headers
иkernel-lt-headers
.dnf update
dnf install kernel-lt-devel-$(uname -r) kernel-lt-headers-$(uname -r) gcc make
-
-
Скачать драйверы с официального сайта NVIDIA.
-
Установить драйверы графического адаптера командой:
sudo sh /{path}/NVIDIA-Linux-x86_64-*-grid.run --no-x-check
где:
-
{path}
- путь до директории со скачанным файлом.run
. -
*
- версия устанавливаемых драйверов.
В процессе установки необходимо ответить на вопросы:
-
Install NVIDIA's 32-bit compatibility libraries?
- No. -
An incomplete installation of libglvnd was found...
- Don't install. -
Unable to determine the path to install the libglvnd EGL vendor library config files.
- OK. -
Would you like to run the nvidia-xconfig utility...
- Yes.
Ошибка получения изображения на РЕД ОС
Если после установки драйверов на РЕД ОС система не получает изображение, необходимо переустановить драйверы, ответив на вопрос
Would you like to run the nvidia-xconfig utility...
- No. -
-
Дождаться завершения установки.
Примечание
При использовании более одного графического адаптера или наличии проблем с получением изображения после перезагрузки необходимо отредактировать файл
/etc/X11/xorg.conf
.Пример qxl + NVIDIA
-
Выполнить команду:
lspci
-
Найти в списке необходимый графический адаптер.
-
Отредактировать файл
/etc/X11/xorg.conf
в секции Device, если PCI-адрес MDEV равен 00:000a:00.0:BusID "PCI:0:10:0"
00:0a:00.0
в шестнадцатеричном формате переводится в0:10:0
в десятичном формате, где0a
=10
в десятичной системе.
-
-
Перезагрузить ВМ.
Windows
-
Перейти в раздел Процессоры ВМ.
-
Рекомендуется установить Режим определения -
host-passthrough
.Для этого необходимо:
-
Выключить питание ВМ.
-
Нажать кнопку Изменение настроек процессоров.
-
В открывшемся окне нажать кнопку Режим определения и модель.
-
Далее выбрать
host-passthrough
и нажать кнопку ОК.
-
-
Скачать драйверы с официального сайта NVIDIA.
-
Установить драйверы графического адаптера.
-
Выключить ВМ.
-
Перейти в раздел Информация ВМ.
-
В раскрывающемся списке Конфигурация ВМ активировать опцию Оптимизация для vgpu.
4. Активация сервиса FreeGRID
Внимание
-
При использовании технологии FreeGRID необходимо обеспечить сетевую связность между сетью, в которой располагаются ВМ, использующие графический адаптер, и контроллером, на котором активирован сервис FreeGRID.
-
Активация FreeGRID должна производиться на контроллере.
-
Время на контроллере и ВМ должны совпадать.
-
Активировать сервис
free-grid
, выполнив команду CLI на контроллере:nvidia free-grid enable
-
Проверить статус сервиса
free-grid
, выполнив команду CLI на контроллере:nvidia free-grid status
-
Скачать файл
client_configuration_token.tok
с конфигурацией для драйвера, находящийся по адресуhttps://{IP_ADDRESS_CONTROLLER}:7070/-/client-token
.где {IP_ADDRESS_CONTROLLER} — IP-адрес контроллера кластера SpaceVM.
Примечание
При возникновении ошибки
SpaceVM has no active license
необходимо проверить используемую лицензию SpaceVM. -
Скопировать полученный файл в директорию гостевой ОС с установленными драйверами:
-
Linux:
/etc/nvidia/ClientConfigToken/
. -
Windows:
C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\
.
-
-
Выполнить перезапуск службы
nvidia
на гостевой ОС:-
Linux:
service nvidia-gridd restart
-
Windows:
Restart-Service NVDisplay.ContainerLocalSystem
-
-
На гостевой ОС убедиться, что драйвер получил лицензию:
-
Linux:
nvidia-smi -q | grep "License"
-
Windows:
& 'nvidia-smi' -q | Select-String "License"
-
Возможные ошибки
Отключение физических выходов
Для корректного использования vGPU на ВМ необходимо убедиться, что физические дисплейные выходы графического адаптера выключены. Если физические дисплейные порты включены, то необходимо программно отключить их.
В данной инструкции для отключения физических выходов используется утилита NVIDIA Display Mode Selector Tool.
Допускается использование другого способа отключения физических выходов графического адаптера.
-
Открыть терминал сервера с установленным графическим адаптером.
-
Перейти в shell сервера:
shell
-
Выполнить команду:
nvidia-smi -q | grep "Display Active"
Если вывод команды соответствует
Display Active: Disable
, то физические порты графического адаптера уже отключены. Выполнение последующих действий данной инструкции не требуется. -
Удалить драйверы графического адаптера для корректной установки Display Mode Selector Tool:
nvidia-uninstall
-
Скачать на локальное устройство утилиту Display Mode Selector Tool от NVIDIA.
-
Распаковать скачанный архив.
-
Перейти в терминал локального устройства.
-
Передать на сервер файл Display Mode Selector Tool для Linux x64 с помощью команды:
scp {local_path} root@{server_ip_address}:/tmp
где:
-
{local_path}
- путь к файлу на локальном устройстве; -
{server_ip_address}
- IP-адрес сервера с графическим адаптером.
Допускается использование другого способа передачи файлов на сервер.
-
-
Изменить права на файл для его запуска:
chown root:root /tmp/displaymodeselector
-
Запустить Display Mode Selector Tool:
/tmp/displaymodeselector --gpumode
-
Выбрать режим
1 - physical_display_disabled
. -
Повторно установить драйверы командой:
install-run --nv /storages/local/default/_LIBRARY/NVIDIA-Linux-x86_64-*-vgpu-kvm.run
где
*
- версия устанавливаемых драйверов.Если файл был загружен на пул данных, отличный от Базового пула данных узла, необходимо вместо
/storages/local/default/_LIBRARY/
указать путь до соответствующей директории.DKMS
В процессе установки будет предложено установить драйверы, используя DKMS. Необходимо отклонить предложение.
-
Выполнить команду:
nvidia-smi -q | grep "Display Active"
-
Убедиться, что вывод команды соответствует
Display Active: Disable
. -
Перезагрузить сервер.