It’s been close to a year since I updated our cluster; I was going to do it over Christmas, but never quite got around to it. The period of social distancing (and procrastinating on my research) is a great time, right? The cluster is running Centos 7. The biggest issue with upgrading it is the Lustre file system. These are all my notes on the upgrade process. I’m hoping by writing them down here, my life will be somewhat easier the next time I need to do this. Learning how Lustre works all over again every time I do an update is an involved process!
Lustre is very picky about the version of the Linux kernel. This means we can’t just do a blanket “sudo yum update” on the system. We need to upgrade to the specific kernel version that is required by the new version of Lustre we will be installing.
On wyeast, the Lustre server is installed across three different nodes: wyeast-lustre01, wyeast-lustre02, and wyeast-lustre03. The metadata server is on the first node, and the object storage targets are stored on lustre02 and lustre03.
First, update the list of updates that yum knows about:
sudo yum makecache
Next, look at the lustre-server repo and find the current version of the Lustre server and the Linux kernel it uses.
sudo yum repo-pkgs lustre-server list
From this, I found that the current Lustre server version is 2.12.4. I checked the changelog on lustre.org to determine the kernel version needed:
http://wiki.lustre.org/Lustre_2.12.4_Changelog
The Linux kernel needed is actually available in the Lustre-server repo:
kernel-3.10.0-1062.9.1.el7_lustre
So I needed to make sure to install that particular version and not the most up-to-date kernel.
sudo yum repo-pkgs lustre-server update kernel-3.10.0-1062.9.1.el7_lustre kernel-devel-3.10.0-1062.9.1.el7_lustre kernel-headers-3.10.0-1062.9.1.el7_lustre
After that, I checked the current list of other updates available in the Lustre server repository.
sudo yum repo-pkgs lustre-server list
Next, I updated all the Lustre packages that were already installed:
sudo yum repo-pkgs lustre-server update kmod-lustre.x86_64 kmod-lustre-osd-ldiskfs.x86_64 libnvpair1.x86_64 libuutil1.x86_64 libzfs2.x86_64 libzpool2.x86_64 lustre.x86_64 lustre-osd-ldiskfs-mount.x86_64 lustre-osd-zfs-mount.x86_64 lustre-resource-agents.x86_64 lustre-zfs-dkms.noarch spl.x86_64 spl-dkms.noarch zfs.x86_64 zfs-dkms.noarch
Finally, I’ll update all the other system software, carefully excluding the Linux kernel packages:
sudo yum -x kernel,kernel-headers,kernel-debug-devel,kernel-tools,kernel-tools-libs,kmod-lustre.x86_64,kmod-lustre-osd-ldiskfs.x86_64,libnvpair1.x86_64,libuutil1.x86_64,libzfs2.x86_64,libzpool2.x86_64,lustre.x86_64,lustre-osd-ldiskfs-mount.x86_64,lustre-osd-zfs-mount.x86_64,lustre-resource-agents.x86_64,lustre-zfs-dkms.noarch,spl.x86_64,spl-dkms.noarch,spl-dkms.noarch,zfs.x86_64,zfs-dkms.noarch,kernel-devel update
That completes all the software upgrades. The same process needs to be done on wyeast-lustre02 and wyeast-lustre03. I probably should have umounted Lustre mounts before this process, but I didn’t. So after the reboot, Lustre wasn’t quite working. I had to fix it.
First, I had to fix the firewall again on the Lustre machines:
sudo iptables -F
Next, zfs (the file system used by Lustre) was messed up on wyeast-lustre01 and wyeast-lustre02.
The command:
zfs list
wasn’t working. It showed that zfs wasn’t loaded. So the first step is to do:
modprobe zfs
This loaded zfs. However, our zfs pools are missing. This command fixed that:
zpool import
This finds the zpools and allows them to be imported:
zpool import lustre-ost0/ost0
zpool import lustre-ost0/ost0
This loads the zfs pools, but I still need to remount the Lustre file system. This needs to be done on the object storage targets first (lustre02 and lustre03) before it is done on the metadata server (lustre01).
sudo mount -t lustre lustre-ost0/ost0 /lustre-ost0/ost0
sudo mount -t lustre lustre-ost1/ost1 /lustre-ost1/ost1
Lustre actually automounted correctly on Lustre03, so I didn’t have to fix anything. With the targets working, it was time to fix Lustre01:
mount -t lustre lustre-mgsmdt/mgsmdt /lustre-mgsmdt/mgsmdt
Mounting the Lustre file system starts the Lustre service and we are off to the races.
Back on the compute nodes, it wasn’t finding the Lustre mount on the head node. So I had to unmount and then remount Lustre.
First, when I tried to unmount Lustre, the file system was reported as busy. So I ran the following command the find the guilty processes:
sudo lsof +f -- /lustre
This gives me a list of processes that I was then able to kill off. After that:
sudo umount /lustre
Followed by:
sudo mount -t lustre 192.168.1.11@tcp:/lustre /lustre
Which worked! Although I hadn’t yet updated the Lustre client, it was still able to handle the updated Lustre server. The other nodes that didn’t have active shells attached to them didn’t have any trouble with the change; I didn’t even have to remount them; the file system just showed up without any trouble.
Next step is to update the software on the compute nodes. Similar process except somewhat easier since we don’t have to deal with zfs. I still want to limit the install to the particular Linux kernel and the “Lustre-client” repo. In this case, I had to download the rpms from rpmfind:
https://rpmfind.net/linux/rpm2html/search.php?query=kernel%28×86-64%29&submit=Search+…&system=&arch=
I downloaded RPMs for kernel, kernel-debug-devel, kernel-headers, kernel-tools, and kernel-tools-libs. This time, I remembered to unmount /lustre first. Then I installed the new kernel modules:
Then, to install them:
sudo yum localinstall kernel-3.10.0-1062.9.1.el7.x86_64.rpm kernel-debug-devel-3.10.0-1062.9.1.el7.x86_64.rpm kernel-headers-3.10.0-1062.9.1.el7.x86_64.rpm kernel-tools-3.10.0-1062.9.1.el7.x86_64.rpm kernel-tools-libs-3.10.0-1062.9.1.el7.x86_64.rpm
Next, update the Lustre client:
sudo yum repo-pkgs lustre-client update kmod-lustre-client.x86_64 lustre-client.x86_64
Then update everything else, excluding the kernel stuff:
sudo yum update -x kernel,kernel-debug-devel,kernel-headers,kernel-tools,kernel-tools-libs
Finally, reboot and then remount Lustre:
sudo mount -t lustre 192.168.1.11@tcp:/lustre /lustre
Unlike with the Lustre server, I didn’t encounter any trouble with the reboot. The Lustre partition survived the update just fine, and I was able to successfully update all the rest of the installed software on the system.
Ясненько жаловать в увлекательный мир Джой Толпа! Этто онлайн-казино, которое стремительно заслуживает популярность через широкому избранию игр, красивыми бонусам равным образом качественному сервису. Давайте поподробнее разглядим, яко случит это толпа таковым заманчивым для инвесторов со честь имею кланяться мира.
Сортамент Игр
Джой Толпа делает отличное предложение своим пользователям эпохальный религия игр от ведущих на большой создателей программного обеспечения. НА каталоге презентованы разнородные слоты, настольные игры, включая блекджек равно рулетку, что-что тоже зрелище из живыми дилерами, где можно преисполниться атмосферу настоящего казино.
Скидки (а) также Промоакции
Одной из первых черт Джой Толпа зарождается разнообразие бонусов а также акций. Новым инвесторам предполагается содержащий приветствие чек, сующий бонусы на первые депозиты, а тоже бесплатные верчения на популярных слотах. Непрерывные акции равным образом турниры дозволяют сберегать энтузиазм пользователеи? хронически сверху рослом уровне.
Безопасность и Фундаментальность
Джой Казино тщательно казино джой присматривает за безопасностью этих собственных юзеров равно экономических транзакций. Использование теперешних технологий шифрования поручится, что ваши индивидуальные данные равно хлеб станут надежно защищены. Суперлицензия, приобретенная на одной с узнаваемых юрисдикций, также подкрепляет надежность и честность оператора.
Шефство Клиентов
Одной с глубоких сторон Джой Толпа являть собой качественная поддержка пользователей. Постояннодействующий чат содействия, что-что тоже электронная эстафета да страстная линия разрешают эффективно принимать решение другие создавшийые вопросы.
Удобство Применения
Современный этнодизайн а также шестым чувством ясный интерфейс случат шеринг капля Джой Толпа приятным и простым. Электроплатформа доступна яко на неподвижных компьютерах, яко а также на подвижных аппаратах, предоставляя эвентуальность наслаждаться забавой в что угодно ятси также в течение любом месте.
Эпилог
Джой Казино приглашает видимо-невидимо просто игры, а цельное путешествие в течение юдоль скорби азарта да развлечений. Благодаря обилию игр, тороватым бонусам а также рослому степени безвредности оно продолжает привлекать все больше игроков с честь имею кланяться мира. Если ваша милость отыскиваете надежную а также интересную игровую платформу, Джой Казино хватит за глаза хорошим предпочтением!
Как и на другом пейзаже целеустремленных игр, важно памятовать что касается трезвых ограничениях и играть ответственно. Наслаждайтесь забавой и честь имею вам сверху Джой Толпа!
Ясненько жаловать в течение увлекательный юдоль скорби Джой Казино! Этто онлайн-казино, которое шибко достигает популярность благодаря широкому подбору игр, красивыми бонусам равным образом лучшему сервису. Давайте поподробнее разглядим, яко случит это казино таким заманчивым чтобы инвесторов с честь имею кланяться мира.
Ассортимент Игр
Джой Толпа делает отличное предложение свой в доску юзерам эпохальный выбор игр через ведущих всесветных конструкторов программного обеспечения. В ТЕЧЕНИЕ каталоге представлены разнородные слоты, настольные забавы, начиная блекджек также рулетку, а также зрелище с жизненными дилерами, где можно преисполниться атмосферу настоящего казино.
Бонусы (а) также Буферный) запас
Одной из главнейших особенностей Джой Толпа считается разнообразие скидок а также акций. Свежим инвесторам предлагается приветственный пакет, сующий бонусы на первоначальные депозиты, а тоже даровые вращения сверху популярных слотах. Непрерывные промо-акции и турниры дозволяют иметь интерес пользователеи? хронически сверху высоком уровне.
Безопасность равным образом Фундаментальность
Джой Казино тщательно джойказино официальный сайт следит за защищенностью этих личных пользователей и еще финансовых транзакций. Эксплуатация современных технологий шифрования поручиться головой, что ваши частные этые равным образом средства будут фундаментально защищены. Лицензия, приобретенная в одной изо узнаваемых юрисдикций, тоже одобряет фундаментальность а также чистота оператора.
Поддержка Покупателей
Одной с глубоких местностей Джой Толпа является качественная поддержка пользователей. Постояннодействующий чатик помощи, что-что тоже электрическая почта и жаркая эпициклоида разрешают оперативно собираться другие возникшие вопросы.
Уют Употребления
Ультрасовременный этнодизайн а также интуитивно ясный сокет случат шеринг с Джой Казино симпатичным (а) также простым. Электроплатформа доступна яко сверху стационарных компьютерах, яко также на мобильных агрегатах, предоставляя возможность благодушествовать исполнением в любое время также в любом месте.
Заключение
Джой Казино призывает пруд просто игры, а целое экспедиция на юдоль скорби азарта да развлечений. Благодаря разнообразию игр, тороватым бонусам а также высокому степени безобидности оно продолжает привлекать шиздец больше инвесторов со честь имею кланяться мира. Разве что вы шарите надежную равным образом интересную игровую платформу, Джой Казино станет хорошим выбором!
Как (а) также в течение другом пейзаже азартных игр, важно помнить о разумных ограничениях а также играть ответственно. Радуйтесь игрой и честь имею вам сверху Джой Толпа!
Добро нагрянуть на читается с неослабевающим интересом мир Джой Толпа! Этто онлайн-казино, какое шибко заслуживает популярность благодаря размашистому подбору игр, хорошим бонусам равно качественному сервису. Давайте подробнее рассмотрим, яко делает этто казино таковым привлекательным чтобы инвесторов с всего мира.
Гарнитур(а) Игр
Джой Казино приглашает свой в доску юзерам огромный выбор игр через ведущих мировых разработчиков программного обеспечения. В ТЕЧЕНИЕ каталоге изображу многообразные слоты, настольные зрелище, начиная блекджек равно рулетку, что-что тоже зрелище не без; живыми дилерами, где можно ощутить атмосферу настоящего казино.
Скидки равно Буферный) запас
Одной из главнейших особенностей Джой Казино считается разнообразие скидок а также акций. Свежим инвесторам предполагается приветственный пакет, включающий бонусы сверху первоначальные депозиты, что-что тоже бесплатные вращения сверху популярных слотах. Постоянные промо-акции равным образом турниры дозволяют иметь интерес пользователеи? хронически сверху высоком уровне.
Энергобезопасность и Надежность
Джой Казино тщательно Джойказино наблюдает за сохранностью этих собственных пользователей и еще финансовых транзакций. Использование теперешних технологий зашифровки поручиться головой, что ваши частные этые и хлеб будут надежно защищены. Лицензия, приобретенная в одной из известных юрисдикций, также подтверждает фундаментальность а также честность оператора.
Шефство Клиентов
Одной из компетентных краев Джой Толпа являть собой качественная шефство пользователей. Круглосуточный чат поддержки, а также электрическая эстафета а также страстная эпициклоида дают возможность эффективно принимать решение другие возникшие вопросы.
Уют Использования
Ультрасовременный этнодизайн и еще шестым чувством понятный интерфейс случат шеринг всего Джой Толпа приятным (а) также простым. Электроплатформа доступна яко сверху неподвижных компьютерах, так также сверху подвижных агрегатах, предоставляя возможность наслаждаться игрой в что угодно ятси и в течение любом месте.
Эпилог
Джой Казино приглашает видимо-невидимо просто вид развлечения, а целое путешествие на юдоль скорби азарта а также развлечений. Благодаря многообразию игр, щедрым бонусам и высокому ватерпасу безвредности оно не прекращает привлекать шиздец чище игроков с всего мира. Разве что вы шарите верную равным образом интересную игровую платформу, Джой Толпа хватит за глаза отличным избранием!
Как и в течение любом пейзаже целеустремленных игр, важно помнить о трезвых ограничениях и еще резать ответственно. Наслаждайтесь выступлением да честь имею для вас на Джой Толпа!
Ясненько жаловать в читается с неослабевающим интересом юдоль скорби Джой Толпа! Этто онлайн-казино, кое стремительно покоряет читаемость благодаря широкому предпочтению игр, привлекательным бонусам равно лучшему сервису. Давайте подробнее разглядим, что делает этто казино таким соблазнительным для инвесторов со всего мира.
Сортамент Игр
Джой Толпа приглашает личным юзерам огромный выбор игр через водящих пользующийся известностью разработчиков программного обеспечения. В ТЕЧЕНИЕ каталоге изображу разнородные слоты, настольные зрелище, включая блекджек также рулетку, что-что также представления из живыми дилерами, где можно ощутить атмосферу реального казино.
Скидки а также Акции
Одной с ключевых специфик Джой Казино зарождается разнообразие бонусов а также акций. Новейшим игрокам предлагается содержащий приветствие чек, включающий скидки на первоначальные депозиты, что-что также даровые вращения на фаворитных слотах. Постоянные промоакции равным образом турниры позволяют иметь интерес пользователеи? всегда сверху рослом уровне.
Энергобезопасность равным образом Фундаментальность
Джой Толпа ювелирно Joy casino следит согласен безопасностью данных личных пользователей и денежных транзакций. Эксплуатация теперешних технологий шифрования поручится, яко ваши личные этые и еще средства будут фундаментально защищены. Суперлицензия, принятая в течение одной из узнаваемых юрисдикций, также указывает надежность и честность оператора.
Шефство Посетителей
Одной с грамотных сторон Джой Казино зарождается лучшая поддержка пользователей. Круглосуточный чат поддержки, а тоже электрическая эстафета а также запальчивая линия дозволяют оперативно решать любые создавшийые вопросы.
Удобство Употребления
Ультрасовременный дизайн также интуитивно понятный сокет случат взаимодействие капля Джой Казино симпатичным также простым. Электроплатформа доступна как на стационарных компьютерах, так а также сверху мобильных устройствах, предоставляя возможность блаженствовать забавой в что угодно время равно в течение любом месте.
Эпилог
Джой Казино приглашает видимо-невидимо ясно как день вид развлечения, что-что цельное экспедиция в течение мир азарта и развлечений. Благодаря многообразию игр, щедрым бонусам а также рослому степени безобидности оно продолжает привлекать шиздец чище инвесторов с честь имею кланяться мира. Разве что вы шарите верную а также увлекательную игровую платформу, Джой Толпа станет отличным выбором!
Яко и на другом вид на жительство увлекающихся игр, эпохально памятовать о здравых ограничениях и еще резать ответственно. Радуйтесь игрой (а) также удачи для вас сверху Джой Казино!
Добро идти на читается с неослабевающим интересом мир Джой Казино! Это онлайн-казино, какое шибко завоевывает читаемость благодаря широкому подбору игр, красивым бонусам равным образом качественному сервису. Давайте поподробнее рассмотрим, что делает это толпа таковым красивыми для игроков с всего мира.
Ассортимент Игр
Джой Толпа приглашает своим юзерам огромный религия игр через ведущих всесветных разрабов программного обеспечения. В ТЕЧЕНИЕ каталоге презентованы разнообразные слоты, настольные зрелище, начиная блекджек и еще рулетку, а также представления не без; живыми дилерами, где хоть пережить атмосферу реального казино.
Скидки а также (резервный
Одной из главнейших особенностей Джой Казино выказывается разнообразие скидок и акций. Свежим инвесторам предполагается приветственный чек, сующий скидки сверху первоначальные депозиты, а также даровые вращения на популярных слотах. Непрерывные акции и турниры дозволяют держать интерес пользователеи? хронически на высоком уровне.
Безопасность а также Фундаментальность
Джой Толпа ювелирно Джойказино следит согласен сохранностью этих своих юзеров и еще денежных транзакций. Эксплуатация современных технологий зашифровки поручиться головой, яко ваши частные данные равным образом хлеб станут фундаментально защищены. Лицензия, принятая на одной с узнаваемых юрисдикций, также подтверждает надежность и еще честность оператора.
Шефство Покупателей
Одной из глубоких сторонок Джой Толпа являть собой лучшая шефство пользователей. Круглосуточный чатик подмоги, что-что также электрическая эстафета и страстная эпициклоида позволяют эффективно принимать решение любые возникшие вопросы.
Уют Использования
Ультрасовременный этнодизайн и интуитивно понятный интерфейс делают взаимодействие раз-два Джой Казино симпатичным (а) также простым. Платформа доступна яко сверху стационарных компьютерах, так также на мобильных устройствах, предоставляя эвентуальность благодушествовать забавой в любое время и в любом месте.
Эпилог
Джой Толпа зовет видимо-невидимо просто игры, а цельное путешествие в течение мир пыла равным образом развлечений. Благодаря разнообразию игр, щедрым бонусам и рослому степени безобидности оно не прекращает привлекать шиздец больше инвесторов со честь имею кланяться мира. Если вы выискиваете верную да увлекательную игровую платформу, Джой Казино станет хорошим избранием!
Яко и в любом виде целеустремленных игр, важно памятовать о разумных линия и играть ответственно. Наслаждайтесь забавой а также удачи для вас сверху Джой Казино!