Настройка Облачной операционной системы BAYRELL Cloud OS в LXC контейнере.
Инструкция предназначена для Ubuntu 18.04. Для новой версии, не проверял, возможно, не потребуется обновлять ядро.
LXC - это система виртуальных контейнеров для Linux. Отличием от Docker в том, что LXC эмулирует операционную систему в контейнере, и позволяет вносить изменения. При перезапуске LXC контейнера, изменения сохраняться. Docker подходит для распостранения приложения. А LXC удобен для настройки системы, и при необходимости, бэкапе и легком переносе на другой сервер.
Установка и настройка LXC
Для установки Облачной ОС на сервер, воспользуйтесь следующей инструкцией.
1) Осуществите базовую настройку Ubuntu 18.04.
2) Обновите ядро системы до версии 5.3, согласно инструкции.
3) Установите программу LXC
aptitude install lxc
Установите права доступа, чтобы корректно запускались контейнеры:
chown lxc-root:root /var/lib/lxc
chmod 755 /var/lib/lxc
4) Настройте сеть LXC
Рекомендуется использовать сеть 172.30.0.1/24. Более подробный список указан в списке сетей.
В файле /etc/default/lxc-net пропишите
USE_LXC_BRIDGE="true"
LXC_BRIDGE="lxcbr0"
LXC_ADDR="172.30.0.1"
LXC_NETMASK="255.255.255.0"
LXC_NETWORK="172.30.0.0/24"
LXC_DHCP_RANGE="172.30.0.2,172.30.0.254"
LXC_DHCP_MAX="253"
LXC_DHCP_CONFILE=/etc/lxc/dnsmasq.conf
#LXC_DOMAIN="lxc"
Создайте файл /etc/lxc/dnsmasq.conf и пропишите в нем:
port=53
listen-address=172.30.0.1
5) Пропишите хосты
В /etc/hosts добавьте строчки
172.30.0.20 docker0
172.30.0.21 docker1
6) Включите драйвера br_netfilter
echo overlay >> /etc/modules-load.d/docker.conf
echo br_netfilter >> /etc/modules-load.d/docker.conf
Установка LXC контейнера
1) В файле /etc/lxc/default.conf проверьте и закоментируйте строчки:
#lxc.idmap = u 0 100000 65536
#lxc.idmap = g 0 100000 65536
2) Установите контейнер docker0
DOWNLOAD_KEYSERVER="hkp://keyserver.ubuntu.com" lxc-create -t download -n docker0 -- --dist ubuntu --release focal --arch amd64
3) Внесите изменения в файл /var/lib/lxc/docker0/config
Раскоментируйте строку
lxc.include = /usr/share/lxc/config/nesting.conf
Это позволит создать Nested контейнер — возможность запустить контейнер в контейнере (вложенные контейнеры).
Добавьте в файл следующие строки
lxc.net.0.ipv4.address = 172.30.0.20/24
lxc.net.0.ipv4.gateway = 172.30.0.1
lxc.mount.auto = cgroup-full:rw
lxc.apparmor.profile = unconfined
lxc.cgroup.devices.allow = a
lxc.cap.drop =
Если вы хотите дать доступ к видеокарте, то нужно также добавить строчки:
# GPU
lxc.cgroup.devices.allow = c 195:* rwm
lxc.cgroup.devices.allow = c 243:* rwm
lxc.mount.entry = /dev/nvidia0 dev/nvidia0 none bind,optional,create=file
lxc.mount.entry = /dev/nvidiactl dev/nvidiactl none bind,optional,create=file
lxc.mount.entry = /dev/nvidia-uvm dev/nvidia-uvm none bind,optional,create=file
lxc.mount.entry = /dev/nvidia-modeset dev/nvidia-modeset none bind,optional,create=file
lxc.mount.entry = /dev/nvidia-uvm-tools dev/nvidia-uvm-tools none bind,optional,create=file
4) В файле /var/lib/lxc/docker0/rootfs/etc/netplan/10-lxc.yaml укажите:
network:
version: 2
ethernets:
eth0:
dhcp4: no
dhcp6: no
addresses: [172.30.0.20/24]
gateway4: 172.30.0.1
nameservers:
addresses: [172.30.0.1]
5) Пересоздайте resolv.conf
rm /var/lib/lxc/docker0/rootfs/etc/resolv.conf
nano /var/lib/lxc/docker0/rootfs/etc/resolv.conf
Укажите в нем новый адреса DNS серверов:
nameserver 172.30.0.1
6) Скопируйте ssh ключ. Вместо /home/user укажите вашу домашнюю папку.
mkdir /var/lib/lxc/docker0/rootfs/root/.ssh
chmod 700 /var/lib/lxc/docker0/rootfs/root/.ssh
cat /home/user/.ssh/id_rsa.pub >> /var/lib/lxc/docker0/rootfs/root/.ssh/authorized_keys
chmod 600 /var/lib/lxc/docker0/rootfs/root/.ssh/authorized_keys
mkdir /var/lib/lxc/docker0/rootfs/home/ubuntu/.ssh
chmod 700 /var/lib/lxc/docker0/rootfs/home/ubuntu/.ssh
cat /home/user/.ssh/id_rsa.pub >> /var/lib/lxc/docker0/rootfs/home/ubuntu/.ssh/authorized_keys
chmod 600 /var/lib/lxc/docker0/rootfs/home/ubuntu/.ssh/authorized_keys
chown -R 1000:1000 /var/lib/lxc/docker0/rootfs/home/ubuntu/.ssh
7) Запустите контейнер и подключитесь к нему:
lxc-start docker0
lxc-attach docker0
8) Установите программы
apt update
apt install nano
9) Установите локаль. Раскоментируйте строки в файле через команду nano /etc/locale.gen
en_US.UTF-8 UTF-8
ru_RU.UTF-8 UTF-8
Пересоздайте локаль:
locale-gen
Пропишите локаль на уровне системы:
nano /etc/profile.d/0.locale.sh
export PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/sbin:/bin"
export LANG="en_US.UTF-8"
export LANGUAGE="en_US:en"
export LC_CTYPE="en_US.UTF-8"
export LC_NUMERIC="en_US.UTF-8"
export LC_TIME="en_US.UTF-8"
export LC_COLLATE="en_US.UTF-8"
export LC_MONETARY="en_US.UTF-8"
export LC_MESSAGES="en_US.UTF-8"
export LC_PAPER="en_US.UTF-8"
export LC_NAME="en_US.UTF-8"
export LC_ADDRESS="en_US.UTF-8"
export LC_TELEPHONE="en_US.UTF-8"
export LC_MEASUREMENT="en_US.UTF-8"
export LC_IDENTIFICATION="en_US.UTF-8"
export EDITOR=nano
10) Установите программы:
apt install aptitude mc nano htop iftop bwm-ng iperf iperf3 iotop tmux screen sshfs net-tools dnsutils bind9-utils openssh-server curl
systemctl enable ssh
systemctl start ssh
11) Ограничьте размер логов systemd
Пропишите в /etc/systemd/journald.conf строчку:
SystemMaxUse=1G
Это строчка ограничивает максимальный размер логов в 1 гигабайт.
Перезагрузите конфигурацию systemd:
systemctl daemon-reload
12) Сделайте sudo без ввода пароля
Добавьте группу wheel
groupadd -r wheel
usermod -a -G wheel ubuntu
в /etc/sudoers добавьте строчку
%wheel ALL=(ALL:ALL) NOPASSWD: ALL
Все пользователи, которые находятся в группе wheel будут иметь возможность выполнять команды рут без пароля
13) Установка dnsmasq
apt install dnsmasq
Скопируйте конфиг dnsmasq:
cp /etc/dnsmasq.conf /etc/dnsmasq.conf.example
echo "" > /etc/dnsmasq.conf
Создайте файл /etc/resolv.dnsmasq
nameserver 8.8.8.8
nameserver 8.8.4.4
nameserver 1.1.1.1
В /etc/dnsmasq.conf пропишите:
port=53
listen-address=0.0.0.0
no-dhcp-interface=
bind-interfaces
expand-hosts
local-ttl=1
no-negcache
# Настройки DNS по умолчанию
resolv-file=/etc/resolv.dnsmasq
conf-dir=/etc/dnsmasq.d
cache-size=150
max-cache-ttl=600
min-cache-ttl=60
# Одновременный запрос ко всем DNS серверам
# all-servers
# Запрещаем резолвить домены без точки (нужно для Docker Swarm)
domain-needed
# Для отладки
#log-queries
Раскоментируйте строку в файле /etc/default/dnsmasq
IGNORE_RESOLVCONF=yes
Пропишите ip адреса для домена .local в файле /etc/dnsmasq.d/local
address=/.local/127.0.0.1
Выключите резолвер из внешней сети интернет. Создайте файл /etc/dnsmasq.d/disable-external-network
bind-interfaces
except-interface=enp*
except-interface=wlp*
except-interface=wlan*
except-interface=eth*
Удалите файл /etc/resolv.conf и заново его создайте, потому что остается симлинк от днс резолвера systemd, который не дает создать новый файл.
rm -f /etc/resolv.conf
touch /etc/resolv.conf
В /etc/resolv.conf укажите локальный IP адрес
nameserver 127.0.0.1
Отключите резолвер systemd
systemctl stop systemd-resolved
systemctl disable systemd-resolved
Перезапустите dnsmasq
systemctl restart dnsmasq
14) Отключите apparmor в LXC контейнере
systemctl stop apparmor
systemctl disable apparmor
15) Выйдите из контейнера
exit
16) Перезапустите контейнер
lxc-stop docker0
lxc-start docker0
Установка Docker Swarm
1) Установите Docker
curl -sSL https://get.docker.com | sh
systemctl enable docker
systemctl start docker
apt-get install docker-compose
2) Добавьте в группу docker пользователя ubuntu чтобы он мог управлять docker
usermod -a -G docker ubuntu
3) В файле /etc/docker/daemon.json пропишите:
{
"log-driver": "journald",
"log-opts": {
"labels":"com.docker.swarm.service.name"
},
"dns": ["172.17.0.1"]
}
Можно также добавить строчки
"max-concurrent-uploads": 1,
"max-concurrent-downloads": 1,
Они позволяют ограничить количество потоков на загрузку докер образов. По умолчанию 3 потока.
4) Перезапустите Docker:
systemctl restart docker
5) В крон через команду sudo crontab -e пропишите команду, которая будет автоматически очищать контейнеры
0 0 * * * yes | docker container prune -y > /dev/null
0 0 * * * yes | docker image prune -y > /dev/null
6) Создайте кластер
docker swarm init
Установка NVIDIA драйверов для нейронных сетей
Данную инструкцию нужно выполнять, если вы собираетесь заниматься искусственным интеллектом. На сервере для этого должна быть установлена видеокарта от NVIDIA.
1) Выполните команду ls -l /dev/nvidia* она должна вывести:
crw-rw-rw- 1 root root 195, 0 Oct 19 16:44 /dev/nvidia0
crw-rw-rw- 1 root root 195, 255 Oct 19 16:44 /dev/nvidiactl
crw-rw-rw- 1 root root 195, 254 Oct 19 16:44 /dev/nvidia-modeset
crw-rw-rw- 1 root root 234, 0 Oct 19 16:44 /dev/nvidia-uvm
crw-rw-rw- 1 root root 234, 1 Oct 19 16:44 /dev/nvidia-uvm-tools
2) Установите драйвер на сервер. Драйвер должен быть последней версии.
apt-get update
apt-get install -y nvidia-driver-515-server
3) Установите плагин libnvidia-containuer.
Определите версию Убунту
export distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
Установите ключ nvidia:
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
Добавьте репозиторий:
wget https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list -O "/etc/apt/sources.list.d/nvidia-container-toolkit.list"
sed -i 's|deb https://|deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://|g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
Установите Docker плагин:
apt-get update
apt-get install -y nvidia-docker2
4) В файле /etc/docker/daemon.json пропишите:
{
"log-driver": "journald",
"log-opts": {
"labels":"com.docker.swarm.service.name"
},
"dns": ["172.17.0.1"],
"default-runtime": "nvidia",
"runtimes": {
"nvidia": {
"path": "nvidia-container-runtime",
"runtimeArgs": []
}
}
}
5) Перезапустите Docker:
systemctl restart docker
6) Выполните команду:
nvidia-smi
docker run --rm --gpus all nvidia/cuda:11.7.1-base-ubuntu20.04 nvidia-smi
Если обе команды выполнились успешно и правильно определили версию драйвера, значит все установлено корректно.
Установка BAYRELL Cloud OS на сервер
Под пользователем ubuntu выполните:
1) Запустите облачную ОС в домашнюю папку
cd ~
git clone https://github.com/bayrell-os/cloud_os
cd cloud_os
Установите ОС
./cloud_os.sh setup
Подождите пока выполнится скрипт установки. Он также вас попросит ввести логин администратора, и в конце создаст и выведет его на экран.
2) Добавьте в автозапуск облачную ОС
Создайте файл через команду
nano /etc/rc.local
Пропишите в нем команды:
#!/bin/bash
for i in $(seq 0 6); do
sleep 10
docker start cloud_os_standard_1
done
Поставьте флаг выполнения для этого файла
chmod +x /etc/rc.local
3) Установка завершена!