Запись видеоконференций Jitsi Meet с помощью Jibri, запущенного в docker-контейнере

Процесс установки и настройки сервиса видеоконференций Jitsi Meet был описан в одной из предыдущих заметок. Указанная в той заметке конфигурация срвиса была лишена одной немаловажной возможности, а именно возможности вести видеозапись конференции. За наличие этой возможности отвечает сервис Jibri (JItsi BRoadcasting Infrastructure). Его настройка и будет описана далее.

Специфика работы Jibri такова, что один экземпляр этой службы может записывать только одну конференцию. Это происходит из-за того, что при нажатии кнопки "Начать запись" Jibri подключается к конференции как участник и после этого записывает видео. Чтобы решить эту проблему и не плодить при этом серверы с Jibri будем использовать docker-контейнеры.

Напомню, что Jitsi Meet установлен на Ubuntu 18.04 с адресом meet.oldfag.ru. На этот же сервер установим Docker Comunity Edition, где и будем запускать контейнеры с Jibri, чтобы ресурсы сервера не простаивали.
Однако если запускать контейнеры на другой машине, то в последовательности действий абсолютно ничего не изменится.
Описание настройки, для удобства, разделю на следующие этапы:
- настройка Prosody
- настройка Jicofo
- настройка интерфейса Jitsi Meet
- настройка ОС, на которой установлен Jitsi Meet
- установка docker, запуск и настройка сервиса Jibri

Так как подходящего способа получить количество активных комнат на сервере я так и не нашёл, плагин для Prosody mod_muc_size мне победить не удалось, а так же не нашлось способа контролировать проставивают ли сейчас экземпляры Jibri в контейнерах и останавливать таковые, то просто буду запускать 5 экземпляров службы, т.к. с вероятностью, близкой к 100%, на данном сервере не будет запущено более 5 видеоконференций одновременно.

Предполагается, что все команды выполняются от имени пользователя с повышенными полномочиями, например через

sudo -s

Инструкция по настройке служб Jitsi Meet для использования Jibri есть на GitHub Jitsi

Начнём с того, что настроим ядро всей системы - jabber-сервер Prosody.
Откроем файл конфигурации нашего сервера

nano /etc/prosody/conf.avail/meet.oldfag.ru.cfg.lua

и добавим ещё один виртуальный хост

VirtualHost "recorder.meet.oldfag.ru"
    modules_enabled = {
      "ping";
    }
    authentication = "internal_plain"

а так же внесём изменения в уже существующую секцию

-- internal muc component
Component "internal.auth.meet.oldfag.ru" "muc"
    storage = "none"
    modules_enabled = {
        "ping";
    }
    admins = { "focus@auth.meet.oldfag.ru", "jvb@auth.meet.oldfag.ru" }
    muc_room_locking = false
    muc_room_default_public_jids = true
    muc_room_cache_size = 1000  <<==== вот эту строку добавляем

Создадим на Prosody двух локальных пользователей, одного для коммуникации с Jibri, отправки ему команд и получения его статуса - jibri, второго для непосредственно подключения к конференциям и записи видео - recorder.

prosodyctl register jibri auth.meet.oldfag.ru jibri-auth-strong-pass
prosodyctl register recorder recorder.meet.oldfag.ru jibri-recorder-strong-pass

Настройка закончена, перезапускаем службу для применения настроек.

systemctl restart prosody

Службу можно перезапустить так же и с использованием prosodyctl

prosodyctl restart

Переходим к настройке модератора конференций - Jicofo (JItsi COnference FOcus).
Откроем файл /etc/jitsi/jicofo/sip-communicator.properties и добавим строки

org.jitsi.jicofo.jibri.BREWERY=JibriBrewery@internal.auth.meet.oldfag.ru
org.jitsi.jicofo.jibri.PENDING_TIMEOUT=90

Сохраним изменения и перезапустим службу

systemctl restart jicofo

В интерфейс Jitsi Meet нужно добавить кнопки для записи и трансляции видео, для этого открываем файл /etc/jitsi/meet/meet.oldfag.ru-config.js, переходим в секцию Recording и меняем строки

// fileRecordingsEnabled: false,
// liveStreamingEnabled: false,

на

fileRecordingsEnabled: true,
liveStreamingEnabled: true,

а так же добавляем строку

hiddenDomain: 'recorder.meet.oldfag.ru',

Кроме изменения настроек сервисов, так же нужно добавить ALSA-loopback устройства в ОС, на которой запущен сервис Jitsi Meet.
Количество этих устройств должно быть не меньше количества экземпляров Jibri, которые планируется использовать. В данном случае их будет создано 5 штук.
Инструкция по их настройке есть на GitHub Jitsi.
Обновим установленные пакеты и установим дополнительные драйверы

apt update && apt upgrade -y
apt install linux-image-extra-virtual -y

создадим 5 устройств для захвата

echo "options snd-aloop enable=1,1,1,1,1 index=0,1,2,3,4" > /etc/modprobe.d/alsa-loopback.conf

добавим загрузку модуля при старте системы

echo "snd-aloop" >> /etc/modules

и загрузим модуль ядра в текущем сеансе, без перезагрузки системы

modprobe snd_aloop

Проверим, что модуль загружен

lsmod | grep snd_aloop

Если всё хорошо, то ответ будет таким

snd_aloop              24576  0
snd_pcm                98304  1 snd_aloop
snd                    81920  3 snd_timer,snd_aloop,snd_pcm

А теперь последнее по очереди, но не по значению - насройка docker и запуск контейнеров Jibri.
Для начала установим docker согласно инструкции.
Добавим ключ безопасности репозитория

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | apt-key add -

и сам репозиторий

add-apt-repository \
    "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
    $(lsb_release -cs) \
    stable"

Обновим список доступных пакетов и установим необходимые

apt update && apt install docker-ce docker-ce-cli containerd.io docker-compose -y

После того, как всё установится можно проверить что всё работает, запустив тестовый контейнер

docker run hello-world

Образ будет загружен из Docker Hub и запущен, если всё хорошо, то в консоли отобразится сообщение

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
    1. The Docker client contacted the Docker daemon.
    2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
    (amd64)
    3. The Docker daemon created a new container from that image which runs the
    executable that produces the output you are currently reading.
    4. The Docker daemon streamed that output to the Docker client, which sent it
    to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
    $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
    https://hub.docker.com/

For more examples and ideas, visit:
    https://docs.docker.com/get-started/

Не забываем добавить автозагрузку

systemctl enable docker

Создадим каталог хранения конфигурационных файлов для контейнеров

mkdir /etc/jibri-docker

а в нём файл конфигурации контейнера

touch /etc/jibri-docker/jibri.yml

со следующим содержанием

version: '3'

services:
    jibri:
      image: jitsi/jibri
      volumes:
          - ${CONFIG}/jibri:/config
          - /dev/shm:/dev/shm
      cap_add:
          - SYS_ADMIN
          - NET_BIND_SERVICE
      devices:
          - /dev/snd:/dev/snd
      environment:
          - XMPP_AUTH_DOMAIN
          - XMPP_INTERNAL_MUC_DOMAIN
          - XMPP_RECORDER_DOMAIN
          - XMPP_SERVER
          - XMPP_DOMAIN
          - JIBRI_XMPP_USER
          - JIBRI_XMPP_PASSWORD
          - JIBRI_BREWERY_MUC
          - JIBRI_RECORDER_USER
          - JIBRI_RECORDER_PASSWORD
          - JIBRI_RECORDING_DIR
          - JIBRI_FINALIZE_RECORDING_SCRIPT_PATH
          - JIBRI_STRIP_DOMAIN_JID
          - JIBRI_LOGS_DIR
          - DISPLAY=:0
          - TZ

В yml-файле не должно быть табуляций, все отступы создаются только пробелами.
Тут же создадим файл с переменными окружения

touch /etc/jibri-docker/.env

который будет содержать значения имён и паролей пользователей prosody, созданных ранее, адреса подключения и другие параметры.

# JIBRI CONFIG

# Internal XMPP domain for authenticated services
XMPP_AUTH_DOMAIN=auth.meet.oldfag.ru

# XMPP domain for the internal MUC used for jibri, jigasi and jvb pools
XMPP_INTERNAL_MUC_DOMAIN=internal.auth.meet.oldfag.ru

# XMPP domain for the jibri recorder
XMPP_RECORDER_DOMAIN=recorder.meet.oldfag.ru

# Internal XMPP server
XMPP_SERVER=meet.oldfag.ru

# Internal XMPP domain
XMPP_DOMAIN=meet.oldfag.ru

# XMPP user for Jibri client connections
JIBRI_XMPP_USER=jibri

# XMPP password for Jibri client connections
JIBRI_XMPP_PASSWORD=jibri-auth-strong-pass

# MUC name for the Jibri pool
JIBRI_BREWERY_MUC=jibribrewery

# XMPP recorder user for Jibri client connections
JIBRI_RECORDER_USER=recorder

# XMPP recorder password for Jibri client connections
JIBRI_RECORDER_PASSWORD=jibri-recorder-strong-pass

# Directory for recordings inside Jibri container
JIBRI_RECORDING_DIR=/config/recordings

# The finalizing script. Will run after recording is complete
JIBRI_FINALIZE_RECORDING_SCRIPT_PATH=/config/finalize.sh

# When jibri gets a request to start a service for a room, the room
# jid will look like: roomName@optional.prefixes.subdomain.xmpp_domain
# We'll build the url for the call by transforming that into:
# https://xmpp_domain/subdomain/roomName
# So if there are any prefixes in the jid (like jitsi meet, which
# has its participants join a muc at conference.xmpp_domain) then
# list that prefix here so it can be stripped out to generate
# the call url correctly
JIBRI_STRIP_DOMAIN_JID=conference

# Directory for logs inside Jibri container
JIBRI_LOGS_DIR=/config/logs

DISPLAY=:0=

Пробуем запустить контейнер

cd /etc/jibri-docker
docker-compose -f jibri.yml up

Если ufw активен, то тут можно будет увидеть ошибку

org.jivesoftware.smack.SmackException$ConnectionException: The following addresses failed: 'meet.oldfag.ru:5222' failed because: meet.oldfag.ru/192.168.1.147 exception: java.net.SocketTimeoutException: connect timed out

Останавливаем контейнер (Ctlr+C). Добавляем правило для 5222 порта, это порт, используемый Jicofo

ufw allow 5222

Запускаем контейнер снова. Если всё хорошо, то в консоли можно будет увидеть

jibri_1  | 2020-10-22 09:48:44.648 INFO: [27] org.jitsi.xmpp.mucclient.MucClient.log() Joined MUC: jibribrewery@internal.auth.meet.oldfag.ru

Опять останавливаем контейнер и переходим к тому, что будет запущено 5 контейнеров, для одновременной записи 5 конференций. Если нужно больше 5, то нужно не забыть кроме увеличения количества контейнеров увеличить количество ALSA-loopback устройств на сервере Jitsi.

Запустить несколько контейнеров сразу можно с помощью ключа --scale

docker-compose -f jibri.yml up --scale jibri=5 -d

jibri после ключа --scale в этой команде - имя службы, указанное в yml-файле, ключ -d нужен для того, чтобы контейнер запустился без вывода всего и вся в консоль.
После этой команды будет запущено 5 контейнеров, но при этом на Jitsi будет доступна запись только одной конференции одновременно. Это происходит из-за того, что для каждого экземпляра Jibri нужно указать своё ALSA-loopback устройство.
Чтобы это сделать выполним команды

docker exec jibridocker_jibri_1 sed -i 's/Loopback/0/g' /home/jibri/.asoundrc
docker exec jibridocker_jibri_2 sed -i 's/Loopback/1/g' /home/jibri/.asoundrc
docker exec jibridocker_jibri_3 sed -i 's/Loopback/2/g' /home/jibri/.asoundrc
docker exec jibridocker_jibri_4 sed -i 's/Loopback/3/g' /home/jibri/.asoundrc
docker exec jibridocker_jibri_5 sed -i 's/Loopback/4/g' /home/jibri/.asoundrc

и перезапустим контейнеры

docker restart jibridocker_jibri_1 jibridocker_jibri_2 jibridocker_jibri_3 jibridocker_jibri_4 jibridocker_jibri_5

Команды настройки устройств ALSA-loopback и перезапуска контейнеров лучше записать в отдельный исполняемый файл, т.к. они могут понадобится при неосторожном удалении контейнеров или обновлении образа Jibri из Docker Hub.

Чтобы контейнеры поднимались при старте системы нужно выполнить команду

docker update --restart always <CONTAINER ID 1> <CONTAINER ID 2> ... <CONTAINER ID 5>

Идентификатор контейнера можно узнать выполнив команду

docker ps -a

Чтобы остановить контейнеры, если это необходимо, нужно использовать команду

docker-compose -f jibri.yml stop

а не

docker-compose -f jibri.yml down

т.к. последняя не только остановит контейнеры, но и удалит их, а следовательно и конфигурацию устройств в них.

Всё готово. Можно создать конференцию, открыть меню конференции, нажав на три точки в правом нижнем углу, выбрать пункт «Начать запись» и услышать заветное: "Recording is on."

Записи видеоконференций хранятся в /jibri/recordings/. Для постобработки записи (перемещение, публикация и т.д.) можно создать скрипт /jibri/finalize.sh, его имя может быть любым, но оно должно быть указано в /etc/jibri-docker/.env в параметре JIBRI_FINALIZE_RECORDING_SCRIPT_PATH. Его пример можно найти на GitHub Jitsi