Прикладной уровень: возможности системы
Цели:
- Активация интерпретатора
- Сопоставление потока данных интерпретатору
- Обеспечение готовности сервиса-интерпретатора
- Интерпретация
- (…) а откуда нам знать?
Задачи:
Связывание адреса/порта и интерпретатора: сокет
Запуск и обслуживание интерпретатора
- Анонс прикладных служб по сети и распознавание этого анонса
- Учёт потребления ресурсов прикладными службами: иногда изнутри самого приложения не видно, насколько всё плохо
TODO: коротко об управлении systemd
Службы systemd:
Леннарт и юзабилити ;_;
- Юниты, их файлы с настройками
Типы юнитов: systemd.service, systemd.socket
start / restart / stop / status
cat
systemctl edit и его грабельки
- --full --force
$SYSTEMD_EDITOR
Связь с интерпретатором
Пространство имён: /etc/services:
- только well-known
нет прямой связи с приложением, только имя<->порт
Может использоваться в API: getservbyport_r, getaddrinfo
TODO — какие syscall-ы вызывают клиенты и серверы
- nc
- nc -l
- socat TCP-LISTEN…,fork
- Делает сама служба:
создание и обслуживание сокета (bind() + listen() + accept())
- (если нужно) закрытие сокета respawn при закрытии соединения
- обслуживание нескольких соединений (в т. ч. общие и специфичные для прикладного уровня ограничения по ресурсам, конкуренции между соединениями и т. п.)
- Делает служба запуска
- Запуск произвольных служб, в том числе сетевых
- Запуск интерпретаторов с сокет-активацией
- Запуск/fork() без ожидания
Примеры
sockstat — ss из пакета iproute2
-ltp (и -lup)
-ntp (и -nup)
socat как служба запуска:
socat TCP-LISTEN:1234 EXEC:/usr/bin/cal
TIME_WAIT ⇒ TCP-LISTEN:1234,reuseaddr
Несколько соединений: базовый сервис + fork() : TCP-LISTEN:1234,reuseaddr,fork
Перманентная настройка сети с помощью systemd-networkd
Сам systemd-networkd:
.d-каталог /etc/systemd/network/ (Спойлер-TODO:
)systemd.link: переименование и настройка сетевых интерфейсов
systemd.netdev: создание виртуальных сетевых устройств (например, бриджей и VLAN-ов)
См. примеры
systemd.network: настройки параметров сети на интерфейсах и специальных подсистем
См. примеры
Настроим IP клиента и маршрутизацию через «внутреннюю» сеть VirtualBox и машину srv (аналогично примеру по ссылке выше):
Подсеть и адрес — 2001:db8:0:b::1f/64
Шлюз по умолчанию: fe80::2 (интерфейс известен)
[root@client ~]# cat /etc/systemd/network/80-uplink.network [Match] Name=eth1 [Network] Address=2001:db8:0:b::1f/64 Gateway=fe80::2 [root@client ~]# networkctl reload [root@client ~]# networkctl reconfigure eth1 [root@client ~]# networkctl status eth1 * 2: eth1 Link File: /lib/systemd/network/99-default.link Network File: /etc/systemd/network/80-uplink.network Type: ether State: routable (configured) Online state: online Alternative Names: enp0s8 Path: pci-0000:00:03.0 Driver: pcnet32 Vendor: Advanced Micro Devices, Inc. [AMD] Model: 79c970 [PCnet32 LANCE] (PCnet - Fast 79C971) HW Address: 08:00:27:65:59:a2 (PCS Systemtechnik GmbH) MTU: 1500 (min: 68, max: 1500) QDisc: fq_codel IPv6 Address Generation Mode: eui64 Queue Length (Tx/Rx): 1/1 Auto negotiation: no Speed: 1Gbps Duplex: full Port: tp Address: 2001:db8:0:b::1f fe80::a00:27ff:fe65:942f Gateway: fe80::2 Activation Policy: up Required For Online: yes DHCP6 Client DUID: DUID-EN/Vendor:0000ab11222f46bae4798c040000 Apr 14 18:09:47 client systemd-networkd[1096]: eth1: Re-configuring with /etc/systemd/network/80-vbox.network Apr 14 18:09:47 client systemd-networkd[1096]: eth1: Link UP Apr 14 18:09:47 client systemd-networkd[1096]: eth1: Gained carrier Apr 14 18:09:51 client systemd-networkd[1096]: eth1: Re-configuring with /etc/systemd/network/80-vbox.network
Эта настройка перманентна — после перезагрузки должна восстановиться.
Настройка статического маршрута
Тот же файл ….network +
[Route] Gateway=маршрутизатор Destination=сеть
Настройка net.ipv6.conf.all.forwarding:
[Network] … IPForward=ipv6
В любом одном файле
Запуск собственных служб с помощью systemd
- Обычная служба
- Сервис должен уметь в транспортный уровень
Запуск socat как службы
Сокет-активация systemd по шаблону (Accept=yes)
- Сам сервис — только прикладной, получает сокет одного подключения
- Масштабирование с помощью шаблонов
В первом варианте служба "слушает" (открывает "слушающий" сокет) и принимает соединения сама. Напишем юнит-файл для службы:
[root@srv ~]# systemctl edit --full cal.service No files found for cal.service. Run 'systemctl edit --force --full cal.service' to create a new unit. [root@srv ~]# systemctl edit --force --full cal.service [root@srv ~]# systemctl cat cal.service # /etc/systemd/system/cal.service [Unit] Description=SOCAT Calendar Example [Service] ExecStart=/usr/bin/socat -6 TCP-LISTEN:1234,reuseaddr,fork EXEC:/usr/bin/cal [root@srv ~]# systemctl status cal * cal.service - SOCAT Calendar Example Loaded: loaded (/etc/systemd/system/cal.service; static) Active: inactive (dead) # Служба зарегистрирована в systemd. Запустим службу и убедимся, что она: [root@srv ~]# systemctl start cal [root@srv ~]# ss -ltp src :1234 State Recv-Q Send-Q Local Address:Port Peer Address:Port Process LISTEN 0 5 *:1234 *:* users:(("socat",pid=2526,fd=5))
[root@client ~]# netcat 2001:db8:0:b::1f 1234 April 2023 Su Mo Tu We Th Fr Sa 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30
Шаблонный юнит + сокет-активация:
[root@srv ~]# systemctl cat hexdump.socket # /etc/systemd/system/hexdump.socket [Unit] Description = Hexdump Socket [Socket] ListenStream = 1234 Accept = yes [root@srv ~]# systemctl cat hexdump@.service # /etc/systemd/system/hexdump@.service [Unit] Description=Hexdump Service [Service] ExecStart=/usr/bin/hexdump -C StandardInput=socket # если есть предыдущая строка, то по умолчанию: #StandardOutput=socket
Д/З
Задание 8
- Суть: написать и запустить три сетевых сервиса: два вырожденных и один простой
Первый сервис получает на вход произвольный файл, и выдаёт на выход hexdump этого файла в любом удобном формате
- Второй сервис выполняет обратную задачу
- Третий сервис сложнее.
- На вход подаётся три или более текстовых строк в формате ASCII
- Шаблон (первая строка)
- Замена (вторая строка)
- Текст из одной или более строк
- На выходе должен получиться «текст», в котором все вхождения «шаблона» заменены на «замену».
- На вход подаётся три или более текстовых строк в формате ASCII
Задача: оформить все три сервиса как чисто текстовые обработчики с сокет-активацией. с помощью этих сервисов организовать замену произвольного байта на любой другой произвольный байт (допустимо использовать в качестве параметров любое удобное — например, шестнадцатеричное — представление байтов).
- Настройка сети и запуск служб производятся заранее и в отчёт не входят
Подсказка: почитайте systemd.exec: имеет смысл отделить stderr сервиса от stdout
Подсказка: есть соблазн воспользоваться xxd -p / xxd -p -r, но придётся иметь дело с проблемой: xxd -p не вставляет пробелы в поток, и банальная замена двух цифр пожет прийтись не на границу байта. Например в строке из 5 байтов102336495b нет символа с кодом 33
Спойлер:
- Площадка:
srv — хост с двумя вырожденными сервисами (1) и (2)
client — хост с сервисом замены текста (3). для программирования на client доступны (можно пользоваться чем угодно, что найдёте в образе; я выбрал python3):
bash
sed, awk
- … прочие стандартные утилиты linux
python3
perl
- Отчёт:
report 8 srv
Сделать systemctl cat обоим сервисам и их сокетам
Сделать systemctl status обоим сокетам
С помощью netcat проверить, что сервис (2) игнорирует некорректные данные (допустимо преобразовывать корректные или вообще ничего не выводить)
report 8 client
Сделать systemctl cat сервису (3) и его сокету
Если для обработки написан какой-то скрипт на каком-то языке, сделать ему cat
С помощью netcat проверить, что сервис (3) игнорирует некорректные данные (допустимо преобразовывать корректные или вообще ничего не выводить)
Составить командную строку в виде цепочки netcat, объединённых в конвейер с помощью «|», которая заменяет табуляции точками.
(продолжение отчёта srv)
Сделать systemctl status обоим сокетам: должно показать отсутствие соединений в данный момент (Connected:) и увеличить количество обслуженных соединений (Accepted:)
Два отчёта(названия сохранить, должно быть: report.08.srv, report.08.client) переслать одним письмом в качестве приложений на uneexlectures@cs.msu.ru
Пример:
[root@client ~]# cat /etc/crontab.template | { echo " 09"; echo " 2E"; netcat хост-srv порт-1; } | netcat localhost порт-3 | netcat хост-srv порт-2 # # # #minute (0-59), #|.hour (0-23), #|.|.day of the month (1-31), #|.|.|.month of the year (1-12), #|.|.|.|.day of the week (0-6 with 0=Sunday). #|.|.|.|.|.commands
- адреса и порты заменены
- в качестве строк используются куски шестнадцатеричного дампа
Ещё пример:
[root@client ~]# cal | { echo " 20"; echo " 23"; netcat хост-srv порт-1; } | netcat localhost порт-3 | netcat хост-srv порт-2 #####April#2022##### Su#Mo#Tu#We#Th#Fr#Sa ################1##2 #3##4##5##6##7##8##9 10#11#12#13#14#15#16 17#18#19#20#21#22#23 24#25#26#27#28#29#30 ####################
Обратите внимание на то, что банальная замена в простой выдаче xxd 20 на 23 всё бы только испортила (заменились бы части адреса, например), так что в моём решении сервису (3) передаётся строка с пробелом.
[root@client ~]# cal | xxd | sed 's/20/23/' | xxd -r # April 2022 # Su Mo Tu We Th Fr Sa xxd: sorry, cannot seek backwards.