Створення тайлового сервера вручну (Debian 11)
На цій сторінці міститься опис зі встановлення, розгортання та налаштування всього потрібного програмного забезпечення для роботи вашого тайлового сервера. Покрокові інструкції описують встановлення тайлового сервера на Debian Linux 11 testing (bullseye), вони були перевірені у листопаді 2020.
Встановлення програмного забезпечення
Тайловий сервер OpenStreetMap – це набір програмного забезпечення та бібліотек, які працюють разом генеруючи тайли. Як це трапляється доволі часто в OpenStreetMap, існує кілька різних шляхів для досягнення мети та майже кожен компонент має альтернативу, з власними недоліками та перевагами. Цей посібник описує найбільш стандартну версію, що схожа на те, що використовується головним тайловим сервером OpenStreetMap.
Тайловий сервер складається з пʼяти головних частин: mod_tile, renderd, mapnik, osm2pgsql та база даних postgresql/postgis. Mod_tile – модуль сервера Apache, який обслуговує тайловий кеш та визначає які тайли потрібно перегенерувати, через їх відсутність у кеші або тому, що вони застаріли. Renderd визначає пріоритети в чергах різного штибу запитів для згладжування навантаження. Mapnik – бібліотека, яка відповідає безпосередньо за створення тайлів з черги, якою керує renderd.
Завдяки роботі, виконаній супроводжувачами Debian, по включенню останніх версії цих пакунків у Debian 11, ця інструкція є дещо коротшою, ніж її попередні версії.
Зауважте, що це керівництво було написане та протестоване з використанням нововстановленого сервера з операційною системою Debian 11 Testing server. На момент написання Debian 11 ще не був офіційно випущений, тож можливо вам доведеться щось підправити. Якщо у вас встановлені інші версії програмного забезпечення (можливо ви оновились з попередньої версії, або у вас підʼєднані інші репозиторії PPA), можливо вам доведеться внести певні зміни.
Для того, щоб створити всі ці компоненти, вам спочатку треба встановити наступні залежності. Debian з типовими налаштуваннями не містить встановленої утиліти “sudo”, тож нам доведеться скористуватись правами користувача root, щоб додати її та інші потрібні нам компоненти:
su -
apt install sudo screen locate libapache2-mod-tile renderd git tar unzip wget bzip2 apache2 lua5.1 mapnik-utils python3-mapnik python3-psycopg2 python3-yaml gdal-bin npm fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted ttf-unifont
Перебуваючи в оточені root перевіримо, чи ми можемо використовувати утиліту “sudo” в оточені нашого звичайного користувача. Замініть youruseraccount на ваш обліковий запис в системі. Не намагайтесь та не робіть все в оточені root; система не буде працювати.
usermod -aG sudo youruseraccount
exit
Повернувшись в оточення звичайного користувача виконайте вихід та вхід до вашого оточення, після чого перевірите роботу утиліти “sudo”:
sudo whoami
У відповідь ви маєте отримати “root”. На цьому етапі було додано кілька нових облікових записів. Ви можете ознайомитись з ними за допомогою tail /etc/passwd. postgres – використовується для керування базами даних, які ми будемо використовувати для збереження даних потрібних нам для рендерінгу. _renderd – використовується фоновою службою renderd, і нам далі доведеться переконатись, що більшість команд запускаються саме цим користувачем.
Тепер вам треба створити базу даних postgis. Типові налаштування різноманітних програм очікують що база даних називатиметься gis, тож ми будемо дотримуватись цієї угоди в цім керівництві, хоча це й не обовʼязково. Зверніть увагу, що “_renderd” нижче збігається з іменем користувача, який використовується для фонової служби renderd.
sudo -u postgres -i
createuser _renderd
createdb -E UTF8 -O _renderd gis
Поки ви працюєте як користувач “postgres”, встановіть PostGIS в базу даних PostgreSQL:
psql
(це призведе до появи “postgres=#” на початку рядка консолі)
\c gis
(у відповідь ви побачите:
“You are now connected to database 'gis' as user 'postgres'”
[“Тепер ви підʼєднані до бази даних 'gis' як користувач 'postgres'”])
CREATE EXTENSION postgis;
(у відповідь ви побачите: CREATE EXTENSION)
CREATE EXTENSION hstore;
(у відповідь ви побачите: CREATE EXTENSION)
ALTER TABLE geometry_columns OWNER TO _renderd;
(у відповідь ви побачите: ALTER TABLE)
ALTER TABLE spatial_ref_sys OWNER TO _renderd;
(у відповідь ви побачите: ALTER TABLE)
\q
(це призведе до виходу з сесії psql та повернення назад у консоль Linux)
exit
(повернення назад до сесії користувача, в якій ми знаходились до виконання команди sudo -u postgres -i вище)
Mapnik
Mapnik ми встановили раніше, разом із “sudo”, перевіримо чи він працює:
python3
>>> import mapnik
>>>
Якщо python у відповідь видає тільки >>> без повідомлення про помилки, значить бібліотека Mapnik є доступною в Python. Вітаємо! Для виходу із сесії Python скористайтесь наступною командою:
>>> quit()
Налаштування стилів
Тепер, після того, як все потрібне програмне забезпечення встановлене, вам треба завантажити та налаштувати стилі.
Стиль, який ми будемо використовувати, – це стиль який застосовується для створення “Стандартного” шару на сайті openstreetmap.org. Ми обрали його через гарну документацію і те, що він здатен працювати для будь-якої частини світу, навіть там де не використовується латинка. Але у нього є й певні недоліки – це компромісні рішення для того, щоб працювати в глобальних масштабах, він дуже складний для розуміння та внесення змін, якщо вам доведеться їх вносити.
Код стилю “OpenStreetMap Carto” з веб-сайту openstreetmap.org знаходиться на GitHub – https://github.com/gravitystorm/openstreetmap-carto/ та також має власні інструкції зі встановлення – https://github.com/gravitystorm/openstreetmap-carto/blob/master/INSTALL.md. Про те, що потрібно зробити, ми розповімо тут.
Передбачається що ми розміщуємо стиль в теці ~/src домашньої директорії звичайного користувача (не root):
mkdir ~/src
cd ~/src
git clone https://github.com/gravitystorm/openstreetmap-carto
cd openstreetmap-carto
Далі, встановимо потрібну версію компілятора “carto”.
sudo npm install -g carto
carto -v
У відповідь ми маємо отримати інформацію про номер версії, яка має бути не менше ніж:
1.2.0
Після цього ми перетворимо проєкт carto у зрозумілий для Mapnik вигляд:
carto project.mml > mapnik.xml
Тепер у нас є стиль Mapnik XML – /home/youraccountname/src/openstreetmap-carto/mapnik.xml.
Завантаження даних
Для початку, завантажимо невеличку частину тестових даних. Серед різномаїття місць для отримання даних, оберемо “download.geofabrik.de”, що містить великий перелік різних варіантів для завантаження. Візьмемо для прикладу Азербайджан (~32.4 Мб).
Перейдіть за посиланням https://download.geofabrik.de/asia/azerbaijan.html та зверніть увагу на дату “This file was last modified” (щось схоже на “2022-06-05T20:21:37Z”). Вона нам знадобиться потім, коли у нас виникне потреба оновити наші дані даними, які учасники OpenStreetMap додали з моменту нашого імпорту. Завантажимо дані:
mkdir ~/data
cd ~/data
wget https://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf
Наступна команда допоможе вам перенести завантажені дані до вашої бази даних. На цьому етапі зросте навантаження на дискові операції через потребу перенесення значного обсягу інформації; імпорт всієї планети може тривати кілька годин, днів та навіть тижнів, в залежності від потужностей вашого серверного обладнання. Зрозуміло, що для невеликих частин даних імпорт відбувається значно швидше, можливо вам доведеться поекспериментувати зі значенням параметра -C, щоб вкластись у наявну оперативну памʼять вашого сервера. Зверніть увагу, що ми робимо це в оточені користувача _renderd.
sudo -u _renderd osm2pgsql -d gis --create --slim -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 2500 --number-processes 1 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/azerbaijan-latest.osm.pbf
Розберімося що означають всі ці параметри:
-d gis
База даних, з якою ми працюємо (типово використовується “gis”; тут треба вказати її явно).
--create
Завантажити дані в пусту базу даних, замість спроб додати їх до наявних.
--slim
osm2pgsql може використовувати різноманітні схеми таблиць; “slim” годиться для генерації тайлів.
-G
Визначає, яким чином будуть оброблятись мультиполігони.
--hstore
Дозволяє використовувати для генерації тайлів теґи, для яких немає окремих стовпців в базі даних.
--tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua
Визначає скрипт lua, який використовується для обробки теґів. Це простий спосіб обробки теґів OSM до того, як вони будуть використані в стилі, що спрощує логіку самого стилю.
-C 2500
Виділяє 2.5 Гб оперативної памʼяті для osm2pgsql на виконання імпорту. Якщо у вас менше оперативної памʼяті, спробуйте менше значення. Якщо процес імпорту буде знищений через нестачу оперативної памʼяті, спробуйте зменшити це число або використовуйте менший обсяг даних.
--number-processes 1
Використовувати одне ядро процесора. Якщо у вас багатоядерний процесор можете використовувати більшу кількість ядер.
-S ~/src/openstreetmap-carto/openstreetmap-carto.style
Створювати стовпці в базі даних використовуючи вказаний файл (в нашому випадку він нічим не відрізняється від стандартного “openstreetmap-carto”)
~/data/azerbaijan-latest.osm.pbf
Останній аргумент – це файл з даними для завантаження в базу.
Результатом роботи цієї команди має бути щось схоже на “Osm2pgsql took 238s overall”.
Створення індексів
Починаючи з версії 5.3.0, деякі додаткові індекси мають бути застосовані вручну:.
cd ~/src/openstreetmap-carto/
sudo -u _renderd psql -d gis -f indexes.sql
Скрипт має повідомити “CREATE INDEX” 14 разів.
Завантаження Shapefile
Незважаючи на те, що більшість даних для створення мапи береться з файлу з даними OpenStreetMap, який ви завантажили раніше, деякі файли в форматі shapefile все ж такі потрібні для таких речей, наприклад, як кордони країн на великих масштабах. Завантажте їх та проіндексуйте:
cd ~/src/openstreetmap-carto/
mkdir data
sudo chown _renderd data
sudo -u _renderd scripts/get-external-data.py
Цей процес вимагає завантаження великої порції даних та триватиме деякий час без будь-яких помітних змін на екрані. Частина даних записується безпосередньо у базу даних, а інша у підтеку “data” в “openstreetmap-carto”. Якщо у вас тут виникнуть проблеми, то це скоріше через те, що дані Natural Earth можуть бути не в тому місці. Якщо вам потрібно змінити місце куди ви завантажуєте дані Natural Earth – внесіть зміни у власну копію цього файлу.
Шрифти
Ми встановили шрифти вище. Інструкція OpenStreetMap Carto також пропонує встановити шрифт “Noto Emoji Regular” з сирців. Всі інші інтернаціональні шрифти, які, ймовірно, знадобляться (включаючи ті що майже не підтримуються), містяться у щойно встановленому списку. Наші тестові дані (Азербайджан) були обрані через їх невеликий обсяг, а також через те, що армянська писемність використовує власну абетку.
Налаштування веб-сервера
Конфігурація renderd
Налаштування “renderd” знаходяться у файлі /usr/local/etc/renderd.conf. Відредагуємо його за допомогою текстового редактора, такого як nano:
sudo nano /usr/local/etc/renderd.conf
Додайте розділ, подібний наведеному, в кінець файлу налаштувань:
[s2o]
URI=/hot/
TILEDIR=/var/lib/mod_tile
XML=/home/accountname/src/openstreetmap-carto/mapnik.xml
HOST=localhost
TILESIZE=256
MAXZOOM=20
Можливо розташування файлу XML /home/accountname/src/openstreetmap-carto/mapnik.xml доведеться змінити на те, що використовується у вашій системі. Ви можете змінити [s2o] та URI=/hot/ на те, що вам треба. Якщо ви бажаєте рендерити більше одного набору тайлів на одному сервері, ви можете додати ще один розділ, подібний до [s2o], з налаштуваннями для іншого стилю. Якщо ви бажаєте, щоб він посилався на іншу базу замість типової gis, ви також можете зробити це, але пояснення того, як це робити виходить за межі цього документа. Якщо у вас десь 2 Гб оперативної памʼяті, можливо вам доведеться зменшити кількість потоків (num_threads) до 2. URI=/hot/ було обрано для того щоби було простіше використовувати ваші тайли замість шару Humanitarian з сайту OpenStreetMap.org. Ви можете вказати щось інше, але “/hot/” також годиться.
Під час написання цієї інструкції, версія Mapnik в Debian була 3.0, а налаштування “plugins_dir” – в розділі “[mapnik]” файлу /usr/lib/mapnik/3.0/input. На момент внесення доповнень вона стала 3.1, тож відповідно змінився й шлях /usr/lib/mapnik/3.1/input. Такі зміни можуть відбуватись далі. У разі виникнення помилки під час спроб рендерінгу тайлів, на кшталт цієї:
An error occurred while loading the map layer 's2o': Could not create datasource for type: 'postgis' (no datasource plugin directories have been successfully registered) encountered during parsing of layer 'landcover-low-zoom'
перевірте /usr/lib/mapnik та подивіться, яка версія в назві теки, а також погляньте на /usr/lib/mapnik/(version)/input, щоб переконатись, що файл postgis.input знаходиться там.
Конфігурація Apache
sudo mkdir /var/lib/mod_tile
sudo chown _renderd /var/lib/mod_tile
Потім перезапустіть службу renderd:
sudo /etc/init.d/renderd restart
Якщо ви глянете у /var/log/syslog, ви маєте побачити повідомлення від служби renderd. Можливо там будуть тільки повідомлення про помилки, не переймайтесь зараз цим. Далі:
sudo /etc/init.d/apache2 restart
В syslog має бути щось подібне до наступного:
Nov 14 14:24:55 servername apachectl[19119]: [Sat Nov 14 14:24:55.526717 2020] [tile:notice] [pid 19119:tid 140525098995008] Loading tile config s2o at /hot/ for zooms 0 - 20 from tile directory /var/lib/mod_tile with extension .png and mime type image/png
Далі, відкрийте в оглядачі http://ip.вашого.сервера/index.html (замініть ip.вашого.сервера на відповідну адресу). Ви маєте побачити типову сторінку сервера Apache2 встановленого на Debian.
(якщо ви не знаєте IP адресу призначену серверу, її можна дізнатись за допомогою команди “ifconfig” – якщо мережеві налаштування не надто складні, то це має бути щось типу “inet addr” відмінне від “127.0.0.1”). Якщо ви використовуєте сервер постачальника послуг хостингу, то, швидше за все, внутрішня адреса вашого сервера буде відрізнятися від зовнішньої адреси, яка була надана вам, але ця зовнішня IP-адреса вже буде надіслана вам, і, ймовірно, ви її використовуєте зараз для доступу до сервера.
Зауважте, що це лише сайт “http” (порт 80) – вам потрібно витратити трохи більше часу для налаштування Apache на використання https, але це виходить за межі цих інструкцій. Однак якщо ви використовуєте “Let’s Encrypt” для отримання сертифікатів, інструкція зі встановлення може також містити поради щодо налаштування сайту Apache для використання https.
Далі, в оглядачі відкрийте посилання: http://ip.вашого.сервера/hot/0/0/0.png
Якщо ви вище поміняли “URI=/hot/” вам доведеться підправити посилання. Ви маєте побачити маленьку мапу світу. Якщо її немає, перевірте повідомлення про помилки в консолі. Скоріш за все ви щось наплутали з дозволами, або ви пропустили якийсь крок з інструкції. Якщо ви не отримали тайл та отримуєте інші посилання, скопіюйте вивід в pastebin, та зверніться за допомогою, наприклад, в like help.openstreetmap.org.
Перегляд тайлів
Для того, щоб побачити тайли, ми трохи змахлюємо користуючись файлом “sample_leaflet.html” з теки “extras” в mod_tile.
cd /var/www/html
sudo wget https://raw.githubusercontent.com/SomeoneElseOSM/mod_tile/switch2osm/extra/sample_leaflet.html
sudo nano sample_leaflet.html
Змініть “127.0.0.1” на адресу вашого сервера, це дозволить вам отримати доступ до файлу за посиланням “http://ip.вашого.сервера/sample_leaflet.html”.
Згодом ви побачите мапу. Ви зможете збільшувати та зменшувати її масштаб, але в залежності від потужностей сервера, деякі тайли можуть бути сірими (вони ще не встигли обробитись сервером). Однак, як тільки їх обробка завершиться, вони будуть готові для перегляду. Якщо ви подивитесь у /var/log/syslog, ви маєте побачити запити на показ тайлів.
За бажанням, ви можете збільшити значення “ModTileMissingRequestTimeout” у /etc/apache2/conf-available/renderd.conf з 10 секунд до, скажімо, 30 або 60, для того, щоб дати більше часу серверу на створення тайлів перед тим як показати сірий фон на замість них. Перевірте, що ви виконали команди sudo service renderd restart та sudo service apache2 restart після внесення змін.
Вітаємо! Тепер ви можете повернутись до розділу Використання тайлів для додавання мапи, що використовує ваш новий тайловий сервер.