Створення тайлового сервера вручну (Ubuntu 21.04)
На цій сторінці міститься опис зі встановлення, розгортання та налаштування всього потрібного програмного забезпечення для роботи вашого тайлового сервера. Покрокові інструкції описують встановлення тайлового сервера на Ubuntu Linux 21.04 (Hirsute Hippo), вони були перевірені у вересні 2021.
Встановлення програмного забезпечення
Тайловий сервер OpenStreetMap – це набір програмного забезпечення та бібліотек, які працюють разом генеруючи тайли. Як це трапляється доволі часто в OpenStreetMap, існує кілька різних шляхів для досягнення мети і майже кожен компонент має альтернативу, з власними недоліками та перевагами. Цей посібник описує найбільш стандартну версію, що схожа на те, що використовується головним тайловим сервером OpenStreetMap.
Тайловий сервер складається з пʼяти головних частин: mod_tile, renderd, mapnik, osm2pgsql та база даних postgresql/postgis. Mod_tile – модуль сервера Apache, який обслуговує тайловий кеш та визначає які тайли потрібно перегенерувати, через їх відсутність у кеші або тому, що вони застаріли. Renderd визначає пріоритети в чергах різного штибу запитів для згладжування навантаження. Mapnik – бібліотека, яка відповідає безпосередньо за створення тайлів з черги, якою керує renderd.
Завдяки роботі, виконаній супроводжувачами Debian та Ubuntu, по включенню останніх версії цих пакунків у Ubuntu 21.04, ця інструкція є дещо коротшою, ніж її попередні версії.
Зауважте, що це керівництво було написане та протестоване з використанням нововстановленого сервера з операційною системою Ubuntu 21.04. Якщо у вас встановлені інші версії програмного забезпечення (можливо ви оновились з попередньої версії, або у вас підʼєднані інші репозиторії PPA), можливо вам доведеться внести певні зміни.
Для того, щоб створити всі ці компоненти, вам спочатку треба встановити наступні залежності.
Ці настанови передбачають що всі команди виконуються в оточені звичайного облікового запису (не root) з використаннями “sudo”. Не намагайтесь та не робіть все в оточені root; система не буде працювати.
sudo -i
apt update
apt upgrade
apt install sudo screen locate libapache2-mod-tile renderd git tar unzip wget bzip2 apache2 lua5.1 mapnik-utils python3-mapnik python3-psycopg2 python3-yaml gdal-bin npm fonts-noto-cjk fonts-noto-hinted fonts-noto-unhinted ttf-unifont
На цьому етапі було додано кілька нових облікових записів. Ви можете ознайомитись з ними за допомогою tail /etc/passwd. postgres – використовується для керування базами даних, які ми будемо використовувати для збереження даних потрібних нам для рендерінгу. _renderd – використовується фоновою службою renderd, і нам далі доведеться переконатись, що більшість команд запускаються саме цим користувачем.
Тепер вам треба створити базу даних postgis. Типові налаштування різноманітних програм очікують що база даних називатиметься gis, тож ми будемо дотримуватись цієї угоди в цім керівництві, хоча це й не обовʼязково. Зверніть увагу, що “_renderd” нижче збігається з іменем користувача, який використовується для фонової служби renderd.
sudo -u postgres -i
createuser _renderd
createdb -E UTF8 -O _renderd gis
Поки ви працюєте як користувач “postgres”, встановіть PostGIS в базу даних PostgreSQL:
psql
(це призведе до появи “postgres=#” на початку рядка консолі)
\c gis
(у відповідь ви побачите:
“You are now connected to database 'gis' as user 'postgres'”
[“Тепер ви підʼєднані до бази даних 'gis' як користувач 'postgres'”])
CREATE EXTENSION postgis;
(у відповідь ви побачите: CREATE EXTENSION)
CREATE EXTENSION hstore;
(у відповідь ви побачите: CREATE EXTENSION)
ALTER TABLE geometry_columns OWNER TO _renderd;
(у відповідь ви побачите: ALTER TABLE)
ALTER TABLE spatial_ref_sys OWNER TO _renderd;
(у відповідь ви побачите: ALTER TABLE)
\q
(це призведе до виходу з сесії psql та повернення назад у консоль Linux)
exit
(повернення назад до сесії користувача, в якій ми знаходились до виконання команди sudo -u postgres -i вище)
Mapnik
Mapnik ми встановили раніше, перевіримо чи він працює:
python3
>>> import mapnik
>>>
Якщо python у відповідь видає тільки >>> без повідомлення про помилки, значить бібліотека Mapnik є доступною в Python. Вітаємо! Для виходу із сесії Python скористайтесь наступною командою:
>>> quit()
Налаштування стилів
Тепер, після того, як все потрібне програмне забезпечення встановлене, вам треба завантажити та налаштувати стилі.
Стиль, який ми будемо використовувати, – це стиль який застосовується для створення “Стандартного” шару на сайті openstreetmap.org. Ми обрали його через гарну документацію і те, що він здатен працювати для будь-якої частини світу, навіть там де не використовується латинка. Але у нього є й певні недоліки – це компромісні рішення для того, щоб працювати в глобальних масштабах, він дуже складний для розуміння та внесення змін, якщо вам доведеться їх вносити.
Код стилю “OpenStreetMap Carto” з веб-сайту openstreetmap.org знаходиться на GitHub – https://github.com/gravitystorm/openstreetmap-carto/ та також має власні інструкції зі встановлення – https://github.com/gravitystorm/openstreetmap-carto/blob/master/INSTALL.md. Про те, що потрібно зробити, ми розповімо тут.
Передбачається що ми розміщуємо стиль в теці ~/src домашньої директорії звичайного користувача (не root); потім ми надамо доступ до нього обліковому запису _renderd.
mkdir ~/src
cd ~/src
git clone https://github.com/gravitystorm/openstreetmap-carto
cd openstreetmap-carto
Далі, встановимо потрібну версію компілятора “carto”.
sudo npm install -g carto
carto -v
У відповідь ми маємо отримати інформацію про номер версії, яка має бути не менше ніж:
1.2.0
Після цього ми перетворимо проєкт carto у зрозумілий для Mapnik вигляд:
carto project.mml > mapnik.xml
Тепер у нас є стиль Mapnik XML – /home/youruseraccount/src/openstreetmap-carto/mapnik.xml.
Завантаження даних
Для початку, завантажимо невеличку частину тестових даних. Серед різномаїття місць для отримання даних, оберемо “download.geofabrik.de”, що містить великий перелік різних варіантів для завантаження. Візьмемо для прикладу Азербайджан (~32.4 Мб).
Перейдіть за посиланням https://download.geofabrik.de/asia/azerbaijan.html та зверніть увагу на дату “This file was last modified” (щось схоже на “2022-06-05T20:21:37Z”). Вона нам знадобиться потім, коли у нас виникне потреба оновити наші дані даними, які учасники OpenStreetMap додали з моменту нашого імпорту. Завантажимо дані:
mkdir ~/data
cd ~/data
wget https://download.geofabrik.de/asia/azerbaijan-latest.osm.pbf
Далі нам треба переконатись, що обліковий запис _renderd має доступ до стилю. Йому потрібен доступ до всього, що ви завантажили для нього, але, типово, він не повинен мати доступу до вашої домашньої теки. Якщо ми передбачаємо використовувати теку ~/src для цього перейдіть до неї та виконайте команду
chmod o+rx ~
Якщо ви не бажаєте робити цього, ви можете перемістити стиль в інше місце та змінити посилання на розташування файлів у наступних командах.
Наступна команда допоможе вам перенести завантажені дані до вашої бази даних. На цьому етапі зросте навантаження на дискові операції через потребу перенесення значного обсягу інформації; імпорт всієї планети може тривати кілька годин, днів та навіть тижнів, в залежності від потужностей вашого серверного обладнання. Зрозуміло, що для невеликих частин даних імпорт відбувається значно швидше, можливо вам доведеться поекспериментувати зі значенням параметра -C, щоб вкластись у наявну оперативну памʼять вашого сервера. Зверніть увагу, що ми робимо це в оточені користувача _renderd.
sudo -u _renderd osm2pgsql -d gis --create --slim -G --hstore --tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua -C 2500 --number-processes 1 -S ~/src/openstreetmap-carto/openstreetmap-carto.style ~/data/azerbaijan-latest.osm.pbf
Розберімося що означають всі ці параметри:
-d gis
База даних, з якою ми працюємо (типово використовується “gis”; тут треба вказати її явно).
--create
Завантажити дані в пусту базу даних, замість спроб додати їх до наявних.
--slim
osm2pgsql може використовувати різноманітні схеми таблиць; “slim” годиться для генерації тайлів.
-G
Визначає, яким чином будуть оброблятись мультиполігони.
--hstore
Дозволяє використовувати для генерації тайлів теґи, для яких немає окремих стовпців в базі даних.
--tag-transform-script ~/src/openstreetmap-carto/openstreetmap-carto.lua
Визначає скрипт lua, який використовується для обробки теґів. Це простий спосіб обробки теґів OSM до того, як вони будуть використані в стилі, що спрощує логіку самого стилю.
-C 2500
Виділяє 2.5 Гб оперативної памʼяті для osm2pgsql на виконання імпорту. Якщо у вас менше оперативної памʼяті, спробуйте менше значення. Якщо процес імпорту буде знищений через нестачу оперативної памʼяті, спробуйте зменшити це число або використовуйте менший обсяг даних.
--number-processes 1
Використовувати одне ядро процесора. Якщо у вас багатоядерний процесор можете використовувати більшу кількість ядер.
-S ~/src/openstreetmap-carto/openstreetmap-carto.style
Створювати стовпці в базі даних використовуючи вказаний файл (в нашому випадку він нічим не відрізняється від стандартного “openstreetmap-carto”)
~/data/azerbaijan-latest.osm.pbf
Останній аргумент – це файл з даними для завантаження в базу.
Результатом роботи цієї команди має бути щось схоже на “Osm2pgsql took 238s overall”.
Створення індексів
Починаючи з версії 5.3.0, деякі додаткові індекси мають бути застосовані вручну:.
cd ~/src/openstreetmap-carto/
sudo -u _renderd psql -d gis -f indexes.sql
Скрипт має повідомити “CREATE INDEX” 14 разів.
Завантаження Shapefile
Незважаючи на те, що більшість даних для створення мапи береться з файлу з даними OpenStreetMap, який ви завантажили раніше, деякі файли в форматі shapefile все ж такі потрібні для таких речей, наприклад, як кордони країн на великих масштабах. Завантажте їх та проіндексуйте:
cd ~/src/openstreetmap-carto/
mkdir data
sudo chown _renderd data
sudo -u _renderd scripts/get-external-data.py
Цей процес вимагає завантаження великої порції даних та триватиме деякий час без будь-яких помітних змін на екрані. Частина даних записується безпосередньо у базу даних, а інша у підтеку “data” в “openstreetmap-carto”. Якщо у вас тут виникнуть проблеми, то це скоріше через те, що дані Natural Earth можуть бути не в тому місці. Якщо вам потрібно змінити місце куди ви завантажуєте дані Natural Earth – внесіть зміни у власну копію цього файлу.
Шрифти
Ми встановили шрифти вище. Інструкція OpenStreetMap Carto також пропонує встановити шрифт “Noto Emoji Regular” з сирців. Всі інші інтернаціональні шрифти, які, ймовірно, знадобляться (включаючи ті що майже не підтримуються), містяться у щойно встановленому списку. Наші тестові дані (Азербайджан) були обрані через їх невеликий обсяг, а також через те, що армянська писемність використовує власну абетку.
Налаштування веб-сервера
Конфігурація renderd
Налаштування “renderd” в Ubuntu 21.04 знаходяться у файлі /usr/local/etc/renderd.conf. Відредагуємо його за допомогою текстового редактора, такого як nano:
sudo nano /usr/local/etc/renderd.conf
Додайте розділ, подібний наведеному, в кінець файлу налаштувань:
[s2o]
URI=/hot/
TILEDIR=/var/lib/mod_tile
XML=/home/accountname/src/openstreetmap-carto/mapnik.xml
HOST=localhost
TILESIZE=256
MAXZOOM=20
Можливо розташування файлу XML /home/accountname/src/openstreetmap-carto/mapnik.xml доведеться змінити на те, що використовується у вашій системі. Ви можете змінити [s2o] та URI=/hot/ на те, що вам треба. Якщо ви бажаєте рендерити більше одного набору тайлів на одному сервері, ви можете додати ще один розділ, подібний до [s2o], з налаштуваннями для іншого стилю. Якщо ви бажаєте, щоб він посилався на іншу базу замість типової gis, ви також можете зробити це, але пояснення того, як це робити виходить за межі цього документа. Якщо у вас десь 2 Гб оперативної памʼяті, можливо вам доведеться зменшити кількість потоків (num_threads) до 2. URI=/hot/ було обрано для того щоби було простіше використовувати ваші тайли замість шару Humanitarian з сайту OpenStreetMap.org. Ви можете вказати щось інше, але “/hot/” також годиться.
Під час написання цієї інструкції, версія Mapnik в Ubuntu 21.04 була 3.1, а налаштування “plugins_dir” – в розділі “[mapnik]” файлу /usr/lib/mapnik/3.1/input. Номер версії “3.1” може змінитись в майбутньому. У разі виникнення помилки під час спроб рендерінгу тайлів, на кшталт цієї:
An error occurred while loading the map layer 's2o': Could not create datasource for type: 'postgis' (no datasource plugin directories have been successfully registered) encountered during parsing of layer 'landcover-low-zoom'
перевірте /usr/lib/mapnik та подивіться, яка версія в назві теки, а також погляньте на /usr/lib/mapnik/(version)/input, щоб переконатись, що файл postgis.input знаходиться там.
Конфігурація Apache
sudo mkdir /var/lib/mod_tile
sudo chown _renderd /var/lib/mod_tile
Потім перезапустіть службу renderd:
sudo /etc/init.d/renderd restart
Якщо ви глянете у /var/log/syslog, ви маєте побачити повідомлення від служби renderd. Можливо там будуть тільки повідомлення про помилки, не переймайтесь зараз цим. Далі:
sudo /etc/init.d/apache2 restart
В syslog має бути щось подібне до наступного:
Sep 18 12:25:14 servername apachectl[42239]: [Sat Sep 18 12:25:14.749940 2021] [tile:notice] [pid 42239:tid 139637396966720] Loading tile config s2o at /hot/ for zooms 0 - 20 from tile directory /var/lib/mod_tile with extension .png and mime type image/png
Далі, відкрийте в оглядачі http://ip.вашого.сервера/index.html (замініть ip.вашого.сервера на відповідну адресу). Ви маєте побачити типову сторінку сервера Apache2 встановленого в Ubuntu.
(якщо ви не знаєте IP адресу призначену серверу, її можна дізнатись за допомогою команди “ifconfig” – якщо мережеві налаштування не надто складні, то це має бути щось типу “inet addr” відмінне від “127.0.0.1”). Якщо ви використовуєте сервер постачальника послуг хостингу, то, швидше за все, внутрішня адреса вашого сервера буде відрізнятися від зовнішньої адреси, яка була надана вам, але ця зовнішня IP-адреса вже буде надіслана вам, і, ймовірно, ви її використовуєте зараз для доступу до сервера.
Зауважте, що це лише сайт “http” (порт 80) – вам потрібно витратити трохи більше часу для налаштування Apache на використання https, але це виходить за межі цих інструкцій. Однак якщо ви використовуєте “Let’s Encrypt” для отримання сертифікатів, інструкція зі встановлення може також містити поради щодо налаштування сайту Apache для використання https.
Далі, в оглядачі відкрийте посилання: http://ip.вашого.сервера/hot/0/0/0.png
Якщо ви вище поміняли “URI=/hot/” вам доведеться підправити посилання. Ви маєте побачити маленьку мапу світу. Якщо її немає, перевірте повідомлення про помилки в консолі. Скоріш за все ви щось наплутали з дозволами, або ви пропустили якийсь крок з інструкції. Якщо ви не отримали тайл та отримуєте інші посилання, скопіюйте вивід в pastebin, та зверніться за допомогою, наприклад, в help.openstreetmap.org.
Перегляд тайлів
Для того, щоб побачити тайли, ми трохи змахлюємо користуючись файлом “sample_leaflet.html” з теки “extras” в mod_tile.
cd /var/www/html
sudo wget https://raw.githubusercontent.com/SomeoneElseOSM/mod_tile/switch2osm/extra/sample_leaflet.html
sudo nano sample_leaflet.html
Змініть “127.0.0.1” на адресу вашого сервера, це дозволить вам отримати доступ до файлу за посиланням “http://ip.вашого.сервера/sample_leaflet.html”.
Згодом ви побачите мапу. Ви зможете збільшувати та зменшувати її масштаб, але в залежності від потужностей сервера, деякі тайли можуть бути сірими (вони ще не встигли обробитись сервером). Однак, як тільки їх обробка завершиться, вони будуть готові для перегляду. Якщо ви подивитесь у /var/log/syslog, ви маєте побачити запити на показ тайлів.
За бажанням, для того щоб подовжити час очікування оновлення тайлів, які стоврюються в фоні, допоки замість них показуються сірі квадрати, ви можете збільшити час з 10 секунд до 30, чи навіть 60 секунд, у параметрі “ModTileMissingRequestTimeout” у файлі /etc/apache2/conf-available/renderd.conf. Переконайтеся, що ви виконали команди sudo service renderd restart та udo service apache2 restart після редагування налаштувань.
Вітаємо! Тепер ви можете повернутись до розділу Використання тайлів для додавання мапи, що використовує ваш новий тайловий сервер.