admin@demi4.com

postgres-xl cluster on ubuntu 18


Для швідкістного імпорту великого об’єму даних прилетіла таска налатувати кластер postgres-xl. Як і все opensource – налаштування кластеру, це танці з бубном, почну…

Для первинного налаштування, та перших тестів я нашатував три сервера:

  1. GTM master сервер – Global Transaction Manager, потрібен для надання ID глобальних транзакцій. = private.gtm-1.domain.com
  2. Coordinator – відповідає за розбиття, планування виконання запитів, консолідація результатів виконання запитів. = private.pgc-1.domain.com
  3. Datanode – сховище даних. = private.pgd-1.domain.com

 

Поперше потрібно встановити залежності на всіх серверах:

Далі додаємо юзера для роботи postgres:

Клонуємо репу з сорсами postgres-xl:

Запускаємо налаштування сорсів, збирання та встановлення postgres-xl:

Встановлюємо pgxc_ctl:

Додаємо bin/ каталог з потрібним софтом у $PATH

Також юзеру postgres у домашню директорію додаю у .bashrc

Перезавантажую сервер….

На всіх серверах налаштував hostname щоб резолв був на internal IP та тепер можна почати налаштувааня.

Зі всіх серверів збираю id_rsa.pub та додаю у authorized_keys на GTM сервері

GTM:

Запускаю pgxc_ctl для створення первинних налаштувань

Додаю gtm master node:

Далі додаю coordinator node:

Далі додаю datanode:

На pgc та pgd прописую доступ у pg_hba.conf до баз для моєї мережі:

Прервіряю чи все ОК:

 

 

 

 

 

 

 

 

Далі потрібно прописати налаштування серверів у pgc да pgd, як на мене це дуже дивна штука – бо сетапили GTM та як на мене логічно було б зробити ці налаштування автоматичними, але у мене без цього не “пішло”:

На coordinator node:

Перевіряємо чи все корректно працює, для цього створюємо тестову базу, юзера та даємо юзеру права на роботу з базою:

Якщо бачимо свою базу у списку баз, то все добре. Далі можна додати скрипти автоматичного запуску, зупинки сервесів кластера, для цього потрібно підналаштувати скрипт прикладу у

 

 

2 голоса
Позначки:, , ,

Leave a Reply

Увійти через: 

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *

Related Post

nginx ограничение скорости

nginx ограничение скоростиnginx ограничение скорости

Сегодня задали вопрос “как ограничить скорость на один IP в nginx” ? Вопрос избитый и куча раз уже обговорен, куча решений. Основная проблема в том – что известный модуль ngx_http_limit_conn_module

Module 'apc' already loaded in Unknown on line 0

Module ‘apc’ already loaded in Unknown on line 0Module ‘apc’ already loaded in Unknown on line 0

Случайно сегодня обнаружил что в логах апача одно домена сыпется такая ошибка “Module ‘apc’ already loaded in Unknown on line 0”. Собственно тут то и искать ничего не нужно, просто

pg_dump on slave - DETAIL: User query might have needed to see row versions that must be removed

pg_dump on slave – DETAIL: User query might have needed to see row versions that must be removedpg_dump on slave – DETAIL: User query might have needed to see row versions that must be removed

Налаштовував бекап на slave сервері, та зіткнувся з помилкою, яка призводить до падіння бекап процесу. 0 голосов Схожі записи: Rebuild postgres slave replication Репликация mysql – master-slave chroot user for