@devops_ru
DevOps — русскоговорящее сообщество

Общаемся на темы DevOps, мониторинга, метрикам и облакам. Новости. См. также: @kubernetes_ru, @docker_ru, @rkt_ru, @coreos_ru, @ceph_ru, @openstack_ru Новости: @devops_news Вакансии и поиск работы: @devops_jobs Рекомендуем сразу отключить уведомления.

5075 members

Архив канала @devops_ru 27 апреля 2016 г.

08:52:31 ДП
User 151230728
Dan - РБК?
08:57:15 ДП
User 151230728
Во пробегала 220вольт в Питере..
08:57:16 ДП
User 151230728
2.Perl-developer

Обязанности:
Разработка и поддержка web-приложений, web-сервисов.
Требования:
Вы обладаете широкой профессиональной эрудицией (знанием архитектуры компьютерных сетей, принципов построения современных web-сервисов и т. д.);
Умеете разбираться в legacy-коде;
Имеете опыт web-разработки на Perl от 2 лет и отлично его знаете;
09:03:59 ДП
User 128054979
User 2543313
Раскатка контейнеров под разбор очереди в LXC энсиблом тупо может занять 40 минут или час
пакетируй все это барахло
09:04:35 ДП
User 83323330
>Умеете разбираться в legacy-коде;
ггг
09:08:30 ДП
User 71678123
/stat@comstatbot
09:08:30 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
10:16:04 ДП
User 132982472
/stat@comstatbot
10:16:04 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
10:16:07 ДП
User 132982472
/stat@comstatbot
10:16:07 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
10:27:44 ДП
User 139588066
/stat@comstatbot
10:27:44 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
11:33:35 ДП
User 151230728
Зацените плиз доклад http://devconf.ru/ru/offers/offer/117 -может это в devops секцию?
devconf.ru/ru/offers/offer/117
Nginx - всем известен как HTTP-сервер статики и прокси сервер для backend. А я буду говорить о том как с помощью Nginx (OpenResty сборка) управлять динамическим контентом страницы используя Lua, Ssi и Redis. Расскажу: - Что такое OpenResty - С какими проблемами мы столкнулись - Почему мы отказались от стандартного инструмента кэширования nginx - Как мы сами управляем кэшированием для nginx - Как разбить страницу на самостоятельные микро-компоненты - Профит - Tips&Tricks
12:45:17 ПП
User 73759294
Норм, жду когда аналогичное на haproxy появится )
12:46:02 ПП
User 196895
nginx апнулся
12:46:22 ПП
12:47:07 ПП
User 104776915
а че Ssi и lua начало нормально работать вместе?
12:59:08 ПП
User 82568360
lua весьма прилично работает
01:00:18 ПП
User 104776915
не.. там известные проблемы c ssi , оно не умеет параллельно выполнсяться
01:00:41 ПП
User 104776915
а последовательный ssi   не  круто
01:02:03 ПП
User 104776915
у меня был такой сервис,    оно под нагрузкой работает хреновенько , lua   и redis  начинают тупить  ,  соединения рвутся  и нагрузка  адовая  на lua и на редис
01:02:47 ПП
User 104776915
переписал все на  go + tarantool и забыл про подобные  проблемы,   получиы больший перфоманс и низкуд нагрузку на железо
01:03:35 ПП
User 2543313
User 151230728
Зацените плиз доклад http://devconf.ru/ru/offers/offer/117 -может это в devops секцию?
devconf.ru/ru/offers/offer/117
Nginx - всем известен как HTTP-сервер статики и прокси сервер для backend. А я буду говорить о том как с помощью Nginx (OpenResty сборка) управлять динамическим контентом страницы используя Lua, Ssi и Redis. Расскажу: - Что такое OpenResty - С какими проблемами мы столкнулись - Почему мы отказались от стандартного инструмента кэширования nginx - Как мы сами управляем кэшированием для nginx - Как разбить страницу на самостоятельные микро-компоненты - Профит - Tips&Tricks
Можно
01:03:43 ПП
User 2543313
Хотя это и не девопс
01:03:50 ПП
User 2543313
Но мы не против про это послушать
01:04:16 ПП
User 2543313
Опенрести интересная тема
01:04:23 ПП
User 2543313
А делают ее в России три человека
01:04:34 ПП
User 2543313
Пусть читает в любой секции, я буду слушать обязательно
01:25:07 ПП
User 2984445
И всё-таки к вопросу о поиске девопсов https://hh.ru/vacancy/16757767 http://icanchoose.ru/company/onetwotrip/job/dev-ops-engineer/
hh.ru/vacancy/16757767
Вакансия DevOps Engineer. Зарплата: не указана. Москва. Требуемый опыт: 1–3 года. Полная занятость. Дата публикации: 18.04.2016.
01:28:55 ПП
User 73759294
этож руководитель эксплуатации
01:29:46 ПП
User 2984445
Ну - руководить не нужно, нужно автоматизировать
01:29:53 ПП
User 2984445
и развивать
01:29:53 ПП
User 2543313
Стек технологий интересный
01:30:10 ПП
User 2543313
Москва, у вас там какая-то беда с цифрами
01:30:19 ПП
User 2543313
180 потолка на такой позиции это ой
01:30:26 ПП
User 2984445
Да, стараемся. Хотя некоторые от ноды плюются. А что с ними не так?
01:30:43 ПП
User 73759294
от 180 вроде, не? :)
01:31:00 ПП
User 2543313
до 180 же
01:31:18 ПП
User 2543313
Хотя - если там все уже наколбашено
01:31:27 ПП
User 2543313
А там, поди, все уже и наколбашено
01:31:38 ПП
User 73759294
тогда может и так
01:31:49 ПП
User 2984445
Сделано прилично и команда есть
01:31:57 ПП
User 2543313
То тогда норм, человек всему обучится и дальше двинет со временем
01:32:10 ПП
User 2543313
А тому, кто уже умеет - не норм
01:32:13 ПП
User 2543313
Челленжа нет
01:32:22 ПП
User 2984445
Можно обсуждать и больше
01:32:33 ПП
User 2543313
Так а смысел?
Челленж в чем?
01:32:49 ПП
User 2543313
Я понимаю - строить это все с нуля
01:32:56 ПП
User 2543313
Но по второму разу ведь и это не челленж
01:33:08 ПП
User 73759294
переделать на пхп/ансибл/lxc )
01:33:27 ПП
User 2984445
Мультидц сделать лучше, больше резать на микросервисы, path2production для новых проектов уменьшать
01:33:56 ПП
User 2984445
больше засунуть в докер
01:34:19 ПП
User 2984445
Повыпилить шеф
01:34:21 ПП
User 2543313
OpenTSDB указан, а HBase не указан
01:34:21 ПП
User 122751044
прикольно у вас там, а на митапе не хотите про это рассказать?
01:34:25 ПП
User 2543313
Это как так
01:34:31 ПП
User 2543313
HBase обязан быть
01:34:38 ПП
User 71400098
User 2984445
И всё-таки к вопросу о поиске девопсов https://hh.ru/vacancy/16757767 http://icanchoose.ru/company/onetwotrip/job/dev-ops-engineer/
hh.ru/vacancy/16757767
Вакансия DevOps Engineer. Зарплата: не указана. Москва. Требуемый опыт: 1–3 года. Полная занятость. Дата публикации: 18.04.2016.
И как долго вы уже ищете? Какой процент откликов ко времени?
01:34:48 ПП
User 2543313
У OpenTSDB же нет другого бэкенда?
01:35:00 ПП
User 405474
хороший вопрос

вот мы устанавливаем пакеты ansible или допустим обновляем что-нить и тут у нас между control machine и хостом пропадает связь.

как бы избежать такого? есть какое-то решение уже?

мне пока в голову пришёл только mosh...
01:35:24 ПП
User 2543313
User 2984445
Мультидц сделать лучше, больше резать на микросервисы, path2production для новых проектов уменьшать
А что в качестве primary storage у вас - RIAK?
01:35:31 ПП
User 2543313
Бизнес-данные в чем хранятся?
01:37:29 ПП
User 2984445
User 2543313
OpenTSDB указан, а HBase не указан
Ну он явно есть, но не упомянули, ибо это только для мониторинга.
01:38:06 ПП
User 2543313
User 2984445
Ну он явно есть, но не упомянули, ибо это только для мониторинга.
Ага
Мне это интересно с точки зрения поддержки нескольких распределенных хранилищ
01:38:06 ПП
User 2984445
В riak, redis и BI в vertica, но девопсам она не нужна
01:38:21 ПП
User 2543313
Сам я такого стараюсь избегать, но до конца не выходит
01:38:48 ПП
User 2984445
User 122751044
прикольно у вас там, а на митапе не хотите про это рассказать?
Думаем об этом рассказать, один из наших на рутконфе про босун хочет выступить
01:39:22 ПП
User 2984445
http://rootconf.ru/2016/abstracts/2054
rootconf.ru/2016/abstracts/2054
Доклад о Bosun (http://bosun.org) — мониторинге от StackExchange и его использовании в https://www.onetwotrip.com/ за 1,5 года. Строить мониторинг сложно, не работает подход "посадить людей смотреть на дашборды" либо обнаруживать аномалии во всех данных. Алерты должны соответствовать реальности и проверять сложные сценарии. В Bosun, как и во многих современных продуктах, метрики (данные) ортогональны правилам (коду) обнаружения алертов. Это позволяет гораздо быстрее создавать и настраивать правила, в том числе тестируя их на данных из прошлого. Вместо итераций в дни или недели теперь минуты.Workflow настройки мониторинга точно такой же, как у всех остальных разработчиков, причём они сами могут принимать участие без помощи админов, так же создавая оповещения, перенаправляя инциденты на себя. Таким образом принимая ответственность за то, что они выкатывают в продакшн.В Bosun продуманная схема данных, а также мощный язык их обработки, напоминающий R/pandas. В несколько строк пишутся map/reduce выражения, проверяющие…
01:39:26 ПП
User 2543313
О
А про мойру уже кто-то рассказывает на рутконфе?
01:39:31 ПП
User 122751044
да, я видел
01:39:37 ПП
User 2543313
Надо пойти заявки глянуть, что ли
01:39:50 ПП
User 83323330
граждане,  а что вы скажете про coreos & rkt?
01:40:28 ПП
User 122751044
да Саша иди, а то мы с Костей за весь ПК отдуваемся, а ты холявишь :)
01:40:51 ПП
User 2543313
User 122751044
да Саша иди, а то мы с Костей за весь ПК отдуваемся, а ты холявишь :)
Вот это щас мне стыдно было
01:41:13 ПП
User 122751044
и докладчиков зови, а то мало их :)
01:41:38 ПП
User 2984445
Ещё из интересного у нас - apache brooklyn и cfssl на этапе внедрения
01:42:03 ПП
User 2984445
В общем - кому хочется челленджей - их у нас есть :)
01:43:17 ПП
User 2543313
User 122751044
и докладчиков зови, а то мало их :)
Попробую коллегу из Контура притащить
01:43:23 ПП
User 2543313
Ну и это - я сам подамся
01:44:09 ПП
User 122751044
а давайте мы у вас митап проведем, заодно офис и свои вакансии порекламируете
01:44:35 ПП
User 122751044
и про себя расскажете, какие у вас челенджи
01:45:43 ПП
User 2984445
User 122751044
а давайте мы у вас митап проведем, заодно офис и свои вакансии порекламируете
Думаем про это, сидячих мест пока не очень, но внутренние уже делаем доклады
01:46:06 ПП
User 122751044
ага, пиши, как надумаете
01:46:30 ПП
01:57:13 ПП
User 125983057
О, пока мы тут про доклады говорим. У меня есть одна офигительная история, которую я иногда рассказываю чувствительным людям под пиво. Про то, как мы за сутки выдали кастомеру 1000 железных серверов - в начале суток было железо с завода в стойках, в конце - тысяча убунт у кастомера. В ней в целом ничего девопсного нет, это какая-то простая последовательность тривиальных действий, но все вместе оно как бы складывается в интересную картину. Кто-то знает подходящую конференцию\площадку, чтобы такое рассказать? Или всем пофиг?
01:57:42 ПП
User 2543313
Эпплайся на рутконф
01:57:46 ПП
User 2543313
И на девконф
01:57:54 ПП
User 2543313
Пойдешь на девконфе в секции девопс
01:58:39 ПП
User 125983057
я к сожалению на бунинские чтения не попадаю, там какие-то даты неудобные. и это совсем не девопс. это какая-то секция дрочки вприсядку должна быть, не знаю где про такое принято говорить
02:00:12 ПП
User 2543313
Давай на девконф
02:00:18 ПП
User 2543313
В секцию девопс
02:00:23 ПП
User 2543313
Верно тебе говорю
02:00:48 ПП
User 2543313
То, что это не девопс - похер, мы лучше знаем, что девопс, а что нет
02:00:57 ПП
User 2543313
Теперь это девопс, вот
02:02:04 ПП
User 154348275
кому-то интересно как мигрировать с динамо на аэроспайк и пару раз его сломать ?
02:02:43 ПП
User 4627228
Aerospike кто то уже крутить на проде?)
02:02:56 ПП
User 122751044
на рутконфе можно про дрочку вприсядку, можно на митапе рассказать тоже
02:03:08 ПП
User 154348275
да его готовить надо.. а так вполне стабилен
02:03:47 ПП
User 125983057
User 4627228
Aerospike кто то уже крутить на проде?)
многие. Я думаю, что у меня суммарно кастомеров наберется стоек на 12 с этим добром.
02:04:50 ПП
User 122751044
Аэроспайк классный, я видел несколько клиентов где аэроспайк в проде - отлично работает
02:05:51 ПП
User 122751044
вот тут есть обсуждение моими коллегами аэроспайка http://devopsdeflope.ru/posts/2015/017.html
devopsdeflope.ru/posts/2015/017.html
02:09:07 ПП
User 122751044
и еще тут http://devopsdeflope.ru/posts/2015/018.html
02:14:13 ПП
User 2543313
User 4627228
Aerospike кто то уже крутить на проде?)
Мы
02:14:49 ПП
User 2543313
User 122751044
на рутконфе можно про дрочку вприсядку, можно на митапе рассказать тоже
Особенно, если он 150 литров коньяка привезет
02:15:00 ПП
User 2543313
Пусть читает тогда о чем хочет
02:16:00 ПП
User 122751044
ну не, так нас не купишь :) что ты сразу все козыри выдал)
02:53:10 ПП
User 83323330
граждане, а что за alpine linux?
02:55:18 ПП
User 40348910
микро линукс для докера
02:55:36 ПП
User 122751044
это дистрибутив линукса с минимальным футпринтом по памяти
02:55:53 ПП
User 122751044
необязательно для докера, для эмбеда его можно юзать
02:55:54 ПП
User 40348910
скорее по диску
02:55:55 ПП
User 405474
User 125983057
О, пока мы тут про доклады говорим. У меня есть одна офигительная история, которую я иногда рассказываю чувствительным людям под пиво. Про то, как мы за сутки выдали кастомеру 1000 железных серверов - в начале суток было железо с завода в стойках, в конце - тысяча убунт у кастомера. В ней в целом ничего девопсного нет, это какая-то простая последовательность тривиальных действий, но все вместе оно как бы складывается в интересную картину. Кто-то знает подходящую конференцию\площадку, чтобы такое рассказать? Или всем пофиг?
RootConf однозначно
03:07:49 ПП
User 101025818
User 125983057
О, пока мы тут про доклады говорим. У меня есть одна офигительная история, которую я иногда рассказываю чувствительным людям под пиво. Про то, как мы за сутки выдали кастомеру 1000 железных серверов - в начале суток было железо с завода в стойках, в конце - тысяча убунт у кастомера. В ней в целом ничего девопсного нет, это какая-то простая последовательность тривиальных действий, но все вместе оно как бы складывается в интересную картину. Кто-то знает подходящую конференцию\площадку, чтобы такое рассказать? Или всем пофиг?
Мне интересно
03:21:53 ПП
User 83323330
коллеги жгут: "у меня дедушка тоже устарел, но это не значит что его надо сразу закапывать"
03:40:57 ПП
User 104442434
Тут такое дело что аналогия некорректная. Иногда как можно быстрее закопать старое ПО жизненно важно для компании
03:41:15 ПП
User 104442434
Об этом постоянно рассказывает главный девопс России
03:44:12 ПП
User 2984445
User 104442434
Об этом постоянно рассказывает главный девопс России
А кто главный? Греф чтоль?
03:44:36 ПП
User 104442434
Хаха именно 😂
03:44:47 ПП
User 104442434
Как раз его и имел в виду
03:44:47 ПП
User 51019704
User 2984445
А кто главный? Греф чтоль?
03:57:50 ПП
User 75133672
User 71400098
Сам по себе конфиг был небольшой. Но разбит на стопицот файлов типа "ssl_inc.conf"
всегда так делаю, и у других админов и прогеров не было проблем.
04:00:19 ПП
User 71400098
Какой смысл его разбивать, если он генерируется с помощью Ansible/Puppet/Chef/Whatever? Или вы не используете системы для провижена.... ? 🙈
04:10:33 ПП
User 75133672
User 40431235
я тоже никак не пойму зачем в имейлах есть html когда все можно слать в plain text
троянов в тхт плохо слать же
04:11:17 ПП
User 75133672
User 71400098
Какой смысл его разбивать, если он генерируется с помощью Ansible/Puppet/Chef/Whatever? Или вы не используете системы для провижена.... ? 🙈
а зачем генерить в 1 лапшефайл, если куда удобнее по файлу на хост + вынести отдельно конфиги
04:39:09 ПП
User 405474
User 75133672
всегда так делаю, и у других админов и прогеров не было проблем.
эээ Денис.... Как беееее тебе сказаааааать
04:40:01 ПП
User 405474
хорошо когда разнесены файлики по логическим единицам
04:40:19 ПП
User 405474
а вот когда наоборот - когда конфиг логической единицы разнесены на сотни - это ПИЗДЕЦ.
04:40:28 ПП
User 405474
и ты сделал довольно трудночитаемую штуку
04:52:55 ПП
User 75133672
User 71400098
Вот вам показатель как качественно растет уровень людей при таком подходе.
запили статью на хабр про это )
04:53:06 ПП
User 71400098
Ой вот нет.
04:53:54 ПП
User 75133672
User 405474
а вот когда наоборот - когда конфиг логической единицы разнесены на сотни - это ПИЗДЕЦ.
1 единица это 1 сайт условно. И изменения по нему в гите/свн - сделал лог и смотришь, что, кем и когда менялось. С 1 файлом это жопа.
04:54:35 ПП
User 75133672
плюс такие вещи как конфиги прокси-пасса правильнее вынести отдельно, чтобы потом не править 100500 файлов
04:55:00 ПП
User 75133672
да, настройки гзипа можно оставить в главном (или одном отдельном) файле
04:55:37 ПП
User 75133672
а собирать все инклуды в 1 общий файл.. можно, но зачем?
04:55:42 ПП
User 75133672
на выкатке
04:56:22 ПП
User 71400098
Я бы вынес только что то типа - 500 строк rewrite'ов например.
04:56:31 ПП
User 71400098
Остальное не занимает столько места чтобы бить по файлам.
04:57:18 ПП
User 75133672
логически разбить, а не потому что "столько места"
04:57:41 ПП
User 75133672
нгинх на старте всё-равно себе соберёт общий конфиг
04:57:53 ПП
User 71400098
Разве это так же не отвечет требованию "логически" ?
04:58:01 ПП
04:58:08 ПП
User 71400098
Рерайты одно. Остальной конфиг виртуалхоста - другое.
04:58:19 ПП
User 71400098
Что там выносить то? Объясните мне.
04:58:21 ПП
User 75133672
поправил я 1 хост из 1000, и понятно сразу по факту коммита, что менялось
04:58:35 ПП
User 75133672
как минимум - в вебе есть тьма движков
04:58:46 ПП
User 75133672
плюс разная структура, в том числе историческая
04:58:56 ПП
User 71400098
Блин да нет же. Я имею ввиду когда у тебя файл виртуалхоста для одного хоста разбирают на стопицот подфайлов
04:58:56 ПП
User 75133672
и уже не получается общий шаблон
04:59:05 ПП
User 71400098
А не о том что ВСЕ виртуалхосты надо сунуть в один файл.
04:59:11 ПП
User 75133672
плюс вот этому сайту мы отдаём статику так, а этому иначе
04:59:22 ПП
04:59:32 ПП
User 75133672
на тьму смысла нет
05:00:12 ПП
User 75133672
но например встречается 4 раза proxy_pass -  это кандидат на вынос именно потому, что "плодить сущности" плохо и менять надо будет 4 места а не одно.
05:00:33 ПП
User 75133672
конечно, общие вещи можно описать 1 раз
05:01:07 ПП
User 71400098
Апстримы тоже выношу. Но на этом все :P
05:01:11 ПП
User 75133672
или логгинг - суть нгинха в том, что указал аксес лог - всё, перекрыли лог уровней выше. А теперь надо добавить лог типа isp_stat
05:01:28 ПП
User 57648988
nginx config is optimised for copy-paste — Сысоев
05:01:45 ПП
User 71400098
Во во, я выше писал об этом :)
05:02:01 ПП
User 75133672
User 57648988
nginx config is optimised for copy-paste — Сысоев
и логгинг через жопу, жа
05:02:49 ПП
User 57648988
http://www.slideshare.net/profyclub_ru/nginx-nginx
use copy-paste!
slideshare.net/profyclub_ru/nginx-nginx
Доклад Игоря Сысоева на HighLoad++ 2014.
05:03:07 ПП
User 75133672
вот надо добавить во все сайты + лог "обратились к домену", условно. То есть это искать ВСЕ access_log и ставить после него ещё строку. Такое проще вынести в 1 инклуд и туда вписать ещё строку. Всё.
05:03:12 ПП
User 75133672
да я в курсу
05:03:31 ПП
User 75133672
всё-равно плохой совет, весьма холиворный и черезжопный
05:04:05 ПП
User 75133672
вот было бы наследование логов - было бы проще
05:04:14 ПП
User 75133672
и так ещё целый ряд опций себя ведёт
05:04:37 ПП
User 75133672
цель понятна конечно, разные секции в разные логи пилить
05:04:44 ПП
User 75133672
но пример выше.
05:07:57 ПП
User 405474
User 75133672
1 единица это 1 сайт условно. И изменения по нему в гите/свн - сделал лог и смотришь, что, кем и когда менялось. С 1 файлом это жопа.
да. но когда начинают в этот 1 сайт инклудить всякие commons.conf и прочее размазывая в итоге конфиг одного сайта по куче файлов - это плохо
05:11:26 ПП
User 27532125
Пацаны
05:12:01 ПП
User 27532125
https://github.com/mentalistgo/seth/blob/master/telegram-bot-welcomer.js
github.com/mentalistgo/seth/blob/master/telegram-bot-welcomer.js
05:12:01 ПП
User 27532125
Вот бот
05:12:01 ПП
User 27532125
в telegram api есть метод new_chat_member
05:12:01 ПП
User 27532125
я хочу чтоб бот говорил когда кто-то заходить в чат в первые
05:12:01 ПП
User 27532125
sendPhoto(chatId, photo, options = {}) {
    const opts = {
      qs: options,
    };
    opts.qs.chat_id = chatId;
    const content = this._formatSendData('photo', photo);
    opts.formData = content[0];
    opts.qs.photo = content[1];
    return this._request('sendPhoto', opts);
  }
05:12:37 ПП
User 405474
а есть тут люди с постгресом?
05:12:44 ПП
User 405474
есть каверзные (довольно) вопрос.
05:12:53 ПП
User 405474
во всяком случае из документации я не понял как это работает
05:13:33 ПП
User 27532125
User 405474
во всяком случае из документации я не понял как это работает
https://github.com/yagop/node-telegram-bot-api
github.com/yagop/node-telegram-bot-api
Telegram Bot API for NodeJS. Contribute to yagop/node-telegram-bot-api development by creating an account on GitHub.
05:14:19 ПП
User 405474
User 27532125
https://github.com/yagop/node-telegram-bot-api
github.com/yagop/node-telegram-bot-api
Telegram Bot API for NodeJS. Contribute to yagop/node-telegram-bot-api development by creating an account on GitHub.
зачем ты мне это прислал?
05:14:41 ПП
User 27532125
Думал мне говоришь)
05:15:39 ПП
User 71400098
User 405474
а есть тут люди с постгресом?
Проще написать вопрос сразу )
05:16:03 ПП
User 405474
вопрос такой
05:17:05 ПП
User 405474
как работает pg_start_backup(label text [, fast boolean ])  / pg_start_backup(label text [, fast boolean ])
05:17:13 ПП
User 405474
что конкретно происходит после start_backup
05:17:21 ПП
User 405474
и после того как stop_backup скажешь
05:18:36 ПП
User 405474
вот чистяков утверждает что первое делает "отмену применения валов к текущему кластеру" а вторая команда наоборот, вклчает это применение
05:18:51 ПП
User 405474
задача на выходе - получить консистентную копию базы на слейве и запустить его
05:20:15 ПП
User 154348275
ну оно подходит под такую формулировку
05:20:41 ПП
User 71400098
Так или иначе используя pg_*_backup получится конситентный бекап. Я вот щас в доку еще раз глянул, там вроде все прописано. Вплоть до того какие файлы создаются
05:22:06 ПП
User 71400098
Я вот здесь смотрел: http://www.postgresql.org/docs/9.4/static/functions-admin.html#FUNCTIONS-ADMIN-BACKUP-TABLE под таблицей.
05:23:23 ПП
User 405474
User 71400098
Так или иначе используя pg_*_backup получится конситентный бекап. Я вот щас в доку еще раз глянул, там вроде все прописано. Вплоть до того какие файлы создаются
я вот не уверен что оно так получается (то есть наверное получается). хочется в точности понимать что будет делать движок pg. то что написано под таблицей я, разумеется, прочитал. но не понял как из этого следует что например rsyncнув каталог с базой на другой сервер и потом валы я получу именно точную копию
05:24:08 ПП
User 71400098
Там же написано что после stop оно начинает писать в другой файл лог
05:55:53 ПП
User 114919556
Чистяков правду говорит
05:56:07 ПП
User 114919556
перестает применятся вол на файликах, и можно просто файлики базы взять и копирнуть.
05:56:13 ПП
06:53:06 ПП
User 405474
ну я знаю. не могу найти информацию, а в исходники лазить мне страшно :)
06:59:52 ПП
User 71400098
Можно написать в группу в facebook если уж на то пошло
07:01:24 ПП
User 154348275
User 405474
ну я знаю. не могу найти информацию, а в исходники лазить мне страшно :)
А в чем у тебя сомнения ? в консистентности данных ?
07:01:36 ПП
07:01:47 ПП
User 405474
в конечном итоге я конечно за это беспокоюсь
07:04:27 ПП
User 154348275
http://highload.guide/blog/asynchronous-replication.html тут чуть инфы про постгрес реплику есть
highload.guide/blog/asynchronous-replication.html
Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим "авто", поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра – это гораздо более глобальная задача, чем просто настройка nginx.
07:04:41 ПП
User 154348275
а дальше реально в группу в фейсбук писать
07:05:27 ПП
User 154348275
т.к wal логи это реально физ репликация данных и слейв является бинарной копией мастера с точностью до задержки репликации
07:07:36 ПП
User 104477
Это transaction log или что-то глубже?
07:10:06 ПП
User 128054979
после pg_start_backup можно делать rsync файлов базы, потом stop_backup и готово. Так в яндексе почту бэкапят, если я всё правильно понял.
07:14:17 ПП
User 154348275
User 104477
Это transaction log или что-то глубже?
это глубже, это именно изменения дата файлов
07:14:46 ПП
User 405474
@bamaboy а всё это время база в wal пишет?
07:16:53 ПП
User 128054979
@amavlyanov да, просто создается чекпойнт
07:17:40 ПП
User 154348275
проще реально смоделировать ситуацию и посмотреть что в логах при этом пишет постгрес
07:17:44 ПП
User 128054979
т.е. бэкап будет консистентен на момент его начала
07:18:05 ПП
User 405474
то есть когда slave делаешь надо потом на него эти wal переписать получается, так?
07:19:48 ПП
User 128054979
http://dba.stackexchange.com/questions/30609/postgresql-can-i-do-pg-start-backup-on-a-live-running-db-under-load
dba.stackexchange.com/questions/30609/postgresql-can-i-do-pg-start-backup-on-a-live-running-db-under-load
Our established replication has broken ("requested WAL segment has already been removed" during downtime) We cannot easily stop the master again. Can we do pg_start_backup(), rsync ${PGDATA}/ m...
07:23:50 ПП
User 4627228
С чем меньше проблем на на Ubuntu - Heka или Logstash?
07:27:46 ПП
User 18521410
живем на 2х версиях logstash, до 25k event/sec - полет нормальный
07:32:11 ПП
User 43362802
с fluentd
07:37:45 ПП
User 154348275
User 405474
то есть когда slave делаешь надо потом на него эти wal переписать получается, так?
да подложить оставшиеся, либо он сам запросит с мастера чего нехватает
09:51:36 ПП
User 140231806
User 154348275
да подложить оставшиеся, либо он сам запросит с мастера чего нехватает
Или возьмёт с архива, если у мастера уже нету