@devops_ru
DevOps — русскоговорящее сообщество

Общаемся на темы DevOps, мониторинга, метрикам и облакам. Новости. См. также: @kubernetes_ru, @docker_ru, @rkt_ru, @coreos_ru, @ceph_ru, @openstack_ru Новости: @devops_news Вакансии и поиск работы: @devops_jobs Рекомендуем сразу отключить уведомления.

5075 members

Архив канала @devops_ru 3 мая 2016 г.

07:37:12 ДП
User 98557361
На ноде создаем мастер-процесс (используя стандартный cluster), потом создаем N slave'ов. Каждый инстанс крутится на своем ядре/процессоре без переключения контекста. Разве это плохо? По MySQL так же уровень аргументации  = "дно" (т.е. ее нет).
08:05:18 ДП
User 12493585
User 98557361
На ноде создаем мастер-процесс (используя стандартный cluster), потом создаем N slave'ов. Каждый инстанс крутится на своем ядре/процессоре без переключения контекста. Разве это плохо? По MySQL так же уровень аргументации  = "дно" (т.е. ее нет).
#postgres а у postgres конечно нет. я потратил рабочий день чтобы понять к концу дня,  что я слабо понимаю работает вшивая аутентификация авторизация. картинки в голове нет до сих пор. пример "как посмотреть" есть только в самом начале описания ролей. и он конечно только о листинге ролей. вообще в доке крайне мало примеров или они не показательны. или вот чарсеты - я вообще нифига с куцой доки по постгресу не понял. как тупо utf-8 поднять из соответствующего раздела не понятно. я кстати сделал LC_CTYPE  и LC_COLLATE равными C.UTF-8 и понятия не имею правильно ли это. гугление показало, что большинство тоже не понимает и делает "хуяк-продакшен". тут же вылезла проблема, что при создании  базы нельзя указать энкодинг, если не template0. что за template я вообще из опять же соответствующего раздела не понял. это видимо надо что-то знать из других разделов, но отсылки нет. Не знаю про уровень "дно". у меня именно такое впечатление по постгресу.
08:15:24 ДП
User 98557361
User 12493585
#postgres а у postgres конечно нет. я потратил рабочий день чтобы понять к концу дня,  что я слабо понимаю работает вшивая аутентификация авторизация. картинки в голове нет до сих пор. пример "как посмотреть" есть только в самом начале описания ролей. и он конечно только о листинге ролей. вообще в доке крайне мало примеров или они не показательны. или вот чарсеты - я вообще нифига с куцой доки по постгресу не понял. как тупо utf-8 поднять из соответствующего раздела не понятно. я кстати сделал LC_CTYPE  и LC_COLLATE равными C.UTF-8 и понятия не имею правильно ли это. гугление показало, что большинство тоже не понимает и делает "хуяк-продакшен". тут же вылезла проблема, что при создании  базы нельзя указать энкодинг, если не template0. что за template я вообще из опять же соответствующего раздела не понял. это видимо надо что-то знать из других разделов, но отсылки нет. Не знаю про уровень "дно". у меня именно такое впечатление по постгресу.
так я и говорю, что MySQL не плох (как и NodeJS), и то, что там написали - это диванные мысли ("MySQL is a database" - это же сарказм). По поводу Postgress могу тоже набросить: pgBouncer в 2016 году - это дно марианской впадины.
08:21:54 ДП
User 114919556
Ну не совсем.
08:22:22 ДП
User 114919556
Когда мы сталвкиваемся с задачей "а что же там внутри происходит и почему так происходит" в ПГ гораздо больше инструментов, позволяющих это понять.
08:28:22 ДП
User 12493585
User 114919556
Когда мы сталвкиваемся с задачей "а что же там внутри происходит и почему так происходит" в ПГ гораздо больше инструментов, позволяющих это понять.
И там работает реплика. В MySQL это сложно назвать работой. И если вот эта тема с json и его индексацией работает, это реально конкуренция couchdb и mongodb. Ну т.е. у него есть хорошие стороны. Но это точно не документация :)
08:32:23 ДП
User 114919556
В реплики mysql нету слотов если вы про них. Да, увы. В остальном реплика работает вменяемо, и то как она работает из коробки, лучше и проще чем у ПГ.
08:32:45 ДП
User 114919556
Если уж говорить про json то никакой конкуренции он монге составить не может, если вы пользовали современную монгу.
08:37:10 ДП
User 98557361
postgress не имеет смысла сравнивать с mongodb, совершенно разные субд, для разных целей. И если вы уж так захотели сравнить, то сравните, например, с rethinkdb. У rethinkdb асинхронные драйвера (с замечательной идеей формирования AST запроса на клиенте), а реплику и шардинг настроить проще простого, и оно работает.
08:39:24 ДП
User 98557361
… хотя тоже смысла нет :D rethinkdb так же документо-ориентированная
08:44:41 ДП
User 12493585
User 114919556
В реплики mysql нету слотов если вы про них. Да, увы. В остальном реплика работает вменяемо, и то как она работает из коробки, лучше и проще чем у ПГ.
Да причем тут слоты. У меня реплика MySQL то просто дохнет "почему-то", то не успевает догнать, то электричество выключится
08:45:07 ДП
User 12493585
User 114919556
Если уж говорить про json то никакой конкуренции он монге составить не может, если вы пользовали современную монгу.
нет не пользовал. но вчера погуглил там про индексы и всё такое
08:45:39 ДП
User 12493585
User 98557361
… хотя тоже смысла нет :D rethinkdb так же документо-ориентированная
это и сравниваю. сравниваю тип данных jsonb
08:52:47 ДП
User 114919556
Про мускуль претензий не понял. Эт чо, у вас свет выключается а mysql плохой ? ) Догнать не успевает, и постгря иногда отстает тоже, так что увы. Дохнет "почему-то" это от нежелания разобраться наверно.
08:56:51 ДП
User 114919556
В ПГ дохрена легаси говна всякого уж извините. Да оно ок работает, но их "тенденции и подход" какие то скажем так "законстенелые" местами. И это их азявление проскакивавшее в рассылке что они кластер будут пилить на коросинке... ну хз.
09:06:24 ДП
User 12493585
User 114919556
Про мускуль претензий не понял. Эт чо, у вас свет выключается а mysql плохой ? ) Догнать не успевает, и постгря иногда отстает тоже, так что увы. Дохнет "почему-то" это от нежелания разобраться наверно.
ну там с отставанием Царев же расписывал где-то убедительно. В MySQL запись в два места (mysql-bin лог и innodb лог) и они иногда - упс. я не совсем знаю внутреннее устройство, но ему верю (он как-то мне патчик для mysql делал) - говорит и многотредовость не спасает. хотя, кстати, у меня на практике percona отставать перестала. понятия не имею с чем это связано
09:08:07 ДП
User 2543313
Но послушайте
09:08:24 ДП
User 2543313
В MySQL же вообще нет репликации в привычном простому человеку понимании этого слова
09:08:40 ДП
User 12493585
User 114919556
Про мускуль претензий не понял. Эт чо, у вас свет выключается а mysql плохой ? ) Догнать не успевает, и постгря иногда отстает тоже, так что увы. Дохнет "почему-то" это от нежелания разобраться наверно.
с разобраться согласен. но когда у тебя на боевом сервере вдруг приходит ошибка "что-то там в последовательности" - я хз в какое место смотреть
09:09:22 ДП
User 12493585
User 2543313
В MySQL же вообще нет репликации в привычном простому человеку понимании этого слова
мммм... насколько я понимаю они по сути слабо различаются с postgres. тоже передача лога
09:09:31 ДП
User 114919556
@demeliorator каждый в слово реаликация вкладывает свое )))
09:10:07 ДП
User 71400098
User 12493585
с разобраться согласен. но когда у тебя на боевом сервере вдруг приходит ошибка "что-то там в последовательности" - я хз в какое место смотреть
А можно по-подробнее?
09:10:28 ДП
User 12493585
User 71400098
А можно по-подробнее?
нет, уже полгода стоит перкона, с ней такого не было ещё
09:10:30 ДП
User 91730050
@demeliorator что такое репликая в простом для понимая человеку смысле?
09:11:41 ДП
User 114919556
User 12493585
мммм... насколько я понимаю они по сути слабо различаются с postgres. тоже передача лога
отличаются способами хранения данных в этом логе.
09:11:51 ДП
User 2543313
User 91730050
@demeliorator что такое репликая в простом для понимая человеку смысле?
См. доклад Олега Царева
09:11:52 ДП
User 12493585
User 12493585
нет, уже полгода стоит перкона, с ней такого не было ещё
но до этого намаялся. раз в месяца два какая-нибудь кака вылезала. и каждый раз невовремя. и между ДЦ значит перекидываешь 50gb потом
09:12:07 ДП
User 12493585
User 114919556
отличаются способами хранения данных в этом логе.
ну вот да
09:12:22 ДП
User 2543313
Применение WAL на втором сервере, если вкратце
09:12:40 ДП
User 2543313
А не хранение master coordinates в текстовом файле :(
09:12:58 ДП
User 91730050
понятно, из обрасти я все знаю не скажу, и если что см. **источник**
09:14:09 ДП
User 114919556
User 91730050
понятно, из обрасти я все знаю не скажу, и если что см. **источник**
хорошо хоть не исходинки ))
09:14:26 ДП
User 91730050
да спасибо :)
09:14:51 ДП
User 12493585
User 2543313
А не хранение master coordinates в текстовом файле :(
чета я не понял что ты сказал и чем применение WAL принципиально отличается от применения лога в MySQL
09:16:34 ДП
User 98557361
Возможно, не по теме, но никто не в курсе, в MaxMind имеются телефонные префиксы стран? Что-то вроде: http://www.itu.int/oth/T0202.aspx?parent=T0202 Не хочется дополнительно тащить инфу из https://github.com/mledoze/countries
09:16:55 ДП
User 2543313
User 91730050
понятно, из обрасти я все знаю не скажу, и если что см. **источник**
Let me гагл ит фор ю
http://www.slideshare.net/tsarevoleg/ss-40969331
slideshare.net/tsarevoleg/ss-40969331
Доклад Олега Царёва с highload 2014
09:17:08 ДП
User 51019704
User 12493585
чета я не понял что ты сказал и чем применение WAL принципиально отличается от применения лога в MySQL
ну в постгре же мастер и реплика бинарно совместимы, в отличие от
09:17:39 ДП
User 91730050
А кто такой Олен Царев?
09:19:23 ДП
User 154348275
там на первых слайдах есть инфа
09:22:11 ДП
User 91730050
пролистал доклад, все равно не понятно вашего утверждения что в MySQL нет репликации, более того доклад доказывает как раз что она есть
09:22:42 ДП
User 91730050
а если ваше понимание репликации немного не сходится с пронимаем других, то вынаверно гений или просто троль :)
09:24:10 ДП
User 2543313
User 91730050
пролистал доклад, все равно не понятно вашего утверждения что в MySQL нет репликации, более того доклад доказывает как раз что она есть
Раз Вы пролистали доклад, Вы, наверное, можете объяснить, как именно работает репликация в MySQL?
09:25:12 ДП
User 196895
User 2543313
Let me гагл ит фор ю
http://www.slideshare.net/tsarevoleg/ss-40969331
slideshare.net/tsarevoleg/ss-40969331
Доклад Олега Царёва с highload 2014
Саша, позволь глупый вопрос "из зала". Что есть "Гномики"? прости пожалуйста )))
09:26:16 ДП
User 2543313
User 196895
Саша, позволь глупый вопрос "из зала". Что есть "Гномики"? прости пожалуйста )))
А это отсылка к бессмертной фразе Макса Лапшина
09:26:32 ДП
User 2543313
Который как-то писал, что в базе данных работают гномики
09:26:39 ДП
User 196895
А... типа магия?
09:26:40 ДП
User 12493585
Давайте проще. На MySQL у меня всё время какие-то проблемы. Ни одна реплика больше двух месяцев не прожила. Ну вот сейчас может быть проживет. Postgres ещё не пробовал (как раз в процессе), но гуглится мнение людей, которые тоже сталкивались с проблемами в mysql, что в Postgres она более железна. Хотя, конечно, это может быть чушью  - например люди говорят, что у postgres дока лучше, чем в MySQL, а на практике она ниже дна
09:26:43 ДП
User 196895
Теперь понимаю )))
09:26:46 ДП
User 2543313
User 196895
А... типа магия?
Так точно
09:26:47 ДП
User 196895
Спасибо 😊
09:28:54 ДП
User 91730050
а зачем вы запоминаете фамилии и имена людей ? типа Лапшина, Царева? или вы записываете их?
09:29:55 ДП
User 2543313
User 91730050
а зачем вы запоминаете фамилии и имена людей ? типа Лапшина, Царева? или вы записываете их?
С какой целью интересуетесь?
09:29:58 ДП
User 125983057
хороший вопрос. Когда общаешься с человеком приятно знать как его зовут и ожидать того же от него
09:30:48 ДП
User 122751044
еще больше фамилий, нам в чате нужны Бартунов, Осипов и Зайцев!
09:31:10 ДП
User 2543313
User 122751044
еще больше фамилий, нам в чате нужны Бартунов, Осипов и Зайцев!
Да!
09:31:31 ДП
User 125983057
и Шетухин!
09:31:50 ДП
User 2543313
User 125983057
и Шетухин!
Не упоминай всуе!
09:32:03 ДП
User 2543313
Призовешь еще
09:32:06 ДП
User 122751044
ну он базы не пишет, но мы знаем, что он всегда с нами)
09:32:28 ДП
User 125983057
Зато он может экспрессивно выразить мнение по любому волнующему общественность вопросу.
09:32:31 ДП
User 125983057
Для чата это важнее.
09:32:52 ДП
User 12493585
погодьте, тут уже я есть )
09:32:54 ДП
User 1092796
В телеграмме нужен функционал reactions, как в слаке
09:33:50 ДП
User 2543313
User 1092796
В телеграмме нужен функционал reactions, как в слаке
09:35:00 ДП
User 1092796
Ну в слаке он не мешает основному флоу чата
09:36:05 ДП
User 122751044
в общем общественно полезно было бы Олегу Цареву написать статью по мотивам доклада
09:36:38 ДП
User 196895
Почитал доклад. По-моему отличный
09:36:42 ДП
User 196895
по репликациям
09:37:19 ДП
User 122751044
ну там немного надо знать о чем речь, чтобы по слайдам смысл понять
09:38:47 ДП
User 196895
мне понравилась идея с гномиками, еще понравилось на 81 слайде вывод о том, что у каждого решения есть свои плюсы, это не может не радовать 😊
09:39:20 ДП
User 12493585
есить не по слайдам. только что закрыл где-то
09:39:35 ДП
User 12493585
чуть ли не на хабре. его же. в блоге мыла за 2015
09:40:13 ДП
User 122751044
кидай сюда, найдешь же в истории
09:48:02 ДП
User 122751044
я тоже нашел https://habrahabr.ru/company/mailru/blog/248845/
habrahabr.ru/company/mailru/blog/248845
В преддверии своего доклада на конференции PGCONF.RUSSIA 2015 я поделюсь некоторыми наблюдениями о важных различиях между СУБД MySQL и PostgreSQL. Этот...
10:00:10 ДП
User 154348275
http://highload.guide/blog/asynchronous-replication.html текст к презентации мб пригодится
highload.guide/blog/asynchronous-replication.html
Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим "авто", поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра – это гораздо более глобальная задача, чем просто настройка nginx.
11:40:03 ДП
User 61055985
Парни, есть ли какой то инструмент для создания очереди на основе postgresql?
11:40:29 ДП
User 51019704
но зачем?
11:40:44 ДП
11:41:01 ДП
User 71400098
Я в свое время тыкал mbus
11:41:05 ДП
User 12493585
User 51019704
но зачем?
а почему нет? все инструменты очередей на самом деле так себе
11:41:10 ДП
User 122751044
https://wiki.postgresql.org/wiki/PGQ_Tutorial
11:41:11 ДП
User 71400098
Но чет все это так стремно выглядит.
11:41:19 ДП
User 59011046
Фанбои постгреса доставляют
11:41:37 ДП
User 71400098
Мы в итоге взяли RabbitMQ и не паримся
11:41:51 ДП
User 51019704
User 12493585
а почему нет? все инструменты очередей на самом деле так себе
чем рэббит плох?
11:42:07 ДП
User 51019704
кроме эрланга
11:42:08 ДП
User 61055985
User 59011046
Фанбои постгреса доставляют
Не фанбой, просто не хочу разводить зоопарк технологий.
11:42:24 ДП
User 71400098
User 61055985
Не фанбой, просто не хочу разводить зоопарк технологий.
Тот самый случай когда стоит добавить технологию.
11:42:45 ДП
User 12493585
User 51019704
чем рэббит плох?
развесистая монструозная система. к которой гуглятся претензии по потере данных
11:43:30 ДП
User 71400098
За 3 года был только 1 network partition
11:43:39 ДП
User 71400098
Больше рпетензий нет
11:43:55 ДП
User 61055985
User 71400098
Тот самый случай когда стоит добавить технологию.
Быстрое изучение темы показало что postgres очень даже подходит для создания очереди, а т.к. основная БД postgres, то почему бы не воспользоваться этим?
11:43:58 ДП
User 51019704
User 12493585
развесистая монструозная система. к которой гуглятся претензии по потере данных
рэббит монструозный? ну хз хз. а про претензии, так они к любой системе гуглятся :)
11:44:24 ДП
User 12493585
User 12493585
развесистая монструозная система. к которой гуглятся претензии по потере данных
и кстати сходу не совсем понятны юзекейсы. очень много клубники и нужна обёртка. непойми как искать проблемы. собственно из-за этого очереди и городят на вещах, для этого слабопредназначенных типа redis. зато там всё понятно, лёгкий вход... и такая же лёгкая конечно потеря данных ;)))
11:44:32 ДП
User 71400098
User 61055985
Быстрое изучение темы показало что postgres очень даже подходит для создания очереди, а т.к. основная БД postgres, то почему бы не воспользоваться этим?
Потому что чтобы из этой очереди читать "мгновернно" вам постоянно базу придется дрочить.
11:44:49 ДП
User 71400098
Блокирующего чтения в этих решениях нет.
11:44:59 ДП
User 12493585
User 51019704
рэббит монструозный? ну хз хз. а про претензии, так они к любой системе гуглятся :)
да монструозный.
11:46:04 ДП
User 61055985
User 71400098
Потому что чтобы из этой очереди читать "мгновернно" вам постоянно базу придется дрочить.
мой use case: один демон получает обновления из telegram bot API и пишет в очередь их, а второй эти обновления обрабатывает
11:46:53 ДП
User 71400098
А... ну так если это бот то можно и на простой таблице сделать.
11:47:18 ДП
User 71400098
Без всяких там pgq, mbus, rabbitmq и прочих.
11:47:35 ДП
User 69343082
/stat@comstatbot
11:47:36 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
11:47:42 ДП
User 69343082
/stat@comstatbot
11:47:42 ДП
User 210944655
comstatbot.xyz/chat/-1001030317489
11:48:38 ДП
User 71400098
Можно еще на редис листах очередь изобрести ))
11:49:05 ДП
User 61055985
User 71400098
А... ну так если это бот то можно и на простой таблице сделать.
Планируемая нагрузка до 1000 пользователей в сутки, которые пересылают друг дргу сообщения через бота, это решение выдержит её?
11:49:47 ДП
User 71400098
Звучит как "Я собираюсь купить Oracle, на моем сайте будет 100 пользователей в сутки. Мне надо тратить 10миллионов на лицензию?"
11:50:18 ДП
User 71400098
Вообще да короче.
11:50:25 ДП
User 61055985
User 71400098
Звучит как "Я собираюсь купить Oracle, на моем сайте будет 100 пользователей в сутки. Мне надо тратить 10миллионов на лицензию?"
Возможно:)
11:50:55 ДП
User 71400098
А если закодишь через адаптеры, то и свичнуться сможешь в любой момент
11:52:04 ДП
User 61055985
User 71400098
А если закодишь через адаптеры, то и свичнуться сможешь в любой момент
Понял, спасибо!
11:54:08 ДП
User 71400098
Сейчас кстати вот думаю, как хорошо что мы в свое время выкинул на помойку поделие именуемое mbus. Потому что проектов стало 6 штук, все они связаны между собой через очереди. Т.е. в этом случае какой то проект стал бы "центровым" для mbus/pgq. Выносить в отдельную базу нет смысла, т.к. точно так же теряется транзакционность.
11:59:20 ДП
User 57648988
User 71400098
Тот самый случай когда стоит добавить технологию.
Что про nsq скажешь? Сетап проще, и без erlang (что и плюс, и минус)
12:00:48 ПП
User 71400098
User 57648988
Что про nsq скажешь? Сетап проще, и без erlang (что и плюс, и минус)
Прочитав первые строки из доки я бы сказал что это больше похоже на ZeroMQ.
12:01:25 ПП
User 57648988
Я на днях на пет-проекте поднял nsq, как-то полегче вышло, чем с RabbitMQ. Помню когда несколько лет назад rabbitmq поднимал, прямо гайд глубоко читал. А с nsq: докер, докер и в продакшн.
12:01:50 ПП
User 57648988
Не скажи, zeromq совсем другое же, там брокера нет, а у nsq брокер есть
12:02:39 ПП
User 57648988
disk persistance есть
12:03:45 ПП
12:03:47 ПП
User 71400098
> messages received are un-ordered
12:04:11 ПП
User 71400098
Спасибо, как нибудь без nsq обойдемся :)
12:04:59 ПП
User 71400098
User 57648988
Не скажи, zeromq совсем другое же, там брокера нет, а у nsq брокер есть
> horizontally scalable (**no brokers**, seamlessly add more nodes to the cluster)
12:05:15 ПП
User 71400098
Так есть брокер или нет?
12:06:33 ПП
User 1092796
А подскажите про dockerfile, правильно ли я понимаю, что писать EXPOSE нужно только для того, чтобы потом можно было запускать контейнер с опцией publish-all?
12:07:06 ПП
User 1092796
это ведь по сути просто добавляет метаинформацию о портах, которые использует приложение?
12:08:15 ПП
User 71400098
User 57648988
Что про nsq скажешь? Сетап проще, и без erlang (что и плюс, и минус)
Роутинга нет на сколько я вижу. Короче не годится для построения сложной шины сообщений.
12:08:59 ПП
User 57648988
Нет классического *централизованного* брокера. Но есть durability.
12:09:50 ПП
User 71400098
User 57648988
Нет классического *централизованного* брокера. Но есть durability.
Так а чем парируешь un-ordered messages и отсутствие роутинга как класс?
12:10:20 ПП
User 71400098
Могу только сделать выводу что rabbitmq и nsq для разных задач должны использоваться и сравнивать их не имеет смысла.
12:10:33 ПП
User 12493585
User 71400098
Роутинга нет на сколько я вижу. Короче не годится для построения сложной шины сообщений.
да хрен с ней с сложной. сложное вообще не нужно
12:10:54 ПП
User 71400098
User 12493585
да хрен с ней с сложной. сложное вообще не нужно
Даже простую не следаешь. Роутинга то нет!
12:13:15 ПП
User 57648988
Да, и правда, разные задачи. А с un-ordered delivery и delivery at least once можно работать. В Amazon SQS то же самое, кстати
12:14:51 ПП
User 12493585
User 71400098
Даже простую не следаешь. Роутинга то нет!
да с очередями в том и проблема - нет простой реализации. всё костыли какие-то
12:17:42 ПП
User 57648988
nsq для простого. Таймаут на обработку по дефолту 1 минута. Обработчики должны быть идемпотенты: если сообщение пришло дважды, то должно либо заигнориться, либо отработать без багов. Сообщения должны быть независимы: например crawling разных страниц.
12:20:33 ПП
User 57648988
А вообще всё это — проблемы distributed mindset. Часто проще забить на всю эту муть и сделать на раббите или другой MQ с упором на 1 мастер, где нет таких заморочек.
12:20:59 ПП
User 71400098
Хотел построить топологию нашего RabbitMQ кластера, но у меня визуалайзер повис
12:21:23 ПП
User 57648988
Интересно 🙂
12:21:51 ПП
User 71400098
Ну точнее, он тупил-тупил и нарисовал все встолбик что ничего не понятно.
12:25:50 ПП
User 71400098
В общем, у нас на данный момент 50 очередей (проектных), 7 проектных exchange'ей, и один глобальный. Если нужна меж-проектная коммуникация то сообщение паблишится в глобальный exchange, дальше летит во все 7 локальных. У каждого проекта свой локальный exchange. Далее сообщение может еще больше раз "расщепиться" и улететь в локальные очереди. Но все так сделано, что каждый проект дефайнит только свой локальный exchange, и свои локальные очереди + биндинги-роутинг - имена событий. Когда во всех проектах запустить конигуратор очередей то получится единая картинка мира так сказать.
12:26:38 ПП
User 71400098
Я пока не знаю что может при таких раскладах заменить RabbitMQ.
12:27:59 ПП
User 71400098
Причем, у нас кластер из 3 нод, по 2 проекта на ноду. Поэтому все это дело очень удобно мейнтейнить. Если надо 3ю ноду пгасить - то сначала деплоим реконфигурацию, потом уводим ее в даун.
12:28:21 ПП
User 71400098
HA политики настроены на реплецирования все по всем нодам.
12:29:00 ПП
User 57648988
Ого, Rabbit HA :) Все в одном ДЦ?
12:29:03 ПП
User 71400098
Если у вас не трейдинговый проект, с космической скоростью записи я бы рекомендовал такой подход. Очень удобен в эксплуатации.
12:29:26 ПП
User 71400098
Да, но мы не кросс-дц, так что.
12:29:50 ПП
User 71400098
Просто ноды Rabbit'а разнесены по разным физическим серверам.
12:30:07 ПП
User 71400098
Опять же, говорю, один раз был network partition за 3 года.
12:30:21 ПП
User 71400098
Пришлось поебаться, потому что ноду такую в кластер уже не вернуть никак.
12:32:44 ПП
User 212969
Всем добрый вечер! Прошу прощения, что врываюсь с работой сюда
В открытый мессенджер Actor (https://github.com/actorapp/actor-platform) ищем опытного DEVOPS  поддерживать наш континиус деливери всех трех платформ, любить тимсити, фабрик... ну вы поняли, стандартный набор. Так–то у нас уже все настроено и работает, но поддерживать это некому, так что нужен самостоятельный, знающий и инициативный человек.

У нас адекватная команда, интересные задачи, ЗП на уровне. Офис находится в Петербурге, возможна удаленка.

Пишите, если интересно. Еще раз прошу прощения за disturbance.
github.com/actorapp/actor-platform
Actor Messaging platform. Contribute to actorapp/actor-platform development by creating an account on GitHub.
12:33:25 ПП
User 6931850
Прошу прощения за дистурбанс.
12:33:45 ПП
User 40348910
скажите а в ансибле есть вариант тега "never" ? что бы он был строго ручной ? или я хочу совсем странного ?
12:34:19 ПП
User 71400098
Есть наоборот - always :)
12:34:57 ПП
User 40348910
это я как раз знаю :)
12:35:18 ПП
User 71400098
Ну так запили им never
12:35:32 ПП
User 40348910
я думаю на сколько логично добавить тесты в плейбук.
12:35:36 ПП
User 71400098
Думаю что будет пара строк копипасты от always :)
12:35:59 ПП
User 40348910
думается мне тесты надо что бы были ручными или что бы вызывались по отдельному запросу
12:36:32 ПП
User 71400098
У нас сделать проще.
12:36:43 ПП
User 71400098
Дженкинс раскатываем мастер каждое утро по стейджингам
12:36:56 ПП
User 71400098
Стразу видно если кто то какое-то говно закоммитил на след утро.
12:37:22 ПП
User 71400098
сделано*
12:37:31 ПП
User 40348910
у меня не совсе мтакой кейс
12:37:42 ПП
User 40348910
у меня "инсталятор" на базе ансибла
12:38:20 ПП
User 40348910
тоесть анчальное конфигурирование системы через него. и штуки типа "state=running" могут просто не пройти
12:38:40 ПП
User 40348910
ибо сервис может быть раннинг с точки зрения systemd но нифига не раннинг на самом деле.
12:38:51 ПП
User 71400098
Так там же есть штуки типа "ждать сервис пока не появится онлайн"
12:39:06 ПП
User 71400098
Можно порт слушать (т.е. ждать)
12:39:15 ПП
User 71400098
Типа пока сервис не раздуплится на самом деле.
12:40:04 ПП
User 40348910
ну вот я и думаю как всё такие шутки поскладывать в одно место.
12:40:16 ПП
User 40348910
и запускать типа —tags test
12:40:20 ПП
User 40348910
а всё понял
12:40:32 ПП
User 40348910
дефолтно инсталятору передавать —skip-tags tests
12:40:42 ПП
User 40348910
а если чего убирать
12:40:48 ПП
User 71400098
Я бы конечно попытался сделать "полноценный" плейбук, который бы с нуля все устанавливал а по окончанию ты бы получил полностью рабочую систему.
12:40:52 ПП
User 40348910
и прогонять с —tags tests
12:41:03 ПП
User 71400098
Ну как то костыльно же, не?)
12:41:09 ПП
User 40348910
Дим, так есть
12:41:33 ПП
User 40348910
просто тесты могут быть отдельными сущностями
12:41:45 ПП
User 71400098
А что есть тесты для тебя?
12:41:51 ПП
User 40348910
например когда софт встает на rhel и не до конча встает на debian
12:42:14 ПП
User 71400098
А, у тебя такой кросс-платформенный.
12:42:28 ПП
User 40348910
у меня 5 архитектур да.
12:43:23 ПП
User 40348910
и в том что мне в качестве новой инсталяции дадут незагаженный другим софтом сервер я надеятся не могу. были прецеденты
12:44:54 ПП
User 71400098
Так ты пакуй все в докер всеми любимый )
12:45:15 ПП
User 40348910
пока не могу. одна из осей freebsd
12:52:50 ПП
User 12493585
User 154348275
http://highload.guide/blog/asynchronous-replication.html текст к презентации мб пригодится
highload.guide/blog/asynchronous-replication.html
Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим "авто", поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра – это гораздо более глобальная задача, чем просто настройка nginx.
#postgres #mysql #zabivator пусть теги будут
12:52:53 ПП
User 2543313
User 212969
Всем добрый вечер! Прошу прощения, что врываюсь с работой сюда
В открытый мессенджер Actor (https://github.com/actorapp/actor-platform) ищем опытного DEVOPS  поддерживать наш континиус деливери всех трех платформ, любить тимсити, фабрик... ну вы поняли, стандартный набор. Так–то у нас уже все настроено и работает, но поддерживать это некому, так что нужен самостоятельный, знающий и инициативный человек.

У нас адекватная команда, интересные задачи, ЗП на уровне. Офис находится в Петербурге, возможна удаленка.

Пишите, если интересно. Еще раз прошу прощения за disturbance.
github.com/actorapp/actor-platform
Actor Messaging platform. Contribute to actorapp/actor-platform development by creating an account on GitHub.
Интересно, пишу. Давайте свяжемся в личке. Базируюсь в Петербурге.
12:53:12 ПП
User 212969
Давайте
12:57:42 ПП
User 12493585
пропал калабуховский дом :))))))
12:59:34 ПП
01:02:30 ПП
User 2543313
User 12493585
пропал калабуховский дом :))))))
Грузите апельсины бочками
01:03:08 ПП
User 1092796
Слушайте, а у кого-нибудь есть опыт работы с jenkins и flow с Jenkinsfile?
01:03:31 ПП
User 1092796
не могу найти какое-нибудь здравое intro
01:06:21 ПП
User 40348910
User 1092796
не могу найти какое-нибудь здравое intro
+1
01:06:37 ПП
User 196895
getting started найдёте - поделитесь
01:06:54 ПП
01:07:40 ПП
User 1092796
причем, ну понятно, что за декларативным описанием флоу сборки будущее(у кого-то уже настоящее), но документации об этом нормальной нет
01:07:46 ПП
User 1092796
вот она проблема edge технологий)
01:09:18 ПП
User 40348910
я вас когда еще в подкасте слушал, почему ничего не скзали про gitlab ?
01:09:31 ПП
User 40348910
там как раз декларативно
01:09:36 ПП
01:09:44 ПП
01:09:47 ПП
User 40348910
и докер
01:10:16 ПП
User 40348910
а  вы чото замкнулись на teamcity vs jenkins
01:10:37 ПП
User 539480
А у кого-нибудь VMware NSX в продакшене крутится? Или contrail?
01:11:09 ПП
User 40348910
контрейл вроде как ребята из juniper говорят не смогли продать ниразу
01:11:23 ПП
User 40348910
только если open contrail
01:11:49 ПП
User 539480
В России возможно и не продали еще
01:11:59 ПП
User 1092796
User 40348910
я вас когда еще в подкасте слушал, почему ничего не скзали про gitlab ?
он как-то мимо нас прошел, если есть что рассказать, по этой теме, милости просим
01:12:32 ПП
User 40348910
ну "еще" за 3-4 года это не еще а "уже"
01:14:48 ПП
User 1092796
насчет jenkinsfile, https://wiki.jenkins-ci.org/display/JENKINS/2.0+Pipeline+as+Code в разделе Overview в конце есть некоторые ссылки
01:15:26 ПП
User 196895
User 1092796
насчет jenkinsfile, https://wiki.jenkins-ci.org/display/JENKINS/2.0+Pipeline+as+Code в разделе Overview в конце есть некоторые ссылки
благодарю, посмотрим что это там
01:33:27 ПП
User 59011046
Можно сделать postgreOS
01:33:31 ПП
User 12493585
пусть и тут будет
01:33:31 ПП
User 12493585
#postgres #locale #encoding Отвечаю на свои вопросы. Раскопал

1. lc_ctype (для всяких нумераций и точек), lc_collate (для сортировки) Postgres умеет только те, что умеет glibc и установлены в системе. Т.е. он использует системные. С этим связаны и попытки стандартного клиента воспользоваться ими же.  Поскольку исторически в Postgres зачем-то кувалдой вбита идеология системный пользователь === пользователю баз данных. Соответственно, если у вас в системе есть локаль, которая отсортирует и русский язык, и en_US и ss которая ß, то ок, нет - нет. Есть ли такое в Linux я хз. Похоже C.UTF-8, но я не уверен. Это такой вопрос для отдельного исследования и решение спорное.

2. encoding соответственно для хранения - то что прошито http://www.postgresql.org/docs/current/static/multibyte.html  (и там таблицы соответствия). Походе UTF-8 он таки алиасит UTF8 и можно и так, и так писать. encoding используется для хранения и для конвертации между сервером и клиентом. Чтобы была конвертация, надо на клиенте сделать SET NAMES "блабла". Postgres достаточно однозначный - или конвертация есть, или её нет, голову сломать сложно. Имплементация кодировки и переконвертации свои, не системные (и таблицы свои, и вот это перечесление свое).

3. Кодировку/локаль если задали, то всё. Если какой-нибудь окорок запихал докером докер через докер чтобы докер SQL_ASCII или LC_COLLATE C - то это навсегда.  И таких окороков  145%. Дамп, прибили базу, создали заново с новыми параметрами, залили обратно дамп. Это может и хорошо. Никогда не доверял это ALTER TABLE.
01:33:39 ПП
User 59011046
Или постгросс
01:34:37 ПП
User 59011046
Будет пользоваться популярностью, думаю :)
01:39:50 ПП
User 12493585
вопрос наверное всё-таки больше девопсам
01:39:50 ПП
User 12493585
В postgres можно переписать какую-нибудь строчку в pg_hba не трогая этого pg_hba?
03:32:49 ПП
User 50582392
кто как в ансибл отправляет тачки в ребут?  у меня  ' - name: Rebooting ...
      #command: shutdown -r now "Ansible kernel update applied"
      shell: reboot
      async: 0
      poll: 0
      ignore_errors: true' не хочет работать
03:33:03 ПП
User 50582392
ни комманд ни шелл
04:26:55 ПП
User 1534653
User 12493585
В postgres можно переписать какую-нибудь строчку в pg_hba не трогая этого pg_hba?
а зачем? pg_hba - пакетонезависимый
04:28:15 ПП
User 1534653
User 12493585
и кстати сходу не совсем понятны юзекейсы. очень много клубники и нужна обёртка. непойми как искать проблемы. собственно из-за этого очереди и городят на вещах, для этого слабопредназначенных типа redis. зато там всё понятно, лёгкий вход... и такая же лёгкая конечно потеря данных ;)))
тут проблема. Решение, которое будет на выходе, либо легкое и простое, либо надежное, но монструозное. Нет и простого и надежного "ко всему". Прийдется выбирать
04:29:55 ПП
User 12493585
User 1534653
тут проблема. Решение, которое будет на выходе, либо легкое и простое, либо надежное, но монструозное. Нет и простого и надежного "ко всему". Прийдется выбирать
однако раббит не очень надежен. простое и надежное это не миф. так можно. но всем блин фичи нужны
04:30:49 ПП
User 12493585
User 1534653
а зачем? pg_hba - пакетонезависимый
хмхм... ну ок. надо просто sed -i -s /peer/ /md5/ сделать и всё...
04:35:48 ПП
User 1534653
User 12493585
однако раббит не очень надежен. простое и надежное это не миф. так можно. но всем блин фичи нужны
а я и не про rabbit. я про ActiveMQ/QPid и прочие страшные штуки. Это уже ентерпрайз, тут надо с господами банкирами беседовать. RabbitMQ - попытка усидеть на двух стульях. Откровенно неудачная
04:37:49 ПП
User 12493585
User 1534653
а я и не про rabbit. я про ActiveMQ/QPid и прочие страшные штуки. Это уже ентерпрайз, тут надо с господами банкирами беседовать. RabbitMQ - попытка усидеть на двух стульях. Откровенно неудачная
а чем не удачная? я просто "хотел попробовать" и для такой задачи честно не осилил доку. просто понял. что она времени сжирает
04:38:36 ПП
User 154348275
а есть же кафка или она тоже на этом уровне монструзности ?
04:42:27 ПП
User 1534653
User 154348275
а есть же кафка или она тоже на этом уровне монструзности ?
кафка не очередями управляет. Кафка это консумер - оно получает потоки данных, как-то их аггрегирует и пишет
04:43:28 ПП
User 1534653
есть еще flume, он в общем-то похож
04:45:57 ПП
User 71400098
User 154348275
а есть же кафка или она тоже на этом уровне монструзности ?
Там нет роутинга.
04:46:37 ПП
User 71400098
Но когда нужна "большая запись" то лучше взять ее и понавтыкать свох воркеров для роутинга.
04:46:48 ПП
User 71400098
Будет отличный tradeoff
04:47:36 ПП
User 1534653
User 71400098
Но когда нужна "большая запись" то лучше взять ее и понавтыкать свох воркеров для роутинга.
да, но мы-то управление очередями обсуждаем :)
а это вообще не про кафку-флюм-сторм
05:02:41 ПП
User 71400098
Я б зобанел.
05:02:59 ПП
05:09:07 ПП
User 32707808
Банте идора, он не только тут насрал
05:12:03 ПП
User 1534653
Модератор?
05:12:48 ПП
User 32707808
Один на три сотни человек.
05:12:57 ПП
User 1534653
нужно расширять
05:13:13 ПП
User 196895
не нужно. самовыпил будет
05:13:21 ПП
User 32707808
@DenisIzmaylov пынг
05:29:12 ПП
User 196895
а вот это уже мило: зашёл, поспамил, ушёл, зашёл поспамил ушёл.
05:29:23 ПП
User 196895
представляю сколько будет скоро ботов таких )
05:29:33 ПП
User 32707808
Может руки дрожжат? 😂
05:29:42 ПП
05:59:42 ПП
User 4627228
User 32707808
@DenisIzmaylov пынг
Я за кофе выходил. Что было?
05:59:56 ПП
06:01:18 ПП
User 196895
👍😂😂😂
06:02:00 ПП
User 32707808
Неоднозначненько 😂
06:02:33 ПП
User 4627228
Георгий вам не понравился?)
06:02:37 ПП
User 52383088
Нормально, тут умные люди - из контекста поймут
06:02:42 ПП
06:03:45 ПП
User 32707808
Там еще крыжик есть, который сабмитит в абуз на акк
06:04:45 ПП
User 4627228
Да вроде он просто про какую-то странную группу хотел рассказать. Что в этом криминального?)
06:05:46 ПП
User 32707808
Ну в двух чатиках одновременно явно на спам похоже :) в третьем пока молчит
06:06:42 ПП
User 12493585
User 4627228
Да вроде он просто про какую-то странную группу хотел рассказать. Что в этом криминального?)
он это во всех сообществах рассказывает. я снёс сразу
06:07:11 ПП
User 52383088
User 4627228
Да вроде он просто про какую-то странную группу хотел рассказать. Что в этом криминального?)
Группа никак не связана с темой этой группы. Иначе реклама в почту тоже не спам
06:07:48 ПП
User 4627228
Да ладно, все, проехали последние 20 сообщений тоже слабо с темой группы связаны ;)
06:08:43 ПП
User 52383088
/me спамер :(
06:09:44 ПП
User 4627228
Кто уже развернул что-нибудь на DC/OS?
06:10:18 ПП
User 81212095
Ребят, может кто-нибудь с настройкой public_networks в вагранте помочь?
06:11:22 ПП
User 1092796
User 4627228
Кто уже развернул что-нибудь на DC/OS?
продакшен нет, а так во всю тестируем
06:11:58 ПП
User 4627228
Есть какие-то плюсы минусы в сравнении с CoreOS?
06:12:41 ПП
User 154348275
User 1092796
продакшен нет, а так во всю тестируем
а как тестируете ?
06:13:03 ПП
User 4627228
У меня задача на CoreOS развернуть BlueGreenDeploy и я вот не нашёл внятных HowTo
06:13:18 ПП
User 4627228
Хотя казалось бы могли и мануалом на сайте сделать
06:13:36 ПП
User 1092796
тестируем в плане, подняли, смотрим что как работает, хочу попробовать какой-нибудь софт под нее запаковать, но пока еще не делал
06:13:55 ПП
User 1092796
User 4627228
Есть какие-то плюсы минусы в сравнении с CoreOS?
сам dc/os это все-таки немного про другое
06:14:03 ПП
User 1092796
bluggreen можно где угодно сделать
06:14:09 ПП
User 4627228
Там же все на докерах и принцип тот же? Immutable OS?
06:14:11 ПП
User 1092796
все-равно конструктор получится
06:14:22 ПП
User 1092796
ну с этой стороны да, тоже самое
06:14:26 ПП
User 4627228
А что лучше использовать для этого?
06:15:00 ПП
User 4627228
У меня друг из Бразилии на Mesos все сделал, но как-то не хочется снова закапываться
06:15:20 ПП
User 1092796
на мой взгляд все-равно, что mesos/mararthon(то, что внутри dc/os запускает все), что coreos, что kubernetis. Если задача просто контейнеры поднять, то пофигу
06:15:44 ПП
User 154348275
User 1092796
тестируем в плане, подняли, смотрим что как работает, хочу попробовать какой-нибудь софт под нее запаковать, но пока еще не делал
там есть пара дефолтных приложений их гонять можно, но там интерсные места это обновление кластера и прочие изменения конфигурации управляющих нод
06:16:26 ПП
User 4627228
Есть встроенные dashboard мониторинга и управления? Типа поднять ещё два таких контейнера.
06:16:37 ПП
User 1092796
да, там же внутри marathon
06:16:43 ПП
User 1092796
это кластерный init
06:16:52 ПП
User 1092796
у него встроенный health check
06:17:07 ПП
User 4627228
Кажется у CoreOS ничего такого
06:17:11 ПП
User 4627228
Только платные
06:17:27 ПП
User 1092796
я, честно, говоря не смотрел сильно coreos, но у них есть fleet
06:17:33 ПП
User 1092796
не знаю насколько он похож
06:18:10 ПП
User 4627228
Kubernetes может поверх CoreOS и Fleet
06:18:44 ПП
User 1092796
ну и поверх mesos тоже)
06:18:46 ПП
User 4627228
Но меня большой уровень абстракции в нем пока смущает.
06:19:14 ПП
User 1092796
>Но меня большой уровень абстракции в нем пока смущает.
06:19:30 ПП
User 1092796
это до тех пор, пока не будешь с этим работать каждый день
06:20:15 ПП
User 4627228
К нас пока три сервера и три десятка докеров
06:21:12 ПП
User 154348275
кубернетеса на это за глаза хватит
06:21:26 ПП
User 1092796
ну если у вас все уже работает и скорость поставки ПО устраивает, зачем городить что-то
06:21:47 ПП
User 154348275
dc/os имхо нужно когда нужна отказоустойчивость мастеров
06:22:21 ПП
User 4627228
Надо быть готовым к быстрому масштабированию. Тем более на неделе надо поднять BGDeploy и Jenkins со всем этим чудом
06:22:51 ПП
User 76109511
Привет, кто-нибудь пробовал рулить Gluster'ом из oVirt?
06:22:54 ПП
User 1092796
User 154348275
dc/os имхо нужно когда нужна отказоустойчивость мастеров
мне кажется вы путаете dc/os с запускалкой docker контейнеров поверх mesos – marathon. они сами по себе отказоустойчивые
06:23:14 ПП
User 1092796
если их поднять три штуки(связки mesos-master + marathon)
06:23:24 ПП
User 4627228
Что для BGD использовать лучше всего?
06:25:52 ПП
User 154348275
User 1092796
мне кажется вы путаете dc/os с запускалкой docker контейнеров поверх mesos – marathon. они сами по себе отказоустойчивые
не путаю, просто проще использовать настроенную и собранную во едино систему для управления чем собирать из мезоса марафона и прочего, и проще говорить dc/os чем вот это все. ну и да там нетолько докер контейнеры
06:26:19 ПП
User 1092796
я не уверен, что проще. ну т.е. да, проще, если не потребуется ее модифицировать
06:26:20 ПП
User 114919556
@minicon Никит, а ты не смотрел на shipyard ?
06:26:43 ПП
User 1092796
@ptchol неа, сейчас посмотрю)
06:27:52 ПП
User 114919556
я вот смотрю уже день на него и не никак не пойму, зачем оно может быть нужно.
06:28:29 ПП
User 114919556
выглядит красиво все внутри.
06:28:49 ПП
User 1092796
это web ui для swarm + какой-то flow от них или что-то большее?
06:29:48 ПП
User 114919556
даже flow нету, типа можешь запустить контейнер с указанными параметрами на указанной ноде. Ну и подцепить несколько реджистри и видеть все имиджи. + красивенькая стата по состоянию контейнера + консолька к нему из веба.
06:29:53 ПП
User 114919556
ну и логи.
06:31:08 ПП
User 1092796
может быть попытка сделать опенсорсный аналог docker cloud
07:31:19 ПП
User 45789579
так, гайз, вопрос про докер, а бывает такое, чтобы запущеному контейнеру можно было бы сказать kill -HUP и он перечитал логи

как пример nginx в контейнере, как бы обновить конфиг, чтобы не было потери конектов
07:31:31 ПП
User 45789579
* перечитал конфиг
07:33:43 ПП
User 51019704
можно
07:34:06 ПП
User 51019704
docker help kill
07:34:46 ПП
User 45789579
это было просто, спасибо
08:05:24 ПП
User 57648988
сегодня чувство что в затяжной выпуск devops дефлопе попал 😉
08:05:41 ПП
User 1534653
в затяжное дефлопе?
08:06:33 ПП
User 108693562
А крутон?
08:10:00 ПП
User 1092796
User 57648988
сегодня чувство что в затяжной выпуск devops дефлопе попал 😉
воу воу
08:11:46 ПП
User 50582392
парни, если я указал контейнеру докера volume через -v , а в этой папке симлинки на другие, то как его заставить их перечитать, только рестартом или есть способ прямее?
08:12:17 ПП
User 50582392
симлинк меняется а докер смотрит в старое место
08:12:55 ПП
User 45789579
ты монтируешь фолдер, где внтури симлинк?
08:13:02 ПП
User 45789579
разве не видит?
08:13:15 ПП
User 51019704
User 50582392
симлинк меняется а докер смотрит в старое место
Это как так?
08:13:22 ПП
User 50582392
видит, но если симлинк меняется то видит старую папку
08:13:35 ПП
User 51019704
Не может такого быть
08:13:58 ПП
User 50582392
ну делаешь ln -sf когда появляется новый current а в докере старый
08:14:01 ПП
User 50582392
проверь