@devops_ru
DevOps — русскоговорящее сообщество

Общаемся на темы DevOps, мониторинга, метрикам и облакам. Новости. См. также: @kubernetes_ru, @docker_ru, @rkt_ru, @coreos_ru, @ceph_ru, @openstack_ru Новости: @devops_news Вакансии и поиск работы: @devops_jobs Рекомендуем сразу отключить уведомления.

5075 members

Архив канала @devops_ru 17 мая 2016 г.

04:23:10 ДП
User 50881479
если st3 опять разгонится, будет круто
04:23:29 ДП
User 50881479
это заставит атом попотеть, теоретически
04:32:04 ДП
User 85022650
Есть какая то разница в конфигах и плагин апи st2/st3? Госаблайм для st2 более не поддерживается
04:52:08 ДП
User 4627228
В копилку про CI/CD https://github.com/Strider-CD/strider
github.com/Strider-CD/strider
Open Source Continuous Integration & Deployment Server - Strider-CD/strider
05:26:02 ДП
User 2984445
User 4627228
В копилку про CI/CD https://github.com/Strider-CD/strider
github.com/Strider-CD/strider
Open Source Continuous Integration & Deployment Server - Strider-CD/strider
На практике как?
05:34:04 ДП
User 85022650
https://github.com/ArchCI/archci
github.com/ArchCI/archci
archci - Distributed scalable continuous integration service with docker
05:43:05 ДП
User 136216737
Полина, бывшая коллега по Veeam. Попрошу текст задублировать (:
05:43:10 ДП
User 108693562
User 109444126
> Был в Оше. Мерзкий грязный городишко
Ага.
Ты знаешь, нет. А вот местные аборигены - большие националисты.
05:47:45 ДП
User 50881479
Оша или Аша?
06:28:03 ДП
User 108693562
город Ош
06:30:13 ДП
User 50881479
а то есть город Аша
06:31:43 ДП
06:35:13 ДП
User 177370654
о ! Ericcson в Казахстане медицинскую систему внедряет. Учитывая их большие компетенции в OpenStack ...
06:44:25 ДП
User 6178249
Hi there, on March 24th we announced our Beta of Docker for Mac and Docker for Windows: the simplest way to use Docker on your laptop.
06:44:30 ДП
User 114919556
User 2984445
В общем ничего так получается, как публичные закладки
Так он не про закладки а про обсуждения, это типа такие light talks
06:44:45 ДП
User 114919556
для закладок есть гитхаб с awesome репозиториями давно уже )
06:44:46 ДП
User 6178249
докер под шиндовс выходит
06:48:23 ДП
User 2984445
User 114919556
для закладок есть гитхаб с awesome репозиториями давно уже )
Тоже хорошо, да. Сюда шарить быстрее, но пуллреков нет
06:50:19 ДП
User 2984445
Только в https://github.com/pditommaso/awesome-ci/ даже jenkins нет. Есть репа лучше?
github.com/pditommaso/awesome-ci
awesome-ci - A curated list of awesome continuous integration services
06:51:54 ДП
User 117516105
User 2984445
Только в https://github.com/pditommaso/awesome-ci/ даже jenkins нет. Есть репа лучше?
github.com/pditommaso/awesome-ci
awesome-ci - A curated list of awesome continuous integration services
ну дык в репе CIaaS)
06:54:38 ДП
User 114919556
https://github.com/ciandcd/awesome-ciandcd ?
github.com/ciandcd/awesome-ciandcd
continuous integration and continuous delivery. Contribute to ciandcd/awesome-ciandcd development by creating an account on GitHub.
06:56:32 ДП
User 2984445
User 114919556
https://github.com/ciandcd/awesome-ciandcd ?
github.com/ciandcd/awesome-ciandcd
continuous integration and continuous delivery. Contribute to ciandcd/awesome-ciandcd development by creating an account on GitHub.
Добро. Утром не гуглится видать мне
06:57:18 ДП
User 114919556
а ваще вот ) http://www.devopsbookmarks.com/ci
devopsbookmarks.com/ci
Discover the latest devops tools and frameworks
07:02:14 ДП
User 114919556
https://certbot.eff.org/
certbot.eff.org
Automatically enable HTTPS on your website with EFF's Certbot, deploying Let's Encrypt certificates.
07:06:59 ДП
User 55401668
User 114919556
https://certbot.eff.org/
certbot.eff.org
Automatically enable HTTPS on your website with EFF's Certbot, deploying Let's Encrypt certificates.
Это та херь на питоне, которая через пип ставит пакеты которым нужен гцц?
07:10:42 ДП
User 114919556
ну то что она на питоне да.
07:10:52 ДП
User 114919556
но их уже 100500 для этого понаделали
07:11:00 ДП
User 114919556
и чот ниодной нормальной пока.
07:13:25 ДП
User 55401668
Есть на баше, ссылка в офф вики летсэнкрипта
07:13:57 ДП
User 114919556
рили ? покаж ?
07:15:59 ДП
User 55401668
https://github.com/Neilpang/acme.sh
github.com/Neilpang/acme.sh
A pure Unix shell script implementing ACME client protocol - Neilpang/acme.sh
07:17:12 ДП
User 6178249
2439 строк на баше
07:17:14 ДП
User 6178249
огонь
07:18:02 ДП
User 114919556
User 55401668
https://github.com/Neilpang/acme.sh
github.com/Neilpang/acme.sh
A pure Unix shell script implementing ACME client protocol - Neilpang/acme.sh
спасибо, там есть самое важное, подвтерждение через DNS и поддержка route53.
07:37:41 ДП
User 2895769
мне хочется очень мелкую VPS'ку взять для мониторинга uptime'а моего сервера извне - https://vscale.io/en/pricing.html тут есть за 200 рублей и, кажется, надежно (по крайней мере сайт хорошо сделан, не тяп-ляп, старались), есть что-то ещё надежное, но дешевле? (ну, 200 тоже дешево, но если есть за 100 - возьму за 100)
vscale.io/en/pricing.html
Vscale: cloud servers for professional. Affordable and faster alternative. https://vscale.io
07:40:02 ДП
User 114919556
User 2895769
мне хочется очень мелкую VPS'ку взять для мониторинга uptime'а моего сервера извне - https://vscale.io/en/pricing.html тут есть за 200 рублей и, кажется, надежно (по крайней мере сайт хорошо сделан, не тяп-ляп, старались), есть что-то ещё надежное, но дешевле? (ну, 200 тоже дешево, но если есть за 100 - возьму за 100)
vscale.io/en/pricing.html
Vscale: cloud servers for professional. Affordable and faster alternative. https://vscale.io
встань в очередь на скейлвее. заплати 400 рублей, но получи норм виртуалку.
07:41:35 ДП
User 114919556
ну или теже 200 но железом лучше
07:44:57 ДП
User 24076505
User 2895769
мне хочется очень мелкую VPS'ку взять для мониторинга uptime'а моего сервера извне - https://vscale.io/en/pricing.html тут есть за 200 рублей и, кажется, надежно (по крайней мере сайт хорошо сделан, не тяп-ляп, старались), есть что-то ещё надежное, но дешевле? (ну, 200 тоже дешево, но если есть за 100 - возьму за 100)
vscale.io/en/pricing.html
Vscale: cloud servers for professional. Affordable and faster alternative. https://vscale.io
arubacloud.com - 1 евро в месяц
arubacloud.com
Discover Aruba Cloud, the Cloud for you! Usage-based Cloud Computing, Cloud PRO & VPS, Private Cloud, Storage, Backup and Monitoring Services.
07:45:26 ДП
User 24076505
Оно немного страшненькое местами, но вроде бы работает
07:45:49 ДП
User 1615
User 2895769
мне хочется очень мелкую VPS'ку взять для мониторинга uptime'а моего сервера извне - https://vscale.io/en/pricing.html тут есть за 200 рублей и, кажется, надежно (по крайней мере сайт хорошо сделан, не тяп-ляп, старались), есть что-то ещё надежное, но дешевле? (ну, 200 тоже дешево, но если есть за 100 - возьму за 100)
vscale.io/en/pricing.html
Vscale: cloud servers for professional. Affordable and faster alternative. https://vscale.io
Это селектел. Бери смело.
07:45:57 ДП
User 2895769
User 114919556
ну или теже 200 но железом лучше
точно, что-то я про него забыл
07:46:32 ДП
User 2895769
непосредственно для мониторинга айтайма я буду юзать https://updown.io/, а на vps' ки будут действия, вызываемые триггерами от https://updown.io/ , когда сайт упадет
updown.io
ϟ Website monitoring — beautiful, simple and inexpensive.
07:46:45 ДП
User 2895769
(по крайней мере, я себе это так представляю)
07:47:09 ДП
User 2895769
то есть особо крутая в общем-то мне не нужна, тут важнее uptime и цена
07:48:18 ДП
User 2895769
User 24076505
arubacloud.com - 1 евро в месяц
arubacloud.com
Discover Aruba Cloud, the Cloud for you! Usage-based Cloud Computing, Cloud PRO & VPS, Private Cloud, Storage, Backup and Monitoring Services.
а тут высокий uptime?
07:48:53 ДП
User 24076505
У меня там парочка, но недавно, лично сказать не могу. Но на хабре люди писали, что все ок
07:49:23 ДП
User 2895769
User 24076505
У меня там парочка, но недавно, лично сказать не могу. Но на хабре люди писали, что все ок
ясно, спасибо)
07:49:37 ДП
User 24076505
Можно на cloudharmony.com посмотреть
07:50:19 ДП
User 24076505
https://cloudharmony.com/status-for-aruba
07:52:43 ДП
User 24076505
Оно почему-то пишет, что все down, хотя DC6-UK точно UP. #видимочтотослучилось
08:00:17 ДП
User 1092796
User 2895769
мне хочется очень мелкую VPS'ку взять для мониторинга uptime'а моего сервера извне - https://vscale.io/en/pricing.html тут есть за 200 рублей и, кажется, надежно (по крайней мере сайт хорошо сделан, не тяп-ляп, старались), есть что-то ещё надежное, но дешевле? (ну, 200 тоже дешево, но если есть за 100 - возьму за 100)
vscale.io/en/pricing.html
Vscale: cloud servers for professional. Affordable and faster alternative. https://vscale.io
это селектел, кстати. отдельный проект для покрытия сегмента DO
08:00:42 ДП
User 1092796
я про vscale.io
vscale.io
Vscale: облачные серверы для профессионалов. Дешевле и быстрее зарубежных сервисов. https://vscale.io
08:40:21 ДП
User 55673273
у newrelic.com есть бесплатный тариф, можно мониторить кучу серверов и около 30 сайтов
newrelic.com
Know what's happening in your modern software environment and make better decisions for your business. Plan better. Migrate smarter. Innovate faster.
08:42:21 ДП
User 85022650
вроде, проблема не в мониторинге
08:43:56 ДП
User 55673273
vscale самые дешевые  нормальные vps, но надо ли городить свой велосипед для мониторинга
08:44:21 ДП
User 85022650
непосредственно для мониторинга айтайма я буду юзать https://updown.io/, а на vps' ки будут действия, вызываемые триггерами от https://updown.io/ , когда сайт упадет
updown.io
ϟ Website monitoring — beautiful, simple and inexpensive.
08:46:17 ДП
User 55673273
сорян, пропустил =)
09:15:50 ДП
User 219890450
ппц вы здесь нафлудили, больше, чем в слаке
09:16:21 ДП
User 219890450
все сюда переехали? в 2 раза больше участников :-D
09:16:41 ДП
User 148583383
Напомните, какой лучше хттп-руби-сервер использовать в продакшене?
09:16:49 ДП
User 148583383
единорога?
09:18:40 ДП
09:18:42 ДП
09:18:58 ДП
User 2543313
От пумы с MRI толку нет же
09:19:05 ДП
User 3685556
Только его, остальное говно которое течёт
09:20:52 ДП
User 2543313
Это утверждение похоже на херню
09:20:58 ДП
User 2543313
Что может течь в веб-сервере?
09:21:05 ДП
User 2543313
Текут ваши сраные приложения обычно
09:24:31 ДП
User 113399831
torquebox 4 конечно же
09:24:42 ДП
User 113399831
всё остальное хипстоподелки
09:25:27 ДП
User 2895769
User 2543313
Текут ваши сраные приложения обычно
😄
09:26:14 ДП
User 148583383
его можно сразу наружу пускать?
09:26:20 ДП
User 148583383
там человек 100 максимум работать будут
09:26:43 ДП
User 2895769
User 55673273
у newrelic.com есть бесплатный тариф, можно мониторить кучу серверов и около 30 сайтов
newrelic.com
Know what's happening in your modern software environment and make better decisions for your business. Plan better. Migrate smarter. Innovate faster.
это бы помогло если бы можно было прямо там простенький скрипт запустить в случае ошибки
09:27:28 ДП
User 113399831
@voiddancer сам не пробовал и людей таких не видел
09:27:52 ДП
User 148583383
то есть Nginx заворачивать на юникорн?
09:28:08 ДП
User 113399831
обычно так
09:28:18 ДП
User 2895769
а https://www.servers.com/ это чей проект? это русские?
servers.com
Bare metal servers, 100% SSD сloud servers and powerful GPU servers with up to 40 Gbps global redundant network
09:28:53 ДП
User 113399831
@voiddancer unicorn точно нельзя наружу выставлять. он нормально работает только с короткоживущими коннекшенами
09:29:07 ДП
User 113399831
а выставишь наружу, не сможешь это контролировать
09:30:36 ДП
User 65214589
User 148583383
Напомните, какой лучше хттп-руби-сервер использовать в продакшене?
Мы puma заюзали ради его производительности и простоты. Но не испытывали в боевых условиях.
09:31:13 ДП
User 58487125
мало ли кто проипал рассылку vmware
09:31:14 ДП
User 58487125
https://docs.google.com/spreadsheets/d/1S1_WCY7VqHGBoP6hOla-j8HDSlP7R8tkbY5TRJ3Sjp0/edit?usp=sharing
docs.google.com/spreadsheets/d/1S1_WCY7VqHGBoP6hOla-j8HDSlP7R8tkbY5TRJ3Sjp0/edit?usp=sharing&hl=en
For a better viewing and editing experience, install the free app.
09:44:27 ДП
User 131779045
User 2895769
а https://www.servers.com/ это чей проект? это русские?
servers.com
Bare metal servers, 100% SSD сloud servers and powerful GPU servers with up to 40 Gbps global redundant network
Это штаты. Но технарей русских много. В саппорт можно писать по русски - на смене всегда есть кто-то, кто прочтет. По опыту - по-русски писать выгоднее, ответ более технический
09:45:11 ДП
User 2895769
спасибо)
10:22:33 ДП
User 125983057
User 2895769
а https://www.servers.com/ это чей проект? это русские?
servers.com
Bare metal servers, 100% SSD сloud servers and powerful GPU servers with up to 40 Gbps global redundant network
я COO :) русские есть, но мы в меньшинстве. офис в России только продажный на Россию - основное все в NL/US/CY
10:23:44 ДП
User 61759754
на чём она?
10:24:01 ДП
User 61759754
а движок бд?
10:24:23 ДП
User 2895769
User 125983057
я COO :) русские есть, но мы в меньшинстве. офис в России только продажный на Россию - основное все в NL/US/CY
то есть если что - вы достаточно абузоустойчивые к просьбам наших правоохранителей, да? (как и все западные хостинги)
10:24:41 ДП
User 2895769
вы выдаёте данные клиентов по запросу?
10:25:15 ДП
User 125983057
Мы выдаем данные клиентов в случае получения subpoena
10:26:00 ДП
10:26:22 ДП
User 61759754
User 125983057
Мы выдаем данные клиентов в случае получения subpoena
а были прецеденты про авторские права?
10:26:59 ДП
User 61759754
например, распространение ПО или в таком духе
10:27:17 ДП
User 154348275
монга 750Г ужас
10:28:21 ДП
User 125983057
User 61759754
например, распространение ПО или в таком духе
про авторские права - все в рамках DMCA
10:28:21 ДП
User 219890450
servers.com -- это вебзилла чтоли?
servers.com
Bare metal servers, 100% SSD сloud servers and powerful GPU servers with up to 40 Gbps global redundant network
10:29:09 ДП
User 125983057
User 219890450
servers.com -- это вебзилла чтоли?
servers.com
Bare metal servers, 100% SSD сloud servers and powerful GPU servers with up to 40 Gbps global redundant network
нет, хотя пересечение по людям есть. частично те же люди, сделавшие все вообще иначе.
10:29:35 ДП
User 2543313
Сами сервера где стоят?
10:29:51 ДП
User 2543313
Разница есть
10:30:16 ДП
User 2543313
Отличный кейс
Жаль, что не на коло в Москве, так были бы шансы
10:30:48 ДП
User 2543313
План такой:
- Берешь на заправке литр бензина
- Обливаешь стойку
- Поджигаешь
10:30:57 ДП
User 2543313
Потому что 750Gb монги на дженту - это путь прямо в ад
10:31:03 ДП
User 2543313
И лучше по нему пройти быстро
10:31:12 ДП
User 2543313
Какой гений это все придумал-то?
10:32:00 ДП
User 2543313
Сука, на каждом шагу в интернете красными буквами написано: “НЕВА ЮЗ ДА МОНГО”, а в каждом втором проекте все равно она
10:32:16 ДП
User 2543313
Если серьезно, я бы сел кастомный мигратор писать
10:32:26 ДП
User 2543313
Делал бы вот как, в два этапа
10:32:34 ДП
User 2543313
Почему?
10:32:49 ДП
User 2543313
Это делается за неделю со всеми тестами
10:33:06 ДП
User 2543313
Ну - начальство само себе яму роет
10:33:11 ДП
User 2543313
Been there, seen that
10:33:26 ДП
User 131779045
User 61759754
а были прецеденты про авторские права?
про авторские права нам просто пишут “убирайте или забаним”. не разбираются
10:33:51 ДП
User 2543313
Ну - можно, я так понимаю, сделать канал лимитированной полосы
10:33:59 ДП
User 2543313
И по нему уже гнать репликацию
10:34:36 ДП
10:34:57 ДП
User 61759754
User 131779045
про авторские права нам просто пишут “убирайте или забаним”. не разбираются
=) отлично
10:35:15 ДП
User 2543313
В кэш чего?
10:35:18 ДП
User 2543313
В своп, что ли?
10:35:26 ДП
10:35:32 ДП
User 2543313
А расклад по памяти какой в этот момент?
10:35:39 ДП
User 2543313
Куда вся память делась?
10:35:56 ДП
User 2543313
Удивительная херня
10:36:11 ДП
User 131779045
нева юз да монга, там у входа табличка стояла
10:36:26 ДП
User 2543313
Не, это какой-то еще более специальный случай
10:36:30 ДП
User 154348275
так монга же неотображает использование памяти в стандратных тулах емнип
10:36:38 ДП
User 2543313
А графички есть потребления памяти в этот момент
10:36:42 ДП
User 2543313
User 154348275
так монга же неотображает использование памяти в стандратных тулах емнип
Щта
10:36:48 ДП
User 2543313
Как сие возможно?
10:36:55 ДП
User 131779045
она делает вид, что это все файловый кеш
10:37:08 ДП
10:37:09 ДП
User 2543313
Нет - оно и есть файловый кэш
10:37:13 ДП
User 131779045
и, типа, освободим в любой момент
10:37:25 ДП
User 2543313
Монга это обычный mmap
10:37:40 ДП
User 131779045
но как только ты его начинаешь освобождать - она наносит удар через дисковый io, и все встает колом
10:37:41 ДП
User 2543313
Ну - так а что на графичках?
10:37:49 ДП
User 114919556
User 2543313
Монга это обычный mmap
не в 3й версии
10:37:57 ДП
User 2543313
Куда память-то делась, в эпп или в файловый кэш?
10:38:05 ДП
User 2543313
User 114919556
не в 3й версии
О - а как они в третьей сделали?
10:38:11 ДП
User 2543313
Собственные буфера?
10:38:25 ДП
User 2543313
Тогда надо смотреть настройки размеров этих самых буферов
10:38:26 ДП
User 114919556
User 2543313
О - а как они в третьей сделали?
а вы почитайте. )
10:38:31 ДП
User 131779045
там, небойсь, еще и своп на серверах есть
10:38:38 ДП
User 2543313
User 114919556
а вы почитайте. )
Делать вот мне больше нечего
10:38:41 ДП
User 114919556
движок тайгер или ммаап ?
10:38:42 ДП
User 131779045
User 114919556
а вы почитайте. )
в пизду
10:38:49 ДП
User 131779045
извините
10:39:01 ДП
User 131779045
еще я про монгу порно не читал, ага
10:39:15 ДП
User 114919556
вы просто неосили, мы все знаем )
10:39:22 ДП
User 114919556
у вас там деньги зарабатывать вот это все.
10:39:31 ДП
User 114919556
вам некогда изучать. путь ХХП )
10:39:32 ДП
User 131779045
все-все-все
10:39:38 ДП
User 131779045
у меня дежавю
10:39:59 ДП
User 131779045
приходите на hl++ послушать наши доклады, серьезно
10:40:17 ДП
User 131779045
там и решите, неосилили мы, или просто умнее многих
10:40:29 ДП
User 131779045
а я не вам :)
10:40:33 ДП
User 114919556
db.server.status().storageengine
10:40:55 ДП
User 114919556
serverstatus слитно
10:41:25 ДП
User 114919556
User 131779045
приходите на hl++ послушать наши доклады, серьезно
а я вам вопросы даже задавал на прошлом. и как бы не осилили )
10:41:46 ДП
User 131779045
User 131779045
там, небойсь, еще и своп на серверах есть
это тоже важно. я бы, извините, начал с его отключения
10:42:26 ДП
User 114919556
ну наберите там правильно, потабайте
10:42:28 ДП
User 131779045
на прошлом hl++ я рассказывал про фс. чего я там не осислил-=то?
10:42:46 ДП
User 114919556
Хм. сорян я попутал наверно
10:42:54 ДП
User 114919556
а про мускули и РТБ не вы ? )
10:43:07 ДП
User 131779045
а на hl я про rtb рассказывал, осенью
10:43:14 ДП
10:43:16 ДП
10:43:24 ДП
User 131779045
чего я не осилил там?
10:43:32 ДП
User 131779045
обратная связь - это важно
10:44:11 ДП
User 114919556
Если вам это действительно важно, я пересмотрю доклад и напишу вам, что мне показалось странным.
10:44:23 ДП
User 114919556
чтобы сейчас не быть голословным
10:44:26 ДП
10:45:02 ДП
User 114919556
тоска...
10:45:31 ДП
User 114919556
это норм.
10:45:32 ДП
User 131779045
что там все странное в том проекте было - я в курсе, у меня тогда были трудные времена. я про то, где я тему недостаточно глубоко вспахал. мне действитеьно важно - нам тут с коллегой три доклада на двоих предстоят через пару недель
10:45:37 ДП
User 114919556
sysctl -a | grep swapp
10:46:47 ДП
User 114919556
User 131779045
что там все странное в том проекте было - я в курсе, у меня тогда были трудные времена. я про то, где я тему недостаточно глубоко вспахал. мне действитеьно важно - нам тут с коллегой три доклада на двоих предстоят через пару недель
А, с жтим проблем вроде не было. Были "претнезии" к реализации \ решению описанному в докладе и то что было представленно проблемами и их решением.
10:47:13 ДП
10:48:11 ДП
User 114919556
ну оно наверняка у вас уползает в своп
10:48:30 ДП
User 114919556
вырубите своп, либо для начала своппиннес в 0 выставите
10:49:07 ДП
User 114919556
там пара сотен мегабайт гоняющихся по нему при забитой памяти могут привести к проблемам.
10:49:32 ДП
User 114919556
во вторых. на реплике выставите stoage engine wired tiger
10:49:49 ДП
User 114919556
компрессию соавьте стандартную.
10:50:54 ДП
User 114919556
у нас на самых плохих кейсах комперссия составляла 2.2 где то.
10:51:34 ДП
User 114919556
но нужно чтобы у вас был свободный cpu компрессия даст примерно процентов 15 сверху к той нагрузке что была.
10:51:56 ДП
User 114919556
в рабочее время, а не во время восстановления.
10:52:25 ДП
User 114919556
и посмотрите размер вашего лога. если репликации идет медленно и данных много, вы можете не успеть
11:07:09 ДП
User 1534653
меняйте размер оплога. Нужно сделать его очень, очень большим, вам его не хватает
11:08:44 ДП
User 1534653
да. Скорее всего разрыв репликации из-за того, что данные не успевают влится в slave
11:08:53 ДП
User 114919556
там есть командочки
11:08:56 ДП
User 1534653
у меня такое было, помогло увеличение полога на мастере в 16 раз
11:09:02 ДП
User 114919556
rs.printreplicationinfo()
11:09:02 ДП
User 1534653
оплог не меняется "на ходу"
11:09:10 ДП
User 1534653
rs.status()
11:09:42 ДП
User 114919556
и она помоему показывает то, за какой период крайние данные в пологе
11:09:44 ДП
User 1534653
https://docs.mongodb.com/manual/core/replica-set-oplog/
docs.mongodb.com/manual/core/replica-set-oplog
11:09:46 ДП
User 114919556
*оплоге
11:10:11 ДП
User 1534653
да там вообще лучше весь раздел проштудировать, он совсем небольшой
11:10:16 ДП
User 114919556
если вы за период с указанного там времени до текущего, не успеете репликацию сделать - все плохо )
11:10:51 ДП
User 1534653
ну почему плохо? Нормально, оплог подкрутить и все станет хорошо
11:10:52 ДП
User 114919556
здесь просто татус
11:11:10 ДП
User 1534653
на данном снимке ып2 еще синхронизируется, тут только ждать
11:11:16 ДП
User 131779045
https://gist.github.com/, извините
gist.github.com/discover
GitHub Gist: instantly share code, notes, and snippets.
11:11:52 ДП
User 114919556
да не нада ждать
11:11:59 ДП
User 114919556
нужно в репликейшен инфо глянуть
11:12:02 ДП
User 114919556
и понять
11:12:47 ДП
User 1534653
давайте уточним - что значит "не выдерживает"? реплика падает в карантин?
11:12:56 ДП
User 1534653
ну и что? OOM срабатывает?
11:13:24 ДП
User 1534653
на время репликации рекомендуется просто остановить остальные сервисы на серваке. Пусть монго резвится в гордом одиночестве.

как именно падает?
11:13:29 ДП
User 1534653
в логах что?
11:14:37 ДП
User 1534653
освободить мастер можно?
11:14:54 ДП
User 114919556
кинь на пастебина чтоле. а не сюда
11:14:56 ДП
User 114919556
блеать
11:17:30 ДП
User 1534653
странная штука. А версия движка какая?
11:19:21 ДП
User 1534653
нет-нет, я имею ввиду версию самой монги
11:19:34 ДП
User 1534653
2.2, 2.4, 2.6, 3.0, 3.2?
11:19:56 ДП
11:20:00 ДП
11:20:10 ДП
11:20:13 ДП
User 1534653
там баг какой-то находили, обновится можете?
11:20:16 ДП
User 2543313
Что ж вы тут пишете
11:20:21 ДП
User 2543313
Какой еще своппинес в ноль
11:20:22 ДП
11:20:30 ДП
User 1534653
не меняйте движок только, иначе базу потеряете
11:22:13 ДП
User 2543313
Во
Про оплог, похоже, чистая правда
11:22:20 ДП
User 2543313
Докиньте оплога?
11:23:27 ДП
User 2543313
Судя по стектрейсу - косяк гиде-то в коде монги
11:23:37 ДП
User 2543313
Но надо смотреть графички, да
11:23:37 ДП
User 114919556
User 2543313
Ну
а что вы имете ввиду против нулевого своппиинес ?
11:23:44 ДП
User 2543313
User 114919556
а что вы имете ввиду против нулевого своппиинес ?
Да ничего
11:24:03 ДП
User 2543313
Просто нулевой своппинес непонятно зачем нужен, если есть своп
11:24:18 ДП
User 131779045
своп не нужен
11:24:19 ДП
User 2543313
Он чтобы что? Чтобы у файлового кэша приоритет забрать?
11:24:25 ДП
User 131779045
своп на сервере никогда не нужен
11:24:28 ДП
User 114919556
ну вы почитайте как работает вытестнение, что такое оверкоммит и т д
11:24:38 ДП
User 114919556
станет понятно )
11:24:39 ДП
User 2543313
User 114919556
ну вы почитайте как работает вытестнение, что такое оверкоммит и т д
Ну мы в курсе, да
11:24:42 ДП
11:24:45 ДП
User 2543313
И что такое своппинес в курсе
11:25:00 ДП
User 2543313
Раза в три для начала
11:25:07 ДП
User 1534653
User 2543313
Судя по стектрейсу - косяк гиде-то в коде монги
у монги на редкость неинформативный код выхода. Она на любой косяк вылетает стрейсом с непонятным текстом
11:25:36 ДП
User 114919556
ну и если у вас процесс жрет дохрена памят ии считает что он лучше с ней управляется чем файловый кеш, зачем его толкать на диск ?
11:25:46 ДП
User 2543313
User 114919556
ну и если у вас процесс жрет дохрена памят ии считает что он лучше с ней управляется чем файловый кеш, зачем его толкать на диск ?
Низачем
11:25:54 ДП
User 2543313
Если он и правда так умеем
11:26:00 ДП
User 2543313
*умеет
11:26:16 ДП
User 2543313
Но проблема же не в том, что что-то вытолкнули на диск
11:26:23 ДП
User 2543313
А в pageins/pageouts per sec
11:26:37 ДП
User 114919556
ну мы же обычно долго оккпаем до правды. и как мягенькое влияние, это может быть эффективно
11:26:51 ДП
User 2543313
И, если памяти тупо не хватает - не поможет ничто
11:27:01 ДП
User 2543313
Ни своппинес, ни шмоппинес
11:27:14 ДП
User 114919556
а кто сказал что ее не хватает ?
11:28:14 ДП
User 114919556
может там у человека мониторинг бегает грепающий логи.
11:28:33 ДП
11:30:01 ДП
User 2543313
Кидайте нам графики от заббикса
11:30:05 ДП
User 2543313
На расклад по памяти
11:30:10 ДП
User 2543313
Иначе фиг че понятно
11:30:40 ДП
User 114919556
это правда... все советы выше вангование...
11:31:42 ДП
User 2543313
Пока можно оплог не трогать, если я верно читаю, его там 51G
11:31:49 ДП
User 2543313
Да - расклад по RAM нам pls
11:32:52 ДП
User 114919556
И помоему на пастебин когда постили там у трейса первые строчки самые важные забыли
11:46:36 ДП
User 1196602
c parse.com мигрировал кто-нибудь монгу к себе?
11:47:59 ДП
User 148583383
а файл сокета который делает unicorn в который смотрит nginx должен быть нулевым?
11:48:56 ДП
User 36243441
Как сделать атвоочистку логов апач 
Каждую неделю чищу 30гб логов
11:49:35 ДП
User 1196602
logrotate?
11:49:44 ДП
User 52383088
logrotate?
11:50:10 ДП
User 6178249
User 36243441
Как сделать атвоочистку логов апач 
Каждую неделю чищу 30гб логов
у тебя арабская локаль?
11:50:28 ДП
11:50:31 ДП
11:50:44 ДП
User 36243441
Это vesta cp столько логов делает
11:50:59 ДП
12:04:13 ПП
User 2543313
Не вижу, чтобы память кончалась
12:14:16 ПП
User 1534653
индексы пересобирает значит
12:14:19 ПП
User 1534653
смотрите логи
12:14:43 ПП
User 1534653
вам перевести? :)
12:16:06 ПП
User 1534653
она закончится, когда статус станет нормальным
12:16:12 ПП
User 1534653
но вообще, да - это финишная прямая
12:19:42 ПП
User 109531125
а может быть так, что кто-то пишет в обе реплики одновременно?
12:20:16 ПП
12:25:58 ПП
User 114919556
после того как он будет создавть каждый индекс, он будет досинкивать базу
12:26:17 ПП
User 114919556
потому что на время создания индекса репликация для данной коллекции будет заблокирвоанна
12:26:37 ПП
User 114919556
исключением будут индексы, созданные на мастере со флагом бэкграунд тру
12:58:01 ПП
User 114919556
кинь на пастебина ошибку полностью прихватив пару строк до.
01:08:20 ПП
User 1534653
волшебный гугл рекомендует `--repair`
01:08:20 ПП
User 1534653
http://stackoverflow.com/questions/31273977/mongo-db-invariant-failure
stackoverflow.com/questions/31273977/mongo-db-invariant-failure
Our DB of +- 400Gb is stopping on our one server. From the logs: 2015-07-07T09:09:51.072+0200 I STORAGE [conn10] _getOpenFile() invalid file index requested 8388701 2015-07-07T09:09:51.072+0200 ...
01:08:27 ПП
01:08:34 ПП
User 114919556
есть ощущение что у вас база побита.
01:08:38 ПП
User 114919556
а просто дамп с нее делается ?
01:08:54 ПП
01:09:23 ПП
User 1534653
я бы стопанул мастер, скопировал (на всякий пожарный) файлы и сделал --repair
01:09:39 ПП
User 1534653
скопировать лучше на соседний сервер, это могут диски сыпатся
01:09:45 ПП
User 114919556
не. достаточно попытаться сделать дамп на другой машине
01:10:00 ПП
User 114919556
дам нет ?
01:10:24 ПП
User 2543313
User 114919556
дам нет ?
Дам нет, ругаться матом можно!
01:10:29 ПП
User 2543313
Хотя, постойте
01:10:34 ПП
User 114919556
не делается. всмысле вы не делаете, или он тоже фейлится ?
01:11:12 ПП
User 114919556
баз много на ноде ?
01:11:51 ПП
User 1534653
стреляйтесь. С 90% вероятностью вы базу запороли, надо выводить из обслуживания, вешать заглушку
01:12:24 ПП
User 52383088
Вот сейчас прямо момент истины. А бекапы есть?
01:12:39 ПП
User 1534653
сказали же - дампа нет
01:12:58 ПП
User 1534653
картинку про бегемотика прислать?
01:13:23 ПП
User 1534653
дампить на другой сервак, ну в самом деле
01:13:28 ПП
User 1534653
один, небось?
01:13:59 ПП
User 1534653
ну поднять клиента на втором серваке и дампить туда, ну в самом деле
01:14:14 ПП
User 1534653
админы делятся на 2,5 группы. Добро пожаловать во вторую
01:14:30 ПП
User 1534653
что за данные хоть? Восстановить можно? Или что-то критичное?
01:14:40 ПП
User 83323330
<metallkaput> а что такое девопсы?
<musicpd> это такие хипстеры со смузями, кубернетами и прочими монгами в облаках.
<musicpd> у меня булшитометр от всего этого девопсного говна начинает зашкаливать секунд через 10.
<musicpd> а так, вощщем, это та же разработка/поддержка продакшена, только от хипстеров для хипстеров.
01:14:43 ПП
User 114919556
делайте дамп на ту машну, куда вы реплицировать базу пытаетесь
01:15:06 ПП
User 83323330
ты уже которую неделю страдаешь с монгой
01:15:14 ПП
User 52383088
Зато будет дамп с которого попозжеможно будет развернуть нормальный монго
01:15:22 ПП
User 114919556
стопаните там монгу, ремувните файлики базы.
01:15:26 ПП
User 114919556
и делайте дамп.
01:15:29 ПП
User 1534653
это отговорка. Всегда можно найти решение проблемы. Нет дополнительного винта - сходил в магазин, купил на свои, используй для бэкапов.
01:15:53 ПП
User 114919556
если база сдампится, дальше думать будем.
01:16:09 ПП
User 114919556
есть ощущение что она сможет развернутся. на 3ю с включенной компрессией.
01:16:23 ПП
User 52383088
Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо
01:16:33 ПП
User 114919556
просто для начала нужно понять. дампится она хоть как то или нет
01:16:50 ПП
User 1534653
вообще да, я бы рекомендовал следующий сценарий
- удалить slave
- сдампить базу на слейв
- остановить мастер
- сделать repair
- вернуть мастер
- грохнуть бэкап
- поднимать слейв
01:17:12 ПП
User 1534653
скорее всего второй этап вам не удасться. Тогда - останавливать мастер, копировать файлы на слейв и делать repair
01:17:14 ПП
User 114919556
User 52383088
Вот у вас сейчас задча какая - сделать чтобы все работало штатно или пдонять любыми усилиями текущее состояние монги? Это две разны задачи видимо
ну конечно, мы можем пытаться решить проблему, а можно быть как вы и говорить "сам дурак монгу взял"
01:17:16 ПП
User 52383088
сдампить + скопировать
01:17:20 ПП
User 1534653
потому, что repair может данные поломать
01:17:29 ПП
User 1534653
User 52383088
сдампить + скопировать
не влезет, писали выше
01:17:29 ПП
01:17:39 ПП
User 1534653
винты 1Т, база весит 0,75Т
01:17:42 ПП
User 52383088
User 1534653
не влезет, писали выше
Если копировать сразу с сжатием - влезет
01:17:44 ПП
User 114919556
репейр нихера не ломает.
01:17:50 ПП
User 114919556
репейр требуте х2 места
01:18:03 ПП
User 114919556
это как фул вакуум в монге любимой )
01:18:08 ПП
User 114919556
тьфу в постгре
01:18:09 ПП
User 52383088
User 114919556
репейр нихера не ломает.
У меня был кейс (на второй правда) когда репейр сломал базу
01:18:19 ПП
User 114919556
руки ваши базу сломали а не репейр )
01:18:43 ПП
User 114919556
как в процессе копирования можно сломать базу ? может она уже сломана была ?
01:18:56 ПП
User 52383088
User 1534653
винты 1Т, база весит 0,75Т
сжатие. Если у него первая версия движка то сжимая все что он дампит и копирует может в 400Гю влезть
01:19:02 ПП
User 1534653
User 114919556
репейр нихера не ломает.
у меня сломал один раз. Потер данные
01:19:22 ПП
User 114919556
_картинка дауни младшего закатывающего глаза_
01:19:34 ПП
User 1534653
User 114919556
как в процессе копирования можно сломать базу ? может она уже сломана была ?
если там один диск - то его могли просто покрошить физически. Особенно, если он SAS
01:19:44 ПП
User 2543313
Омг да драма
01:19:49 ПП
User 114919556
и причем тут репейр ?
01:19:49 ПП
User 52383088
User 114919556
как в процессе копирования можно сломать базу ? может она уже сломана была ?
после анклин шатдауна с вылетом батарейки на рейде (напряжение в ДЦ скакануло до 480) востсановление базы восстановило ее с другими _id
01:19:57 ПП
User 2543313
Лепра лавс да драма
01:20:00 ПП
User 114919556
правильно
01:20:09 ПП
User 114919556
выкиньте нахуй свои рейды с батарейками
01:20:14 ПП
01:20:17 ПП
User 52383088
Уже :)
01:20:27 ПП
User 83323330
User 114919556
выкиньте нахуй свои рейды с батарейками
шутник.
01:20:48 ПП
User 114919556
вы бы еще сказали "я уранил винт когда ставил в другой сервак" а потом репейр не смог восстановить мои данные.
01:21:00 ПП
User 1534653
User 114919556
и причем тут репейр ?
давайте не путать кислое с длинным, ок? История моя с репейром - это одно, а расколотый диск - совсем другое. У меня репейр в базе потерял небольшой кусочек данных, что-то порядка 2 гиг. Это было сырье, так что никто, в общем-то, не обидился
01:21:29 ПП
User 114919556
а зачем вы после одного в качестве примера приводите другое ? )
01:21:44 ПП
User 52383088
User 114919556
вы бы еще сказали "я уранил винт когда ставил в другой сервак" а потом репейр не смог восстановить мои данные.
ну суть проблемы в том что мы хз почему у него не корректная база. это может быть сыпящийся винт, может что-то еще. anyway сначала лучше сделать копию на другой диск
01:21:57 ПП
User 114919556
именно !
01:22:21 ПП
User 1534653
User 114919556
а зачем вы после одного в качестве примера приводите другое ? )
я не привожу пример :)
я только рекомендую ПЕРЕД repair сделать копию базы на случай, если этот repair что-то где-то поломает. Если не поломает - выдыхаем и удаляем спокойно копию
01:22:25 ПП
User 114919556
я и предлагаю на тот сервак на который репликацию пытается восстновить запустить атм mongodump
01:22:53 ПП
User 114919556
он все равно не сможет сделать его. места не хватит
01:22:57 ПП
User 114919556
это первое.
01:23:06 ПП
User 52383088
User 114919556
именно !
Упс, я вдруг пролистал выше и понял что ва не мне на предложение сначала скопировать потом чинить отвечали, прошу прощения
01:23:08 ПП
User 1534653
я писал о том же самом
01:23:15 ПП
User 1534653
процитировать мое старое сообщение?
01:23:16 ПП
User 114919556
возможно ему для начала помог бы compact а потом repair
01:23:23 ПП
User 1534653
дамп, стоп, рипейр
01:23:31 ПП
User 114919556
но у него баз много, и пусть он сам считает сможет ли ему компакт что покампактить ))
01:23:34 ПП
User 52383088
User 114919556
он все равно не сможет сделать его. места не хватит
Да почему? Делать дамп в аутпут который потом сжимать на лету перед записью
01:23:42 ПП
User 1534653
выкинь нафиг. У меня полка с SAS-дисками была, они мрут раз в месяц
01:24:01 ПП
User 1534653
User 52383088
Да почему? Делать дамп в аутпут который потом сжимать на лету перед записью
repair не сможет. Нужно 2х места
01:24:24 ПП
User 52383088
Я про копию и дамп в соседний сервер
01:24:54 ПП
User 114919556
User 52383088
Да почему? Делать дамп в аутпут который потом сжимать на лету перед записью
потому что это встроенная функция которая требует х2 места. Вы наверно хотите сказать что она ничем не отличается от dump\restore но мы и пытаемся попросить его это сделать )
01:25:07 ПП
User 114919556
пока что первую половину )
01:25:09 ПП
User 52383088
Я не про репейр
01:26:05 ПП
User 1534653
User 52383088
Я не про репейр
так не получится-то рипейр. Дамп на соседнюю машину просто
01:26:42 ПП
User 114919556
спокуха. все все поняли. человек молчит видимо гуглит как запустить монгодамп с соседней тачки либо делает уже )
01:27:05 ПП
User 52383088
Я предлагаю сделать на соседнюю машину дамп и копию. Потом, коль скоро дамп пройдет, можно либо пробовать (ну вдруг кому-то хочется) делать репейр либо просто накатить обратно сразу со сменой движка на wt
01:27:15 ПП
User 1534653
ну или морально готовится...
01:27:46 ПП
User 114919556
User 52383088
Я предлагаю сделать на соседнюю машину дамп и копию. Потом, коль скоро дамп пройдет, можно либо пробовать (ну вдруг кому-то хочется) делать репейр либо просто накатить обратно сразу со сменой движка на wt
а мотом долбать мозг себе, как же дифф накатить да ? )
01:27:58 ПП
User 114919556
потому что волы мы писать человечески не можем.
01:28:01 ПП
User 1534653
User 52383088
Я предлагаю сделать на соседнюю машину дамп и копию. Потом, коль скоро дамп пройдет, можно либо пробовать (ну вдруг кому-то хочется) делать репейр либо просто накатить обратно сразу со сменой движка на wt
очень медленно. Проще сделать slave на WiredTiger, сделать его мастером и поменять движок на бывшем master - получим master + slave на wired tiger
01:28:30 ПП
User 52383088
User 114919556
потому что волы мы писать человечески не можем.
Волы?
01:28:55 ПП
01:28:58 ПП
01:29:19 ПП
User 52383088
User 1534653
очень медленно. Проще сделать slave на WiredTiger, сделать его мастером и поменять движок на бывшем master - получим master + slave на wired tiger
ИМХО за 6 часов (проскакивала эта цифра) можно было сделать это
01:30:00 ПП
User 52383088
User 114919556
WAL
Я б сначала остановил прод ну или запланиовал все на ночь когда можно остановить
01:31:57 ПП
User 114919556
ну классно если им так можно, но обычно так нельзя. Или там могла быть история типа "мы возьмем монгу, сможем между разными инстансами базы переключаться в любой момент" и все такое )
01:32:41 ПП
01:32:47 ПП
User 134670515
тут тоже репликация
01:33:23 ПП
User 52383088
Мне сейчас кажется что визави попал в ситуацию когда у него не понимается слейв и так или иначе прод работает не штатно. Если совсем не останавливать для починки можно попасть в ситуацию полной неконсистентности и тоже будет не хорошо.
01:36:14 ПП
User 1534653
User 52383088
Мне сейчас кажется что визави попал в ситуацию когда у него не понимается слейв и так или иначе прод работает не штатно. Если совсем не останавливать для починки можно попасть в ситуацию полной неконсистентности и тоже будет не хорошо.
выше он приводил ошибку. Она с большой вероятностью указывает на битые файлы базы, из которых наш визави, видимо, просто не читает данные при штатном фунцкионировании системы. При дампе и репликации данные будут прочитаны везде и это вызывает падение сервереа
01:36:44 ПП
User 134670515
вот я тоже спрошу. Есть мускул М-S репликация(RBR+GTID). Происходит какая-то мистика - SHOW SLAVE STATUS показывает что репликация идет, но
01:37:00 ПП
User 134670515
1) внезапно скачет seconds behind master
01:37:21 ПП
User 134670515
2) на мастере пропадает SLAVE HOST и из процессов выпадает репликация
01:37:23 ПП
User 52383088
Если слейв не собирается тк мастер падает?
01:38:16 ПП
User 134670515
3) в логах жесть типа 2016-05-17T13:28:32.198251Z 11 [Note] Slave SQL thread for channel '' initialized, starting replication in log 'mysql-bin.000024' at position 495266629, relay log '/var/log/mysql/slave-relay-bin.000129' position: 4
2016-05-17T13:28:32.210972Z 10 [Note] Slave I/O thread for channel '': connected to master 'user@dhost:3306',replication started in log 'mysql-bin.000024' at position 495266629
01:38:41 ПП
User 134670515
2й день голову ломаю (
01:39:00 ПП
User 114919556
совпадение)
01:39:17 ПП
User 134670515
http://dl.dropbox.com/u/12617456/Selection_122.png на заббиксе лаг выглядит так
dl.dropboxusercontent.com/u/12617456/Selection_122.png
01:39:39 ПП
User 134670515
и да, тестоый апдейт не доезжает
01:47:45 ПП
User 109531125
http://risovach.ru/kartinka/9970372
01:54:43 ПП
User 1534653
у вас два варианта - вы выбираете время, останавливаете прод и чините базу ИЛИ повреждения базы распространяются дальше, вы теряете данные и лишаетесь прода в непредсказуемый момент. Выбирать - вам. Время играет против вас
01:55:56 ПП
User 1534653
мы это обсуждали выше. У вас падает тред из-за невозможности чтения файла базы. Скорее всего это означает повреждения файлов базы.
01:56:05 ПП
User 117516105
а вы не пробовали выключить и включить?
01:56:27 ПП
User 1534653
User 117516105
а вы не пробовали выключить и включить?
нельзя, писали же. 5х9 на одном сервере
01:57:20 ПП
User 117516105
это отсылка
02:15:23 ПП
User 131937508
Всем привет. Подскажите плиз ключевые слова для гугления, чтобы решить задачу: есть сервис на Python + Postgresql. Надо сделать второй сервер аналогичный и фронтенд перед ними поставить, чтобы в случае падения основного сервера фронтенд переключался на второй сервер. Запросы к серверу не http, просто tcp. Я так понимаю, что на Postgresql надо реплику настроить. Но вот как подойти к задаче, по распределению запросов к бэкэнду не совсем понимаю. Какой для этого софт использовать? И можно ли на Postgresql настроить Master - Master репликацию или на балансировщик прикрутить скрипт, который будет переключать базу из slave в мастер? Как правильней?
02:18:03 ПП
User 131937508
Чутка уточню: фронтенд просто пробрасывать пакеты должен и понимать, когда один из серверов ложится, чтобы предпринять какие-то действия
02:18:23 ПП
02:19:40 ПП
02:21:40 ПП
User 131937508
bdr норм в целом будет работать? (при условии, что я вдумчиво прочитаю документацию). Подводных камней никаких на практике не встречалось?
02:25:48 ПП
User 140231806
pgpool для балансировки
02:26:03 ПП
User 140231806
и  стриминг реплику
02:26:11 ПП
User 140231806
с фейловером
02:34:25 ПП
User 131937508
Я правильно понял, pgpool использовать в случае если сам сервис будет на фронтенде, а на бэкэндах чисто Postgresql? В случае же с  haproxy сервис остаётся на бэкэндах вместе с базой и тогда уже ключевое слово для гугления - bdr?
02:36:41 ПП
User 77274490
ребят, приветствую
а никто youtrack и gitlab не интегрировал?
что за сертификат он просит?
02:36:44 ПП
User 77274490
от чего?
02:37:05 ПП
User 140231806
pgpool - то пулер коннектов, в том числе
02:38:32 ПП
User 2309559
/stat@comstatbot
02:38:32 ПП
User 210944655
combot.org/chat/-1001030317489
02:39:59 ПП
User 57957656
@demeliorator демелиарирует
02:41:53 ПП
User 131937508
спасибо за ответы. Буду гуглить дальше
03:43:15 ПП
User 80734283
User 140231806
pgpool для балансировки
просто не используйте это
03:43:51 ПП
User 140231806
Почему?
03:43:53 ПП
User 80734283
лучше уж nginx в tcp режиме, а еще лучше haproxy с health-чекерами
03:45:35 ПП
User 80734283
потому что:
1. оно имеет встроенный парсер sql, для определения RO запроса от RW, который тормознутее pg-шного в 2 раза минимум
2. оно фризит коннеты до полного рестарта: был поймано за руку несколько раз, когда бакэнд pg читает данные из сокета и ожидает действий от pgpool, а pgpool считает что данные уже послал
03:45:37 ПП
User 2543313
Я нигде, НИГДЕ на Вашей картинке из заббикса не видел 100% занятой памяти
03:45:52 ПП
User 2543313
То, что кэш-память занимает всю свободную память - это не проблема!
03:46:00 ПП
User 2543313
linuxatemyram.com
03:46:44 ПП
User 2543313
User 131937508
Всем привет. Подскажите плиз ключевые слова для гугления, чтобы решить задачу: есть сервис на Python + Postgresql. Надо сделать второй сервер аналогичный и фронтенд перед ними поставить, чтобы в случае падения основного сервера фронтенд переключался на второй сервер. Запросы к серверу не http, просто tcp. Я так понимаю, что на Postgresql надо реплику настроить. Но вот как подойти к задаче, по распределению запросов к бэкэнду не совсем понимаю. Какой для этого софт использовать? И можно ли на Postgresql настроить Master - Master репликацию или на балансировщик прикрутить скрипт, который будет переключать базу из slave в мастер? Как правильней?
Patroni
03:47:13 ПП
User 80734283
User 131937508
Всем привет. Подскажите плиз ключевые слова для гугления, чтобы решить задачу: есть сервис на Python + Postgresql. Надо сделать второй сервер аналогичный и фронтенд перед ними поставить, чтобы в случае падения основного сервера фронтенд переключался на второй сервер. Запросы к серверу не http, просто tcp. Я так понимаю, что на Postgresql надо реплику настроить. Но вот как подойти к задаче, по распределению запросов к бэкэнду не совсем понимаю. Какой для этого софт использовать? И можно ли на Postgresql настроить Master - Master репликацию или на балансировщик прикрутить скрипт, который будет переключать базу из slave в мастер? Как правильней?
автоматом из 2 нод вы этого не сделаете. если и сделаете, то у вас посто сплит брейн рано или поздно
03:47:30 ПП
User 80734283
User 2543313
Patroni
хипстота :(
03:47:55 ПП
User 80734283
вот я хочу узнать почему у меня мастер умер
03:48:02 ПП
User 80734283
а эта *&^% перельет его
03:48:07 ПП
User 80734283
вместе с моими данными
03:48:20 ПП
User 2543313
User 57957656
@demeliorator демелиарирует
03:48:21 ПП
User 80734283
нет уж извольте, я лучше монгой обмажусь, чем pg+patroni
03:48:41 ПП
User 2543313
User 80734283
вот я хочу узнать почему у меня мастер умер
Век бы не знать
03:48:48 ПП
03:49:00 ПП
User 80734283
данные бывают нужны :)
03:49:13 ПП
User 2543313
Ну - логи откатывать куда-то?
03:49:23 ПП
User 2543313
А - прям данные? Ну тогда сорян
03:49:27 ПП
User 2543313
Не патрони тогда
03:52:52 ПП
User 80734283
но может гоню, по крайней мере это было месяца 3-4 назад, у них данные старого мастера просто в утиль кидались.
сейчас проект стал большой, уже не вижу этого
03:57:04 ПП
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
03:57:30 ПП
User 80734283
да и вообще все решения без нормального фенсинга - это как писать против ветра.
вот стопают они мастер, который остался один чере pg_ctl stop, а кто гарантирует что это произойдет, кто клиентов поганой метлой погонит?
03:57:53 ПП
User 2543313
А чем тебе etcd не фенсинг?
03:57:56 ПП
03:57:57 ПП
User 2543313
Ну да
04:12:43 ПП
User 114919556
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
гавно какое, еще небось стоило как самолет.
04:14:35 ПП
User 114919556
за эти же деньги наверняка можно было купить SSD на 960gb
04:16:34 ПП
User 6178249
я слышал что чем круче ссд, тем выше скорость и меньше срок службы
04:17:04 ПП
User 114919556
можешь почитать отчет гугла.
04:17:30 ПП
User 114919556
и сравнить цыфорки оттуда с последним отчетом бэкблейза за этот квартал
04:17:40 ПП
User 61759754
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
можно складывать на них весь мир
04:18:48 ПП
User 6178249
а еще слышал что раид 1 на одинаковых ссд бессмысленно
04:19:26 ПП
User 6178249
гугл про это ниче не говорил ?
04:20:04 ПП
User 114919556
нет они измеряли "отказоустойчивость" дисков
04:23:32 ПП
User 61759754
User 6178249
а еще слышал что раид 1 на одинаковых ссд бессмысленно
trim развенчивает этот миф
04:23:59 ПП
User 6178249
User 61759754
trim развенчивает этот миф
по-моему нет
04:24:14 ПП
User 6178249
это ж просто аля вакуум в pgsql?
04:24:23 ПП
User 61759754
в разные местечки же суёт
04:24:53 ПП
User 6178249
тогда надо на одном делать а на другом нет
04:25:20 ПП
User 202227142
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
К исполнению закона яровой готовимся? :)
04:26:24 ПП
User 61759754
User 202227142
К исполнению закона яровой готовимся? :)
лол, это про цоды операторов на логи в стиле АНБ?
04:27:00 ПП
User 2543313
User 114919556
за эти же деньги наверняка можно было купить SSD на 960gb
Федеральной Налоговой похуй эти ваши оптимизации
04:27:14 ПП
User 2543313
User 61759754
можно складывать на них весь мир
Так и делаем же
04:27:51 ПП
User 202227142
User 61759754
лол, это про цоды операторов на логи в стиле АНБ?
АНБ до нее далеко!
04:27:51 ПП
User 2543313
Можно складывать на них вейз мир
04:36:06 ПП
User 4627228
User 114919556
а ваще вот ) http://www.devopsbookmarks.com/ci
devopsbookmarks.com/ci
Discover the latest devops tools and frameworks
Огонь
04:37:01 ПП
User 4627228
Парни, а в чём порисовать можно архитектуру?
04:37:19 ПП
User 131779045
я в graphviz всегда
04:37:25 ПП
User 114919556
omnigraffle / visio / dia для бедных
04:39:16 ПП
User 4627228
Graphviz как-то секси схемы :\
04:41:51 ПП
User 131779045
рисунки реально получаются ugly
04:41:56 ПП
User 131779045
но - быстро
04:42:39 ПП
User 4627228
Вот что то такое
04:42:43 ПП
04:43:02 ПП
04:43:06 ПП
User 4627228
Или вот это
04:44:41 ПП
User 2895769
мне Gliffy Diagrams для схемок нравится
04:45:02 ПП
User 2895769
app к хрому
04:45:57 ПП
User 103541858
User 4627228
на второй картинке https://www.draw.io/ . Им можно онлайн пользоваться.
04:46:07 ПП
User 2895769
ну и всякий BPM софт, конечно)
04:48:09 ПП
User 2895769
эти схемки можно нарисовать в BonitaBPM, а потом там же и реализовать (это будет на Java в итоге)
04:50:32 ПП
User 4627228
User 103541858
на второй картинке https://www.draw.io/ . Им можно онлайн пользоваться.
Да, именно его я для этой схемы и использовал, но он был на Flash :\
04:51:01 ПП
User 2895769
cacoo ещё неплохой, но тоже на флеше
04:51:05 ПП
User 4627228
User 2895769
мне Gliffy Diagrams для схемок нравится
Вроде гуд :)
04:51:33 ПП
User 40348910
User 4627228
Вроде гуд :)
он по началу гуд. а потом с путями стрелочек трахаешься.
04:53:17 ПП
User 2895769
User 40348910
он по началу гуд. а потом с путями стрелочек трахаешься.
а чем пользуешься?
04:53:30 ПП
User 40348910
увы. им же :)
04:53:52 ПП
User 40348910
просто скинул уровень запросов :(
04:54:58 ПП
User 71400098
+1 к draw.io
draw.io
draw.io is a free online diagramming application and flowchart maker . You can use it to create UML, entity relationship, org charts, BPMN and BPM, database schema and networks. Also possible are telecommunication network, workflow, flowcharts, maps overlays and GIS, electronic circuit and social network diagrams.
04:55:31 ПП
User 1196602
да он удобный + есть апп в хром, чтобы оффлайн
04:55:43 ПП
User 103541858
User 4627228
Да, именно его я для этой схемы и использовал, но он был на Flash :\
Так и есть. А рисовать надо с iphone?
04:56:32 ПП
User 71400098
С микроволновки
05:18:47 ПП
User 114919556
Еще одна звезда )))
05:25:00 ПП
User 125983057
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
Хоботов, это мелко!
05:58:23 ПП
User 83323330
User 2543313
Дисковая подсистема  включает 24 жестких дисков   1.2 ТВ 6G SAS 10K rpm;

А чего добились вы?
Говно
06:27:35 ПП
User 108693562
https://www.youtube.com/watch?v=evE4SpLRl78
youtube.com/watch?v=evE4SpLRl78
Web page - http://topinambur.org.ua Facebook - https://www.facebook.com/Gr.Topinambur Twitter - https://twitter.com/topinambur Instagram - https://instagram....
06:29:05 ПП
User 2543313
User 83323330
Говно
Обоснуйте
06:32:31 ПП
User 83323330
User 2543313
Обоснуйте
Ну было бы модное нынче allflash
06:32:40 ПП
User 83323330
Вот тогда бы было круто
06:41:04 ПП
User 2114512
ну вроде такие харды необосновано дорого стоят, не очень надёжны, не?
06:42:19 ПП
User 2543313
User 83323330
Вот тогда бы было круто
Я передам
06:43:02 ПП
User 2543313
User 2114512
ну вроде такие харды необосновано дорого стоят, не очень надёжны, не?
А при чем здесь надежность?
06:44:13 ПП
User 2114512
User 2543313
А при чем здесь надежность?
да так, вброс :D
09:08:10 ПП
User 196895
наброшу немножк
09:08:23 ПП
User 196895
кто пользует в проде Tengine из присутствующих шестисот ?
09:09:13 ПП
User 71400098
После нашествия vc, я думаю вероятность упала ниже 1%.
09:10:39 ПП
User 83323330
User 196895
кто пользует в проде Tengine из присутствующих шестисот ?
Лучше просто nginx
09:10:54 ПП
User 196895
User 83323330
Лучше просто nginx
Ты рекомендуешь, потому что попробовал его использовать в проде?
09:11:01 ПП
User 196895
его == Tengine
09:11:32 ПП
User 196895
я не холивара ради
09:12:23 ПП
User 196895
просто тут подумалось... китайцы же не идиоты ведь использовать всякую срань на своих серверах. а таобао и их проекты - это как миллионы хабрахабров в одном лице. бОльшего хайлоада чем у китайцев нет нигде
09:12:32 ПП
User 196895
baidu > google если чё
09:12:37 ПП
User 24076505
User 196895
Ты рекомендуешь, потому что попробовал его использовать в проде?
Лучше расскажите что произошло, что вы решили попробовать в проде Tengine :)
09:13:14 ПП
User 196895
User 24076505
Лучше расскажите что произошло, что вы решили попробовать в проде Tengine :)
в каком-то смысле я это объяснил только что чуть выше
09:13:35 ПП
User 196895
необоснованый холивар к хуям 😊 мне нужны реальные тру стори
09:13:41 ПП
User 24076505
Т.е. "ну, наверное оно лучше", так что ли?
09:14:31 ПП
User 24076505
User 196895
необоснованый холивар к хуям 😊 мне нужны реальные тру стори
никакого холивара, я просто спросил :)
09:15:24 ПП
User 196895
да я на всякий случай ))) на самом деле мне просто тупо стало интересно. у них нагрузки тысячекратно превосходят любые наши нагрузки. при этом редко что вылетает.
09:15:25 ПП
User 196895
так-то
09:33:10 ПП
User 114919556
а байду боььше гугла ? где написали ?
09:43:00 ПП
User 196895
afaik суточный трафик гугла - это чуть меньше половины суточного трафика байду.
09:43:18 ПП
User 196895
но инфа нуждается в уточнении 😊 источник ненадёжный
09:47:14 ПП
User 196895
https://habrahabr.ru/post/158591/
это вот например конец 2012 года.
habrahabr.ru/post/158591
Вот есть в России VK и Яндекс. Всё у них замечательно, молодцы вообще ребята: и предельно высокая посещаемость, и сложность инфраструктуры, и применяемые...
10:03:40 ПП
User 36243441
https://m.habrahabr.ru/post/158591/comments/#comment_5441349
10:03:44 ПП
User 36243441
В голос просто
10:15:22 ПП
User 2543313
User 196895
кто пользует в проде Tengine из присутствующих шестисот ?
Tengine vs Openresry => fight
10:21:29 ПП
User 2895769
tengine в 3 раза популярнее
10:21:56 ПП
User 2895769
судя по репозиториям (лайки, форки)
10:22:50 ПП
User 2895769
а у openresty сайт посимпатичнее :-))