@devops_ru
DevOps — русскоговорящее сообщество

Общаемся на темы DevOps, мониторинга, метрикам и облакам. Новости. См. также: @kubernetes_ru, @docker_ru, @rkt_ru, @coreos_ru, @ceph_ru, @openstack_ru Новости: @devops_news Вакансии и поиск работы: @devops_jobs Рекомендуем сразу отключить уведомления.

5075 members

Архив канала @devops_ru 22 апреля 2016 г.

04:22:37 ДП
04:22:41 ДП
User 69955272
С пятничкой, комрады
04:22:55 ДП
User 69955272
Не вздумайте деплоиться сегодня — чревато
04:37:25 ДП
User 114919556
фу таким быть.
04:38:02 ДП
User 114919556
больше деплоев богу деплоев, во все времена.
04:53:18 ДП
User 104477
Специально из отпуска по удаленке зайду и задеплою что-нибудь
06:52:52 ДП
User 51019704
Не решили вчера, чем (E)L в ELK заменить можно? )
07:47:23 ДП
User 93666940
Шалом котаны
07:56:09 ДП
07:56:45 ДП
User 93666940
Ооо, тут половина чата наверное из соседних :D
08:27:17 ДП
User 61055985
User 93666940
Ооо, тут половина чата наверное из соседних :D
Стран?
08:27:32 ДП
User 93666940
чатиков
08:27:45 ДП
User 61055985
User 93666940
чатиков
Ага, я с python пришел:)
08:32:03 ДП
User 52383088
Может утром кто подскажет почему если сначала делать git clone, а потом эту папку в Dockerfile COPY то кеш потом не используется? Что я делаю не так?
08:36:12 ДП
User 49750626
Подскажите, ребят, а зачем в тг чятик, если есть на slack? Или vice versa, если угодно
08:36:30 ДП
User 49750626
Я именно про devops тусовочку
08:40:15 ДП
User 151230728
Нужна помощь зала.. зач
08:40:34 ДП
User 151230728
зала - зацените заявку на доклад от -5 до +5 http://devconf.ru/ru/offers/offer/90
devconf.ru/ru/offers/offer/90
В докладе мы рассмотрим методологию ChatOps — от краткой истории чат-ботов к практическим примерам — и коснемся вопросов, интересных как новичкам, так и тем, кто уже настраивал интеграцию сервисов в Slack или HipChat. — Краткая история чат-сервисов и ботов: от IRC-канала #BUKTOPUHA до HipChat Connect. — ChatOps: DevOps + чат. Преимущества и недостатки, примеры. — Опыт коллег: управление инцидентами в GitHub. — API современных чат-сервисов: Slack API, HipChat Connect. — Боты и ChatOps-сервисы: Hubot, Lita, Cog, StackStorm.
08:41:05 ДП
User 151230728
А то чел терроризирует оргкомитет войдет его заявка или нет.. ему билеты покупать надо..
08:45:38 ДП
User 40431235
Интересно
08:45:41 ДП
08:47:07 ДП
User 196895
User 49750626
Подскажите, ребят, а зачем в тг чятик, если есть на slack? Или vice versa, если угодно
Потому что телеграм это мирк. А слака для работы, там не до чатов ))
08:51:09 ДП
08:51:29 ДП
User 49750626
User 196895
Потому что телеграм это мирк. А слака для работы, там не до чатов ))
Т.е. если я devops wannabe с кучей банальных вопросов, мне в тг?
08:51:44 ДП
User 154348275
+2 на уровне ну ок
08:53:53 ДП
User 196895
User 49750626
Т.е. если я devops wannabe с кучей банальных вопросов, мне в тг?
Stackoverflow для начала, а вообще что за вопрос? Везде надо быть, а потом сам уже решишь какой поток информации тебе нужен
08:54:46 ДП
User 196895
+2 но надо добать супер группы телеграма
08:56:28 ДП
User 49750626
Тю. StOv, это скорее по техническим ньюансам. А в целом, когда надо понять идею и придумать, как её адаптировать в своём ентерпрайзе… но это кмк лучше вообще начать на какой-нибудь оффлайн-встрече. В этом чате такие бывают?
09:12:24 ДП
User 405474
User 49750626
Подскажите, ребят, а зачем в тг чятик, если есть на slack? Или vice versa, если угодно
ну для начала есть gitter, а не слак. слак для лохов :-P
09:12:42 ДП
09:13:13 ДП
User 405474
User 196895
Потому что телеграм это мирк. А слака для работы, там не до чатов ))
для работы MatterMost, а не слак. Вот ещё - работу держать хрен знает где хрен знает у кого.
09:13:39 ДП
User 405474
А для внешних контактов Telegram secret chats
09:13:51 ДП
User 405474
Ну или скайп = это уж как клиенту будет угодно
09:18:22 ДП
User 101025818
скайп - это боль
09:19:12 ДП
User 154348275
пока невстретишь ms only клиента с корпоративным скайпом
09:19:26 ДП
User 154348275
что еще большая боль
09:20:16 ДП
User 101025818
User 154348275
пока невстретишь ms only клиента с корпоративным скайпом
У меня такие на работе
09:21:41 ДП
User 101025818
Мы небольшой командой в 10 человек пересели на slack.
Вполне себе норм используем. Пара тройка хуков и все. ИСпользуем как обычный чатик. Всех устраивает
09:30:16 ДП
User 114919556
Вы еще интернет свой заведите, а то тоже не пойми через кого все ходит.
09:30:30 ДП
User 49750626
Уточню, в своём вопросе про слак имелся в виду общий девопс чатик, а не частный случай коллективов.
09:37:05 ДП
User 32832678
User 114919556
Вы еще интернет свой заведите, а то тоже не пойми через кого все ходит.
Мы небольшой командой пересели на свой интернет. Вполне себе норм. Пара роутеров и все. Используем обычный ethernet, всех устраивает.
09:38:18 ДП
User 32832678
Поэтому поводу у меня вопрос, тут флудильня с обсуждениями DevOps штук вперемешку со смехуечками или тут серьезные вопросы надо задавать и серьезные ответы отвечать?
09:39:56 ДП
User 52383088
пока на серьезные вопросы ответов не было
09:43:05 ДП
User 2543313
Про слак все просто
09:43:12 ДП
User 2543313
У меня всего 8G памяти на ноутбуке
09:43:23 ДП
User 2543313
Вы же знаете, что представляет из себя десктопный слак-клиент?
09:44:59 ДП
User 6931850
> всего 8G
09:45:33 ДП
User 154348275
32G это норма ))
09:46:00 ДП
User 154348275
у нас вообще слак невзлетел
09:52:53 ДП
User 2543313
User 32832678
Поэтому поводу у меня вопрос, тут флудильня с обсуждениями DevOps штук вперемешку со смехуечками или тут серьезные вопросы надо задавать и серьезные ответы отвечать?
Серьезных вопросов я знаю всего два
09:53:08 ДП
User 2543313
И я очень давно не видел, чтобы их в чатах задавали
09:53:34 ДП
User 51019704
пришло время задать
09:54:11 ДП
User 116740473
Just4fun при выше всего, согласен с Александром
09:54:31 ДП
User 154348275
А что это за вопросы ?
09:54:47 ДП
User 116740473
На которые отвечают 17
09:54:58 ДП
User 2543313
“Хули ты здесь трешься?” и “Кого знаешь?”
09:55:38 ДП
09:55:43 ДП
User 2543313
Вот это - серьезные вопросы
А для всех остальных вопросов есть StackExchange
09:55:44 ДП
User 51019704
это слово на "е" кончается
09:55:47 ДП
09:55:55 ДП
User 2543313
User 51019704
это слово на "е" кончается
Да лан
09:56:13 ДП
User 116740473
У нас на районе на "и"
09:56:15 ДП
User 2543313
Кофе вон сделали среднего рода
09:56:21 ДП
User 51019704
агрумент
09:56:26 ДП
User 2543313
User 116740473
У нас на районе на "и"
Респект пацанам
10:08:19 ДП
User 59011046
User 151230728
зала - зацените заявку на доклад от -5 до +5 http://devconf.ru/ru/offers/offer/90
devconf.ru/ru/offers/offer/90
В докладе мы рассмотрим методологию ChatOps — от краткой истории чат-ботов к практическим примерам — и коснемся вопросов, интересных как новичкам, так и тем, кто уже настраивал интеграцию сервисов в Slack или HipChat. — Краткая история чат-сервисов и ботов: от IRC-канала #BUKTOPUHA до HipChat Connect. — ChatOps: DevOps + чат. Преимущества и недостатки, примеры. — Опыт коллег: управление инцидентами в GitHub. — API современных чат-сервисов: Slack API, HipChat Connect. — Боты и ChatOps-сервисы: Hubot, Lita, Cog, StackStorm.
я б на такое не шел, потому что тысячу и один раз терли уже на эту тему
10:11:37 ДП
User 2543313
User 59011046
я б на такое не шел, потому что тысячу и один раз терли уже на эту тему
Это потому, что ты сам докладчик
10:11:45 ДП
User 2543313
А в зале люди будут разные
10:15:58 ДП
User 49750626
Простите, я опять подкину на вентилятор. А может в Discord тоже DevOps тусовка есть?
10:22:49 ДП
User 114919556
вобще я честно говоря не понимаю как через чатик дейсвительно "управлять" чем то.
10:23:06 ДП
User 114919556
триггеры разные дергать, да согласен. А вот смотреть графики из мониторинга через чатик.... ну хз как то.
10:25:01 ДП
User 40348910
Господа а скажите как лучше из supervisord отправить syslog на удаленный хост ?
10:25:35 ДП
User 40348910
я так понимаю у супервисорд есть только опция отдать в сислог. но его перехватывает журналд
10:25:50 ДП
User 40348910
и тут чо то у меня не скалдывается пазл
10:27:20 ДП
User 59011046
User 114919556
триггеры разные дергать, да согласен. А вот смотреть графики из мониторинга через чатик.... ну хз как то.
ну а что? Та пишешь - покажи где херня и тебе сразу все графики на которых данные выше тригера
10:28:00 ДП
User 114919556
ну когда проблема он же слишком дохера покажжет не ? )
10:28:46 ДП
User 59011046
ну так ты тогда пишешь - "покажи где херня, но только самое важное"
10:28:57 ДП
User 59011046
а потом пишешь - "почини" и всё чинится
10:30:45 ДП
User 51019704
а потом лезешь по ssh и чинишь то, что "починил" бот ^^
10:32:17 ДП
User 114919556
User 40348910
Господа а скажите как лучше из supervisord отправить syslog на удаленный хост ?
Помоему не супервизор, не системд(журнал) так до сих пор не умеют. Поэтому приходится просто в файлик / socket и из него уже читать syslog-ng/rsyslog
10:33:44 ДП
10:33:49 ДП
User 40348910
ну тоже вариант
10:48:22 ДП
User 40348910
User 114919556
Помоему не супервизор, не системд(журнал) так до сих пор не умеют. Поэтому приходится просто в файлик / socket и из него уже читать syslog-ng/rsyslog
видимо так вот https://github.com/infoxchange/supervisor-logging
github.com/infoxchange/supervisor-logging
supervisor-logging - Logging plugin for Supervisor
10:53:24 ДП
User 114919556
ну так то да, но из коробки никак ) 
11:13:31 ДП
User 4627228
User 151230728
зала - зацените заявку на доклад от -5 до +5 http://devconf.ru/ru/offers/offer/90
devconf.ru/ru/offers/offer/90
В докладе мы рассмотрим методологию ChatOps — от краткой истории чат-ботов к практическим примерам — и коснемся вопросов, интересных как новичкам, так и тем, кто уже настраивал интеграцию сервисов в Slack или HipChat. — Краткая история чат-сервисов и ботов: от IRC-канала #BUKTOPUHA до HipChat Connect. — ChatOps: DevOps + чат. Преимущества и недостатки, примеры. — Опыт коллег: управление инцидентами в GitHub. — API современных чат-сервисов: Slack API, HipChat Connect. — Боты и ChatOps-сервисы: Hubot, Lita, Cog, StackStorm.
+5 отличный доклад и очень в тренде
12:21:20 ПП
User 43362802
Минука - жизненных картин - http://classicprogrammerpaintings.com/
12:22:52 ПП
User 43362802
fix: *Минутка )
12:40:23 ПП
User 40348910
в продолжении темы про ELK а кто нить льет логи в mongo ?
12:40:31 ПП
User 40348910
и если льет чем от туда их потом выгребает
12:41:17 ПП
User 18521410
лил, не лью, и вам не советуюю :)
12:41:47 ПП
User 40348910
а почему ?
12:42:01 ПП
User 133930675
User 18521410
лил, не лью, и вам не советуюю :)
+1
12:44:17 ПП
User 18521410
User 40348910
а почему ?
У вас не будет проблем (почти) ровно до момента поднятия кластера монги. Ну разве что с oplog. После вы познаете дзен :) 

Если монга у вас на аутсорсе, да как saas, то еще как-то жиь будет можно. Именно как-то. 

В то же время ноды ES можно клепать как пирожки, особо каких-то проблем с кластером нет. Даже если вы решили бить на много шардов индексы.
12:45:42 ПП
User 40348910
ага. если монга выделенная под логи, а логи с ttl index есть смысл продолжать ?
12:46:46 ПП
User 18521410
User 40348910
ага. если монга выделенная под логи, а логи с ttl index есть смысл продолжать ?
Имхо, лучше и не начинать.  Ну вот у тебя случается всплеск по логам, что делать?
12:47:50 ПП
User 1534653
описанный сценарий повторяет архитектуру грейлога примерно пятилетней давности
12:48:43 ПП
User 40348910
писать логи сначала в nsq а потом скидывать их в mongo
12:50:14 ПП
User 18521410
User 40348910
писать логи сначала в nsq а потом скидывать их в mongo
Пожалуй я готов вам посочувствовать :) Простите за некое тролололо :)
12:50:53 ПП
User 40348910
ок. ничего. на публичных каналах тролло привычно :)
12:51:05 ПП
User 40348910
однако вопрос был чем их от туда достовать ?
12:51:23 ПП
User 18521410
User 40348910
ок. ничего. на публичных каналах тролло привычно :)
Какая причина у вас, усложнять себе жизнь?
12:51:47 ПП
User 40348910
не хочется тащить java в стек
12:52:48 ПП
User 18521410
То есть трахаться с монго - это норм? А вполне себе работающая java, где еще все вполне контейнеризируется, это проблемно?
12:53:05 ПП
User 154348275
мм а cloudwatch логи дорого ?
12:53:34 ПП
User 40348910
в папблик отдавать нельзя пока.
12:54:02 ПП
User 40348910
да я учитываю вариант контейниризации джавы
12:54:43 ПП
User 154348275
я понимаю людей выкидывающих логстеш и кибану, но эластик вроде вполне нормально работает
12:55:21 ПП
User 40348910
логстеш да, мы можем вполне выкинуть просто перейдя на логирование сразу в json формате
12:55:27 ПП
User 18521410
Я перебрал несколько вариантов с логами, на текущий момент у меня порядка 5000 log-event/sec, и ничего кроме ELK не подошло. 

Причем, по факту, проще и стабильнее было перевести часть логов с GELF/file, на flume/kafka, и притянуть еще zookeeper. И все это работает без нареканий, не смотря на java.
12:55:30 ПП
User 40348910
а за что выбрасывать кибану ?
12:56:02 ПП
User 40348910
как раз кибана это сильный аргемент за elk без l
12:56:18 ПП
User 18521410
logstash порядоччно допилили. Он у меня делает для части логов дупликацию, так как я логи кладу в ES и в cassandra
12:56:44 ПП
User 154348275
коллеге нужно было 25 дашбоардов заскриптовать, в графане он смог это сделать в отличии от
12:57:00 ПП
User 40348910
а кстати да.
12:57:14 ПП
User 40348910
графана же теперь умеет из еластика достатвать события
12:58:20 ПП
User 18521410
User 154348275
коллеге нужно было 25 дашбоардов заскриптовать, в графане он смог это сделать в отличии от
Не вижу проблемы json клепать. Хотя согласен с тем, что для графаны попроще.
12:58:46 ПП
User 40348910
а она из еластика может только события или и данные для рисунков ?
01:00:51 ПП
User 18521410
у еластика ыла статья, вплоть как time series хранить в их стеке
01:15:29 ПП
User 114919556
А какие проблемы с кластером монги ? Расскажите как ) 
01:15:39 ПП
User 114919556
если мы говорим про 2.8+
01:15:54 ПП
User 114919556
и именно про RS а не про shard
01:16:15 ПП
User 114919556
да и про shard в 3.0+расскажите, что там такого совсем не работающего ? 
01:17:51 ПП
User 18521410
@ptchol Владимирским привет :) Я еще на своей прктике не видел, и не хочу, работающий стабильно и долго кластер монги.  Я не утверждаю, что его нет в природе или нельзя настроить. Я не видел, а мой опыт с монгой, не сильно большой и на сегоня устарелый, говорит, что с ней лучше не связываться.
01:18:13 ПП
User 114919556
=) ну привет 
01:18:46 ПП
User 114919556
На прошлой работе был шард на 30 с копейками нод маленьких, суммарно под 3тб данных налито.
01:18:56 ПП
User 114919556
РСов не счетное кол-во. все это работало в RTB
01:19:24 ПП
User 114919556
но я нацеленно не хочу слушать претензии к версиям, ниже чем упомянул.
01:19:32 ПП
User 1534653
монго хорошая штука (ок, не хорошая - просто неплохая). но для хранения логов нужно что-то с более быстрым и удобным поиском, ИМХО
01:19:33 ПП
User 114919556
там было печально все, согласен.
01:19:48 ПП
User 114919556
это другой вопрос.
01:19:59 ПП
User 114919556
мы же про сложить а не про прочитать ) 
01:20:20 ПП
User 1534653
логи надо не только сложить, их надо еще и прочитать
01:20:30 ПП
User 1534653
сложить-то их и в файловую систему можно, какие проблемы
01:20:43 ПП
User 114919556
и вариант с NSQ вроде бы совсем не плох. у нас точно также сейчас стоит kafka перед ES. Ну ну кашка, ну nsq какая разница какой брокер, если люди его умеют ? 
01:21:36 ПП
User 18521410
Про версии ХЗ. Последнне что я видел, это была середина 2014 года, стояла последня stable на тот момент, 7-8 Тер данных, r/w примерно 9 к 1. заподозрить, что чувак не умкел готовить монгу могу, но с трудом. Работало это все …. мягко говоря не стабильно.
01:22:04 ПП
User 114919556
полагаю это последнии версии 2.6
01:22:17 ПП
User 114919556
или не последние даже. Но да. тогда было не очень.
01:23:14 ПП
User 18521410
Вполне может быть. Я к монге предпочитаю не прикасаться. Да и отзывы, с того времени, ну ни как не радужные. Полагаю и от тех, кто 3+ использует.
01:31:25 ПП
01:31:25 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
01:34:28 ПП
01:34:28 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
01:38:44 ПП
User 150053464
/stat@comstatbot
01:38:44 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
01:40:33 ПП
User 2543313
Удивительные дела, конечно
01:40:43 ПП
User 2543313
Кто-то не хочет тащить в стек джаву, кто-то монгу
01:40:54 ПП
User 2543313
Мы так никогда гармонии не добьемся
01:41:08 ПП
User 2543313
Чтобы one world, one stack, one leader
01:41:57 ПП
User 51019704
это разве плохо?
01:42:13 ПП
User 51019704
то, что не добъёмся гармонии
01:42:16 ПП
User 2543313
В Германии 39-го считали, что плохо
01:42:28 ПП
User 2543313
И монгу да
Монгу я бы сжег
01:47:28 ПП
User 1534653
как, тебе не нравится интерфейс на javascript? :)
01:48:33 ПП
User 18521410
….вы не хотите поговорить о Боге …. прям дежа вю )
01:49:57 ПП
User 62492298
А есть какие-нибудь GUI вокруг для докера, наподобе админок для хостингов: Ajenti, ISP Manager?
01:50:35 ПП
User 18521410
User 62492298
А есть какие-нибудь GUI вокруг для докера, наподобе админок для хостингов: Ajenti, ISP Manager?
rancher 
Weave Scope
01:53:18 ПП
User 114919556
@durob
http://shipyard-project.com/walkthrough/ ?
01:54:12 ПП
User 18521410
User 114919556
@durob
http://shipyard-project.com/walkthrough/ ?
красивенько сделали
01:54:35 ПП
User 18521410
Прям даже тематичненько
01:56:06 ПП
User 51019704
User 114919556
@durob
http://shipyard-project.com/walkthrough/ ?
неплохо выглядит..
02:01:00 ПП
02:01:00 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
02:02:22 ПП
02:02:22 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
02:03:52 ПП
02:03:53 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
02:25:35 ПП
User 104776915
Всем привет!   Зашел в чат поискал по запросу Calico и был удивлен отсутствием такового, зато про Docker , наверное, каждый писал
02:36:38 ПП
02:37:11 ПП
User 1534653
"абыдна, да?" :)
02:38:07 ПП
User 104776915
Хороший вопрос!    В своей комманде тестируем ее и будем использоваться в мультихост docker swarm
02:38:39 ПП
User 18521410
сеть в докере не так интересно, как управление volumes
02:38:50 ПП
User 59011046
сеть в докере это очень интересно :)
02:39:03 ПП
User 104776915
" управление volumes"   это следующий больНой вопрос
02:39:55 ПП
User 18521410
А вот у меня он пока единственный.
02:39:55 ПП
User 59011046
ну тогда ещё сюда закину - есть такая тема, я не гонял, но хочу, отзывы на него хорошие https://github.com/emccode/rexray
github.com/emccode/rexray
rexray - REX-Ray provides a vendor agnostic storage orchestration engine.
02:40:32 ПП
User 18521410
Ну эт не решение, для внутренней инфраструктуры
02:40:48 ПП
User 104776915
User 18521410
А вот у меня он пока единственный.
а какие требования к volume?
02:42:34 ПП
User 18521410
есть данные, есть облако, как максимально кошерно их тянуть к контейнерам. 
Ясное дело, что можно поизвращаться с ceph/gluster, или, прости господи, flocker. Но пока каких-то внятных бест практис я не нашел.
02:43:00 ПП
02:43:17 ПП
User 104776915
я думал в будущем попробовать  flocker + ceph ...
02:44:02 ПП
User 18521410
User 154348275
s3 же
для внутренеей инфраструктуры.
02:44:18 ПП
User 18521410
User 104776915
я думал в будущем попробовать  flocker + ceph ...
если есть ceph, то зачем flocker…
02:44:34 ПП
User 104776915
так storage driver для докера
02:45:07 ПП
User 18521410
так там и как папку маунтить можно.
02:45:32 ПП
02:45:52 ПП
User 104776915
так а кто будет создавать блочные устройства?    flocker же для этого как раз нужен, разве нет?
02:46:03 ПП
User 1534653
s3 не блочный
02:46:35 ПП
User 104776915
я про ceph
02:46:53 ПП
User 18521410
User 104776915
так а кто будет создавать блочные устройства?    flocker же для этого как раз нужен, разве нет?
Мне тут вкуриться поглубже надо. На вскидку не помню, но разве ceph обязан только блочные раздавать?
02:47:24 ПП
User 154348275
мм а какую проблему вы использованием докера решаете ?
02:47:33 ПП
User 104776915
ceph может s3,  но мы сейчас про rbd
02:49:41 ПП
User 104776915
User 154348275
мм а какую проблему вы использованием докера решаете ?
наоборот.. как в докере это решить..    например сейчас swarm научился мигрировать с упавшей машины,  соответственно  сетевое блочное устройствао пришлось бы как раз кстати в таком случае
02:50:36 ПП
User 2543313
Коллеги, вопрос
02:50:40 ПП
User 154348275
ну просто часто бывает что докер ненужен, а его используют и разргребать приходится целый ворох новых порблем которых раньше и небыло
02:50:54 ПП
User 2543313
Вот смотрите, есть у нас параметр - длина клиентской сессии
Клиент это просто мобильник
02:51:02 ПП
User 2543313
И висеть в норме он должен вечно
02:51:21 ПП
User 2543313
Далее - мы хотим рисовать график длины сессии с персентилями
02:51:43 ПП
User 2543313
Но дело в том, что у нас пока в тесте 30 сессий максимум
И рвутся они редко, скажем, раз в час
02:51:49 ПП
User 2543313
А стату мы собираем раз в 10 секунд
02:52:05 ПП
User 2543313
И я что-то не могу представить, как такие редкие события правильно обрисовывать
02:52:30 ПП
User 196895
редкие события = обрывы связи?
02:52:34 ПП
User 2543313
Тупо рисовать график длины завершенной сессии не кажется мне правильным
02:52:35 ПП
02:52:36 ПП
User 196895
почему-то в голову диаграмма ганта пришла )))
02:52:39 ПП
User 196895
не знаю почему
02:52:55 ПП
User 2543313
Может это все и не на график надо вовсе
02:53:08 ПП
User 2543313
А в таблицу и руками процессить потом
02:53:24 ПП
User 196895
надо подумать, график только одно из представлений
02:53:53 ПП
User 2543313
Ну - по сырым данным я могу персентили и сам посчитать, но ручной работы хотелось бы избегать
02:54:00 ПП
User 2543313
Пусть вон прометей считает
02:55:32 ПП
User 196895
кстати, схожая задача по подсчёту обрывов связи удалённых обеъктов на федеральной радиостанции по регионам.... там тоже редкие события, но там нужно было оперативно переводить статус в аларм, создавать тикет и решать сложившуюся проблему
02:57:48 ПП
User 114919556
А в чем проблема ? Представлением не может быть пойнт, со значением длины сессии ? А дальше облако точек просто рисуешь на графике а не линию и все. не ?
03:02:41 ПП
User 2543313
Ну примерно так, а дальше я еще хочу персентили - а за какой интервал?
03:03:04 ПП
User 2543313
Так-то оно мне их за 10 секунд же считало
03:03:13 ПП
User 2543313
Хотя
Надо код пойти поглядеть
03:03:23 ПП
User 2543313
Там вроде скользящий набор фиксированной длины
03:03:31 ПП
User 2543313
Возможно
03:31:29 ПП
User 114919556
перцентиль полюбому рисуется по скользящему окну
03:32:26 ПП
User 2543313
А, точно, я тупое
У меня же pull, а не push
03:32:31 ПП
User 2543313
Это ж не StatsD
03:32:57 ПП
User 2543313
Надо в коде посмотреть размер окна и политику удаления из бакета
03:48:38 ПП
User 114919556
смотрите. наблюдаю в конфиге такую тему
ntp::servers:
...
    - 127.127.1.0
ntp::restrict:
...
    - 127.127.1.0
ntp::fudge:
...
    - 127.127.1.0 stratum 10
что автор имел ввиду ? 0_о
04:09:16 ПП
08:41:24 ПП
User 46397740
/stat@comstatbot
08:41:24 ПП
User 210944655
comstatbot.xyz/chat/-1001030317489
08:44:28 ПП
User 4627228
Проголосуйте?
1. ELK (Elasticsearch + Logstash + Kibana)
2. EHK (Elasticsearch + Heka + Kibana)
3. Graylog
4. Sentry
08:44:48 ПП
08:45:19 ПП
08:50:07 ПП
08:50:10 ПП
08:50:19 ПП
User 2984445
12, логстеш 2.3 норм пашет
09:03:36 ПП
User 2543313
Все варианты какие-то стремные, против всех
09:14:32 ПП
User 1534653
Алекс, "возражая - предлагай". Нет, правда :)
09:23:13 ПП
User 4627228
Кто-нибудь пробовал Heka?
09:23:48 ПП
User 114919556
В слак чатике человек есть который пробовал
09:23:57 ПП
User 4627228
Что говорил?)
09:23:59 ПП
User 114919556
и который даже декодеры для нее писал вроде как
09:24:06 ПП
User 2543313
User 1534653
Алекс, "возражая - предлагай". Нет, правда :)
Я предлагаю всем собраться и сделать красиво
09:24:34 ПП
User 114919556
Говорил что вполне ок, но мало декодеров \ филььтров и т д, но легко дописываются.
09:24:35 ПП
User 2543313
Других предложений у меня нет, все зрелые проекты так, похоже, и делают
09:24:44 ПП
User 114919556
а по произвдительности \ потребелению все отлично 
09:31:17 ПП
User 1534653
User 2543313
Я предлагаю всем собраться и сделать красиво
а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?
09:31:49 ПП
User 2543313
User 1534653
а можно простыми словами, для медленных? Предлагаешь написать свою систему логирования?
Систему хранения
09:31:56 ПП
User 2543313
И API к ней
09:32:04 ПП
User 2543313
Потому что Elasticsearch мне не нра
09:32:33 ПП
User 2543313
У меня в проекте уже есть HDFS и уже отдельно есть кластер Solr
09:32:34 ПП
User 1534653
о, это серьезно. Системы хранения я люблю. Я как-то даже эллиптикс тыкал
09:32:54 ПП
User 2543313
Делать еще кластер ES - ну, он был, он есть (почти есть, его сейчас делают)
09:33:00 ПП
User 2543313
Но он же не нужен объективно
09:33:05 ПП
User 2543313
Куда еще один кластер-то?
09:36:50 ПП
User 1534653
мне кажется, что писать собственную систему хранения с целью сэкономить 3 машины для кластера эластиков - это довольно странная экономия.
09:37:47 ПП
User 2543313
А чего ее писать
HDFS есть
HBase есть
Индексатор тоже вон есть
09:38:21 ПП
User 2543313
Людей, которые при помощи flume вваливают логи прямо в файлы на HDFS, достаточно
09:38:40 ПП
User 2543313
Но они обычно не раскрывают детали представления собранной информации пользователю
09:38:59 ПП
User 2543313
Часто потому, что эти логи они собирают как сырец для анализа
09:39:07 ПП
User 2543313
А не как средство оперативного мониторинга
09:39:26 ПП
User 1534653
идей разных много. На HPC, помнится, был человек, который информацию со статистикой билетов хранил вообще в файловой системе. Вот только фирму не помню
09:40:02 ПП
User 114919556
HDFS как distributed fs гавно полное, и по факту ей не является.
09:40:32 ПП
User 2543313
User 4627228
Проголосуйте?
1. ELK (Elasticsearch + Logstash + Kibana)
2. EHK (Elasticsearch + Heka + Kibana)
3. Graylog
4. Sentry
5. RIAK + Logstash + Banana
6. Solr + Logstash + Kibana
09:40:37 ПП
User 2543313
User 114919556
HDFS как distributed fs гавно полное, и по факту ей не является.
А?
09:41:08 ПП
User 2543313
Я бы сказал так - POSIX-compatible distributed FS невозможна, и HDFS ей даже не пытается являться
09:41:13 ПП
User 2543313
HDFS - append-only
09:41:17 ПП
User 2543313
И это прекрасно
09:43:19 ПП
User 1534653
как можно использовать HDFS как POSIX-FS?
09:43:26 ПП
User 1534653
она, вроде, для другого
09:43:37 ПП
User 1534653
POSIX у нас - ceph, если не изменяет склероз
09:43:43 ПП
User 1534653
но ceph такой, своеобразный
09:45:13 ПП
User 114919556
@demeliorator Вобще Антон в слаке писал "`на самом деле все недостатки HDFS вылезают из дизайна ее, это НЕ файловая система, а абстракция для распределения файлов на блоки под mapreduce (и его генерализации)`"
и я наверно согласен с ним
09:46:57 ПП
User 2543313
Надо как-то определить, что мы понимаем под файловой системой
09:47:16 ПП
User 2543313
С учетом того, что через FUSE мы гитовый репозиторий можем видеть как FS
09:47:30 ПП
User 2543313
Безусловно, HDFS это файловая система
09:47:34 ПП
User 2543313
Но - append-only
09:47:47 ПП
User 2543313
И это прекрасно, ибо не нужен DLM
09:47:59 ПП
User 2543313
Любые изменения автоматически атомарны
09:48:05 ПП
User 2543313
Это великое благо
09:48:46 ПП
User 114919556
Ну к распредленной фс требования и опредления другие чем к локальной фс
09:49:54 ПП
User 114919556
и все вот эти прикол с автоматической ребалансировкой в случае потери нод
10:06:49 ПП
User 55656705
привет всем. подскажите туториал по докеру совсем для нубов :( а то в гуглах всяких столько инфы, что сложно соориентироваться
10:12:37 ПП
User 1534653
пробовали офсайт?
10:16:37 ПП
User 4627228
https://docs.docker.com/engine/userguide/eng-image/dockerfile_best-practices/
docs.docker.com/develop/develop-images/dockerfile_best-practices
Hints, tips and guidelines for writing clean, reliable Dockerfiles
10:16:46 ПП
User 4627228
Мануал официальный супер
10:18:45 ПП
User 196895
книжка есть хорошая
10:19:03 ПП
10:29:20 ПП
User 56364851
кто-нибудь уже пробовал нативный докер который в бета?
10:31:39 ПП
User 104776915
"нативный докер"  бывает другой?
10:32:33 ПП
User 56364851
https://blog.docker.com/2016/03/docker-for-mac-windows-beta/
blog.docker.com/2016/03/docker-for-mac-windows-beta
Since June 20th, 2016, Docker for Mac and Windows are now publicly available. You can download them at docker.com/products/overview   To celebrate Docker's third birthday, today we start a limited availability beta program for Docker for Mac and Docker for Windows, an integrated, easy-to-deploy environment for building, assembling, and shipping applications from Mac or Windows. Docker for Mac and Windows contain many improvements over Docker Toolbox. Faster and more reliable: no more VirtualBox! The Docker engine is running in an Alpine Linux distribution on top of an xhyve Virtual Machine on Mac OS X or on a Hyper-V VM on Windows, and that VM is managed by the Docker application. You don't need docker-machine to run Docker for Mac and Windows. Tools integration: Docker for Mac is a Mac application and Docker for Windows is a Windows application, including a…
10:33:03 ПП
User 56364851
на win и mac без virtualbox
10:33:04 ПП
User 104776915
это видел, но никогда не приходила идея запускать его там где не нужно
10:33:34 ПП
User 56364851
всмысле где не нужно?
10:34:05 ПП
User 104776915
ну а зачем его запускать на винде или на маке?  поиграться?
10:34:45 ПП
User 56364851
нет) его можно использовать как средство разработки например
10:34:56 ПП
User 56364851
ну или поиграться с чем-нибудь)
10:35:13 ПП
User 56364851
если мне нужен rabbitmq попробовать зачем я буду ставить эрланг и прочую хрень
10:35:20 ПП
User 56364851
просто беру докер контейнер и все
10:36:04 ПП
User 56364851
или установить все для хаскеля) да все что угодно
10:36:37 ПП
User 56364851
можно запаковать webpack в контейнер и использовать его для сборки и dev сервера
10:39:18 ПП
User 104776915
в любом случае выглядит  слишком футуристично  и явно не для ближайшего будущего, а ловить грабли  не вижу мысла  при разработке если можно запускать это все в окружении близком к продакшону
10:40:31 ПП
User 56364851
ну пока запускать котейнеры таким образом на винде точно не очень удобно
10:41:38 ПП
User 56364851
но на самом деле это полезная схема, когда изолируешь все вависимости конкретной задачи (например компиляции и сборки) в контейнере, можно это настроить все, особенно когда будет удобное нативное мапирование томов
10:42:10 ПП
User 56364851
ну а просто всякие сервисы, чтобы не устанавливать на машину, это и сейчас удобно)
10:42:30 ПП
User 56364851
типа БД и прочее
10:44:36 ПП
User 104776915
хм..  я каюсь, я сейчас под виндой =/, и мне даже и близко не приходило мыслей чтото запустить в докере в винде, хотя пол линуксом у меня даже докер в докере работает , зачем это смешивать
10:46:02 ПП
User 56364851
ну это же не зря типа DEV OPS )
10:46:44 ПП
User 104776915
безусловно найдутся те кому это ОЧЕНЬ нужно срочно прямо сейчас... никтож не спорит  =)
10:49:09 ПП
User 56364851
докер контейнеры это чистые функции, легкие на подъем, не зависящие от среды, грех не пользоватлься) хотя, конечно разобраться придется, я сам не очень пользуюсь, т.к. не очень удобно мапирование томов делать и контейнеры запускать, но схема вполне ясна
10:49:46 ПП
User 56364851
тут уже NVM не нужен, можно легко пользовать разные версии сборщиков для одного проекта без необходимости переустанавливать завивисимости внутри проекта и т.п.
10:50:37 ПП
User 56364851
т.е. код изолируется от среды его запуска
10:50:47 ПП
User 56364851
и эту среду можно легко менять
10:52:16 ПП
User 104776915
мне не понятно какое это оношение имеет к винде...   я хорошо понимаю как работает докер и наскольео он "независим"  от среды и как ее можно "менять" что бы все не развалилось к херам ибо  приходится поддерживать целый кластер докеров с кучей связанных приложений
10:52:57 ПП
User 56364851
ну если код пишется на винде)
10:53:10 ПП
User 56364851
а запускается в докере
10:53:22 ПП
User 104776915
это грустно =)
10:53:31 ПП
User 56364851
без необходимости делать среду на винде)
10:53:35 ПП
User 56364851
или маке
10:54:46 ПП
User 104776915
я так поеимаю что это докер  реально для той среды которая есть , и ничего из другой среды там работать никогда не будет
10:56:08 ПП
User 56364851
ну докер сродни продакшену
10:56:08 ПП
User 104776915
а...йотпа там же написано что это все работает в виртуалках ... очем вообще речь... там тупо обычный линукс
10:56:22 ПП
User 104776915
никокой виндузятины
10:56:27 ПП
10:56:36 ПП
User 104776915
"docker-for-mac-windows-beta/"
10:56:59 ПП
User 56364851
ну да там чисто речь о более тесном сращивании с файловой системой)
10:57:16 ПП
User 56364851
ну и запуске линукас на нативных vm технологиях
10:58:02 ПП
User 56364851
но они кстати планируют докер windows))
10:58:21 ПП
User 56364851
типа виндовые контейнеры