@devops_ru
DevOps — русскоговорящее сообщество

Общаемся на темы DevOps, мониторинга, метрикам и облакам. Новости. См. также: @kubernetes_ru, @docker_ru, @rkt_ru, @coreos_ru, @ceph_ru, @openstack_ru Новости: @devops_news Вакансии и поиск работы: @devops_jobs Рекомендуем сразу отключить уведомления.

5075 members

Архив канала @devops_ru 15 мая 2016 г.

12:44:44 ДП
User 2895769
Xen где-то между KVM и OpenVZ/Virtuozzo по крутости
12:45:39 ДП
User 2895769
отдельный поддомен m.example.com. могли выделять потому что так удобнее набирать, чем  example.com/m
12:46:28 ДП
User 2895769
ну и по соображения SEO
12:46:33 ДП
User 2895769
это как бы отдельный сайт
12:46:37 ДП
User 104442434
User 2895769
отдельный поддомен m.example.com. могли выделять потому что так удобнее набирать, чем  example.com/m
+ еще всякие куки и сессии цепляются
12:47:03 ДП
12:47:48 ДП
User 2895769
и технологии обычно разные - для мобильных сайтов это какой-нибудь sencha/ionic/angularjs/aurelia
12:48:05 ДП
User 2895769
то есть 1 страничный js сайт
12:48:54 ДП
User 2895769
а для основного домена обычно делают обычные сайты с адаптивной версткой, возможно
12:49:24 ДП
User 2895769
что-нибудь там на основе Bootstrap'а
12:51:24 ДП
User 2895769
сайт , направленный на мобильные устройства, будет более удобным, чем тот, который адаптирован под все
12:52:08 ДП
User 2895769
там будет меньше трафика передаваться, там более разумно скомпоновано всё будет
01:01:28 ДП
User 2543313
User 2895769
Xen где-то между KVM и OpenVZ/Virtuozzo по крутости
Щта
01:03:06 ДП
User 2895769
для клиента лучше взять vps с xen
01:03:14 ДП
User 2895769
чем c openvz
01:03:21 ДП
User 2895769
там с лимитами проще ему будет
01:03:59 ДП
User 2895769
если точно такие же характеристики у обеих vps, разумеется
04:52:10 ДП
User 122751044
User 2895769
Xen где-то между KVM и OpenVZ/Virtuozzo по крутости
Это сравнение дано для применения хостерами?
04:52:45 ДП
User 122751044
Напомню, что самый крупный пользователь Xen это Амазон
04:54:05 ДП
User 122751044
И вообще Xen очень перспективен в разрезе unikernels, то есть для запуска контейнеров в гипервизоре с минимальным библиотечным ядром
04:56:52 ДП
User 122751044
Ну и вообще если технология, которая широко используется и ей уже скоро будет 10 лет, у вас не работает, то это означает, что это не технология не крутая, а вы что-то не так делаете, ну либо в вашем дистрибутиве кривая поддержка Xen
04:57:29 ДП
User 122751044
Самая годная поддержка Xen в SuSe
06:43:29 ДП
User 87168733
/stat@comstatbot
06:43:29 ДП
User 210944655
combot.org/chat/-1001030317489
06:45:15 ДП
User 24076505
User 122751044
Ну и вообще если технология, которая широко используется и ей уже скоро будет 10 лет, у вас не работает, то это означает, что это не технология не крутая, а вы что-то не так делаете, ну либо в вашем дистрибутиве кривая поддержка Xen
Вот тут люди с вами сильно не согласны: https://habrahabr.ru/company/cloud4y/blog/282918/#comment_8880656
habrahabr.ru/company/cloud4y/blog/282918
Мы в Cloud4Y считаем лидирующим решением для виртуализации продукты VmWare. Тем не менее, мы интересуемся и другими решениями, в том числе, Xen и KVM. И вот что...
06:50:22 ДП
User 2895769
User 122751044
Это сравнение дано для применения хостерами?
Где-то на хостобзоре была такая тема
06:50:53 ДП
User 2895769
Не помню, в открытом разделе или в клубе хостинг-провайдеров
06:51:54 ДП
User 2895769
Там при тех же характеристиках советовали брать vps с xen , а не с openvz
06:52:10 ДП
User 2895769
Но kvm круче
06:52:36 ДП
User 2895769
А suse кривая система
06:53:19 ДП
User 2895769
Suse ради прикольного gui можно поставить разве что
06:53:48 ДП
User 50881479
в ней кеды нормальные
06:54:50 ДП
User 2895769
В suse криво что-то с ядром и в тестах по производительности она проигрывает
06:55:40 ДП
User 50881479
можно подключить репу и повыбирать другие ядра
06:55:46 ДП
User 154348275
User 2895769
Там при тех же характеристиках советовали брать vps с xen , а не с openvz
обрати внимание ты мыслишь с точки зрения разраба и пользователя, а тут люди админы и девопсы которые это поднимают и настраивают, шуклин вон вообще считает чот xen  сдох
06:56:30 ДП
User 2895769
Ну я тоже так считаю
06:56:56 ДП
User 2895769
В опенстэке упор на kvm
06:57:13 ДП
User 2895769
И в тестах он лучше
06:57:30 ДП
User 154348275
ну да это объективная реальность
06:57:45 ДП
User 2895769
Напишите в гугле kvm vs xen
06:57:57 ДП
User 2895769
Там много всего будет
06:58:52 ДП
User 154348275
и что ?
06:59:25 ДП
User 2895769
Там нигде xen не выигрывает у kvm
06:59:50 ДП
User 154348275
по каким критериям ?
07:00:54 ДП
User 2895769
По итоговым оценкам и выводам
07:01:04 ДП
User 131779045
Вы смишные
07:02:08 ДП
User 131779045
Виртуализирует нынче проц, тут нет больше пространства для сравнения
07:02:54 ДП
User 131779045
Остается сравнивать ui
07:03:05 ДП
User 2543313
Да лан
07:03:08 ДП
User 2543313
Все есть
07:03:19 ДП
07:03:25 ДП
User 2895769
У xen нет комьюнити уже
07:03:33 ДП
User 2895769
Разбежались
07:03:38 ДП
User 2543313
Хотя - в линукс-виртуализации даже паравиртуальные драйвера одни и те же везде
07:03:51 ДП
User 131779045
Вот-вот
07:04:02 ДП
User 2543313
Ответные их части, я имею в виду - эмуляция периферии
07:04:11 ДП
User 2543313
Тупо же взято из QEMU
07:04:21 ДП
07:04:31 ДП
User 2543313
А вот, скажем, когда хост-системой становится FreeBSD, все гораздо интереснее
08:07:11 ДП
User 40348910
User 2543313
А вот, скажем, когда хост-системой становится FreeBSD, все гораздо интереснее
А у тя в докладе такая смешная синтетика как metrics/iops будет ?
08:07:35 ДП
08:07:37 ДП
User 40348910
и metrics/core
08:12:32 ДП
User 2543313
А мы не CPU-bound же
08:12:36 ДП
User 2543313
Смысла нет
08:16:32 ДП
User 40348910
а разве cq с даунсемплингом не будет cpu bound задачей ?
08:16:44 ДП
User 2543313
А вот и посмотрим
09:37:05 ДП
User 122751044
> @onokonem
Виртуализирует нынче проц, тут нет больше пространства для сравнения

гипервизор все равно нужен, шедулинг виртуалок тоже нужен, в этом и поинт xen, они взяли курс на микрогипервизор с поддержкой железа, тогда смысл операционки редуцируется до библиотеки, которая реализует программное окружение
09:38:30 ДП
User 122751044
@lorddaedra я про производительность ничего не говорил :) я говорил про unikernels
09:38:51 ДП
User 40348910
Александр, тут есть очень удобный функционал reply
09:39:32 ДП
User 122751044
ага, я еще не привык, спасибо
09:41:34 ДП
User 40348910
велкам
09:41:58 ДП
User 40348910
Коллеги, а никто не прикручивал ansible к телеграм ?
09:42:10 ДП
User 40348910
хочу уведомление о деплое в группочку
09:45:31 ДП
User 109531125
User 40348910
Коллеги, а никто не прикручивал ansible к телеграм ?
есть привязка к дженкинсу... https://github.com/benelang/telegram-jenkins-bot
github.com/benelang/telegram-jenkins-bot
Contribute to telegram-jenkins-bot development by creating an account on GitHub.
09:46:56 ДП
User 114919556
User 40348910
хочу уведомление о деплое в группочку
поставь себе хугин куда нить и через него делай все. там есть телеграм агент вроде как.
09:47:08 ДП
User 40348910
хугин ?
09:47:36 ДП
User 114919556
https://github.com/cantino/huginn
github.com/huginn/huginn
huginn - Create agents that monitor and act on your behalf. Your agents are standing by!
09:47:57 ДП
User 114919556
это типа selfhosted ifttt
09:49:17 ДП
User 109531125
@ptchol спасибо! это крутая штука
09:54:16 ДП
User 114919556
Блин, запилите кто нить модуль экспорта для нетдаты в graphite
10:40:29 ДП
User 83323330
User 131779045
Остается сравнивать ui
нет, ещё есть io. и оно очень-очень разное.
10:40:49 ДП
User 83323330
у xen большая беда с архитектурой: она сложная.
10:41:54 ДП
User 83323330
User 122751044
@lorddaedra я про производительность ничего не говорил :) я говорил про unikernels
unikernel в контексте xen - мертв как и сам xen.
10:42:33 ДП
User 122751044
откуда такая уверенность?
10:42:53 ДП
User 83323330
User 122751044
> @onokonem
Виртуализирует нынче проц, тут нет больше пространства для сравнения

гипервизор все равно нужен, шедулинг виртуалок тоже нужен, в этом и поинт xen, они взяли курс на микрогипервизор с поддержкой железа, тогда смысл операционки редуцируется до библиотеки, которая реализует программное окружение
зачем, если можно редуцировать гипервизор до процесса в ОС и получить куда более простую схему?
10:43:15 ДП
10:43:31 ДП
User 122751044
и чем эта схема проще?
10:44:10 ДП
User 122751044
то есть чтобы переключать контейнеры например нужна полноценная ОС?
10:44:14 ДП
User 122751044
и это проще?
10:45:50 ДП
User 83323330
User 122751044
то есть чтобы переключать контейнеры например нужна полноценная ОС?
а что, у xen не требуется полноценная ос? :)
10:45:55 ДП
User 122751044
я говорю не в классическом понимании контейнеризации если что, а с точки зрения виртуальная машина как докер контейнер с минимальной библиотекой выполняющей функции ОС
10:45:56 ДП
10:46:01 ДП
User 122751044
не требуется
10:46:11 ДП
User 122751044
там гипервизор отдельно
10:46:13 ДП
User 131779045
User 122751044
не требуется
это лукавство.
10:46:17 ДП
User 83323330
User 122751044
неа
нуну. и как же быть без драйверов sata/iscsi?
10:46:28 ДП
User 83323330
драйверов сетевой карточки и вот этого всего?
10:46:41 ДП
User 122751044
так они и хотят драйверы в гипервизор затащить
10:47:05 ДП
User 122751044
то есть конечно это будет загружаемое ядро
10:47:21 ДП
User 83323330
User 122751044
так они и хотят драйверы в гипервизор затащить
нуну. и получить 1.5 поддерживаемые конфигурации железа?
10:48:06 ДП
User 122751044
ну я не знаю, это экспериментальный проект пока, если вендоры начнут поддерживать, то все станет ок
10:48:22 ДП
User 122751044
я считаю, что будут поддерживать
10:48:29 ДП
User 83323330
User 122751044
ну я не знаю, это экспериментальный проект пока, если вендоры начнут поддерживать, то все станет ок
не начнут. вендорам нахрен не сдалось поддерживать ещё одну платформу.
10:48:44 ДП
User 122751044
а откуда такая уверенность?
10:48:46 ДП
User 131779045
да лана
10:48:47 ДП
User 83323330
User 122751044
я считаю, что будут поддерживать
зачем?
10:48:52 ДП
User 131779045
че им не начать-то
10:48:58 ДП
User 131779045
будет еще одна vmware
10:49:06 ДП
User 122751044
не вендоры играют музыку если что
10:49:06 ДП
User 83323330
User 122751044
а откуда такая уверенность?
деньги. дополнительная ветка - это всегда деньги.
10:49:32 ДП
User 131779045
можно вообще ничего не придумывать, а просто поддержать  hcl esxi, и понеслась
10:49:33 ДП
User 83323330
доля описываемого решения сейчас 0.0%
10:49:40 ДП
User 131779045
тока нам-то с этого что?
10:49:58 ДП
User 122751044
ну а я спорю что ль с этим
10:50:03 ДП
User 122751044
сейчас да
10:50:13 ДП
User 83323330
User 131779045
можно вообще ничего не придумывать, а просто поддержать  hcl esxi, и понеслась
ну и получить всё те же проблемы с поддержкой железа.
10:50:26 ДП
User 122751044
но когда-то такой же Роман лет 20 назад тоже самое говорил про линукс :)
10:50:53 ДП
User 122751044
есть же виндовс, вендоры дураки что ли :)
10:51:02 ДП
User 131779045
в 1996 уже никто ничего такого не говорил
10:51:25 ДП
User 122751044
ну не с точностью до года, ну вы поняли
10:51:27 ДП
User 131779045
винтовс тогда был 95 и NT4.0
10:51:30 ДП
User 83323330
User 122751044
но когда-то такой же Роман лет 20 назад тоже самое говорил про линукс :)
то что выстрелило тогда - не значит что выстрелит сейчас. линукс оказался в нужное время в нужном месте. на его месте вполне могла быть freebsd.
10:51:47 ДП
User 131779045
и была, все 90-ые
10:52:38 ДП
User 83323330
возвращаясь к xen: у него ужасная архитектура в плане io.
10:52:47 ДП
User 83323330
причём, io - это ещё и сеточка.
10:53:23 ДП
User 131779045
User 122751044
ну не с точностью до года, ну вы поняли
у нас уже есть решение, которое не хуже по производительности (потому, что тут нет пространства быть хуже). зачем бы нам, вендорам и кому-нибудь вообще искать новое-то?
10:54:18 ДП
User 122751044
а что там ужасного? там были проблемы, но они их порешали, в общем мой мессадж про то, что списывать xen пока рано
10:54:21 ДП
User 83323330
User 131779045
у нас уже есть решение, которое не хуже по производительности (потому, что тут нет пространства быть хуже). зачем бы нам, вендорам и кому-нибудь вообще искать новое-то?
собсна, да. ради чего?
10:54:48 ДП
User 83323330
User 122751044
а что там ужасного? там были проблемы, но они их порешали, в общем мой мессадж про то, что списывать xen пока рано
как выглядит процесс чтения с диска?
10:55:52 ДП
User 114919556
Саш, а ты тут типа про то что юникернел неплохая идея ?
10:56:03 ДП
User 122751044
да, я про это
10:56:35 ДП
User 114919556
а они говорят что "отстой" но сами гоняют докер имиджи с аппликухами весом в 300 метров да ?
10:56:57 ДП
User 122751044
ну я не делю на я/они
10:57:03 ДП
10:57:08 ДП
User 122751044
мы все гоняем :)
10:57:21 ДП
User 122751044
я просто о том, что наверное скоро всем надоест
10:57:30 ДП
User 114919556
Вобще с той концепицией которая сечас набирает обороты (я про докер) идея юникернела все больше обретает смысл
10:57:50 ДП
User 122751044
а когда надоест и вендоры подвинутся
10:57:52 ДП
User 114919556
года 2 назад когда я услышал я подумал "ну зачем а ?" а сейчас это вплоне седе идея.
10:57:53 ДП
User 40348910
вы это сейчас серьезно ?
10:58:00 ДП
User 83323330
User 114919556
Саш, а ты тут типа про то что юникернел неплохая идея ?
идея хорошая, но как процесс в юзерленде
10:58:08 ДП
User 114919556
наоборот совсем
10:58:18 ДП
User 114919556
зачем нам эти толстые гипервизоры
10:58:34 ДП
User 122751044
а как это может выглядеть как процесс в юзерленде
10:58:40 ДП
User 83323330
зачем вообще эти гипервизоры? :)
10:58:45 ДП
User 2543313
Так и под какой язык
Будет этот ваш уникернел?
10:58:47 ДП
User 122751044
я даже представить себе не могу
10:58:50 ДП
User 83323330
User 122751044
а как это может выглядеть как процесс в юзерленде
например, сетевой стек в юзерленде :)
10:59:29 ДП
User 122751044
сетевой стек я могу представить в юзерленде (он правда медленный что пипец) а вот концепт юникернелс нет
10:59:45 ДП
User 2543313
Нет - ну под какой язык-то?
10:59:48 ДП
User 83323330
User 122751044
сетевой стек я могу представить в юзерленде (он правда медленный что пипец) а вот концепт юникернелс нет
он очень быстрый и быстрее чем ядерный.
11:00:05 ДП
User 2543313
Гоулэнг вон можно гонять и поверх обычного ядра
11:00:07 ДП
User 122751044
User 2543313
Нет - ну под какой язык-то?
я тебя не понял
11:00:14 ДП
User 2543313
Безо всякого там юзерспейса лишнего
11:00:33 ДП
User 2543313
User 122751044
я тебя не понял
Сейчас юникернелы таки language-specific
11:00:36 ДП
11:00:38 ДП
User 114919556
@demeliorator ну есть реилзации для эрланг и для джавки вроде как
11:00:39 ДП
User 2543313
Точнее VM-specific
11:00:49 ДП
User 122751044
это опять про сейчас
11:00:51 ДП
User 2543313
Типа “BEAM on Xen”
11:00:55 ДП
User 83323330
User 122751044
сетевой стек я могу представить в юзерленде (он правда медленный что пипец) а вот концепт юникернелс нет
http://www.openonload.org/
11:00:59 ДП
User 2543313
Так и далее так же будет, не?
11:01:15 ДП
User 83323330
It achieves performance improvements in part by performing network processing at user-level, bypassing the OS kernel entirely on the data path.
11:01:15 ДП
11:01:45 ДП
User 122751044
идея в том, чтобы контейнер запускать не в ОС, а с библиотечной ОС в основе
11:01:55 ДП
User 83323330
User 2543313
Типа “BEAM on Xen”
что мешает beam on kvm?
11:02:06 ДП
User 122751044
эксперименты с эрлангом и джавой это типа пруф он концепт
11:02:09 ДП
User 83323330
User 122751044
идея в том, чтобы контейнер запускать не в ОС, а с библиотечной ОС в основе
зачем?
11:02:35 ДП
User 131779045
User 83323330
http://www.openonload.org/
микрокернел страйкс бек?
11:02:59 ДП
User 83323330
User 131779045
микрокернел страйкс бек?
ну, это скорее всё-таки юникернел.
11:03:03 ДП
User 2543313
User 83323330
что мешает beam on kvm?
Я не знаю
А что мешает собирать докер имадж при помощи nix-docker в один слой
11:03:11 ДП
User 2543313
И он будет не 300 метров, а 30
11:03:22 ДП
User 122751044
ну затем чтобы хотя бы с безопасностью порешать и не таскать огромные образы
11:03:37 ДП
User 83323330
User 2543313
Я не знаю
А что мешает собирать докер имадж при помощи nix-docker в один слой
а оно аккуратно выцепит все нужные dso?
11:03:50 ДП
User 114919556
User 83323330
зачем?
а зачем нам десяток слоев поверх хардвара в виде виртуалок, в которых бегают докеры ?
11:03:52 ДП
User 2543313
User 83323330
а оно аккуратно выцепит все нужные dso?
А никакие не нужны
11:04:03 ДП
User 2543313
Пишите на Go
11:04:10 ДП
User 2543313
Но вообще - видимо да, выцепит
11:04:22 ДП
User 2543313
Оно никсовые пакеты сложит нужные в тот же образ
11:04:33 ДП
User 83323330
User 114919556
а зачем нам десяток слоев поверх хардвара в виде виртуалок, в которых бегают докеры ?
ну так контейнеры - это вообще без каких-либо слоёв. только ядро и всё :)
11:04:41 ДП
User 2543313
User 114919556
а зачем нам десяток слоев поверх хардвара в виде виртуалок, в которых бегают докеры ?
А что там за десяток слоев?
11:07:01 ДП
User 122751044
проблем много сейчас в контейнеризации и связаны эти все проблемы с линуксом
11:07:27 ДП
User 83323330
User 122751044
проблем много сейчас в контейнеризации и связаны эти все проблемы с линуксом
какие именно проблемы?
11:08:26 ДП
User 122751044
сеть в юзерспейсе, безопасность и изоляция контейнеров, производительность со специфическим железом
11:08:36 ДП
User 83323330
User 122751044
сеть в юзерспейсе, безопасность и изоляция контейнеров, производительность со специфическим железом
шта?
11:08:42 ДП
User 83323330
какая ещё сеть в юзерспейсе?
11:08:49 ДП
User 114919556
User 2543313
А что там за десяток слоев?
все прослоечки в виде фс\сети\шедулинга намапленные еще на контейнеры\намапленые в гипервизорах.
11:09:13 ДП
User 122751044
ты сам про сеть в юзерспейсе писал :)
11:09:13 ДП
User 2543313
В контейнере нет никакой прослоечки над фс
11:09:22 ДП
User 122751044
ну опенвсвитч например
11:09:23 ДП
User 2543313
Там обычный bind mount же
11:09:28 ДП
User 83323330
User 114919556
все прослоечки в виде фс\сети\шедулинга намапленные еще на контейнеры\намапленые в гипервизорах.
нет там прослоек. процесс в контейнере == процесс вне его.
11:09:46 ДП
User 2543313
User 122751044
ну опенвсвитч например
Он же в ядре
11:09:49 ДП
User 83323330
User 122751044
ну опенвсвитч например
во-первых, зависит от datapath.
11:09:51 ДП
User 122751044
вообще читайте тут https://blog.docker.com/2016/01/unikernel/ вы меня достали :)
blog.docker.com/2016/01/unikernel
I’m happy to announce today that Unikernel Systems is part of Docker! Unikernels compile your source code into a custom operating system that includes only the functionality required by the application logic. That makes them small, fast, and improves efficiency. Unikernel Systems was formed last year to build tools that allow developers to take advantage of a growing number of unikernel projects. At Docker, we’re excited to have Unikernel Systems as part of the team. Unikernels are an important part of the future of the container ecosystem. Comprised of pioneers from the Xen project, the open-source virtualization platform that fuels the majority of workloads on public clouds, and developers with experience in modern day application-centric programming languages, the Unikernel Systems team brings to Docker vast knowledge and a rich heritage in developing next-generation infrastructure technologies.The Unikernel Systems team will continue…
11:10:18 ДП
User 122751044
чувак ты во всем прав :)
11:10:23 ДП
User 83323330
во-вторых, openvswitch с правильным юзерспейсным datapath сильно быстрее.
11:10:24 ДП
User 122751044
я тебе точно говорю
11:10:35 ДП
User 122751044
и ты очень крут и все знаешь :)
11:11:27 ДП
User 122751044
но ты хочешь не разговаривать а доказывать свою правоту, а это не интересно
11:12:26 ДП
User 114919556
User 83323330
нет там прослоек. процесс в контейнере == процесс вне его.
тоесть абстракция неймспейсов не прослойка ?
11:12:29 ДП
User 83323330
User 122751044
но ты хочешь не разговаривать а доказывать свою правоту, а это не интересно
потому что ты говоришь какой-то набор штампов.
11:12:49 ДП
User 122751044
а что тебе надо сказать?
11:13:18 ДП
User 122751044
это тогда я тут научную работу напишу
11:13:25 ДП
User 83323330
User 114919556
тоесть абстракция неймспейсов не прослойка ?
ну ёмае. у процессов просто появляется атрибут, описывающий к какому неймспейсу он принадлежит. всё.
11:13:55 ДП
User 114919556
и qemu не прослойка
11:14:10 ДП
User 83323330
User 114919556
и qemu не прослойка
он не нужен для контейнеров.
11:14:13 ДП
User 114919556
User 83323330
ну ёмае. у процессов просто появляется атрибут, описывающий к какому неймспейсу он принадлежит. всё.
если так смотреть, тогда все наши системы "плоские"
11:14:31 ДП
User 114919556
везде, какие то флаги, и набор услоновстей у кучи объектов содержащих в себе другие объекты
11:14:37 ДП
User 83323330
User 122751044
а что тебе надо сказать?
ты знаешь про dpdk?
11:14:41 ДП
11:14:52 ДП
User 122751044
и это появилось не от хорошей жизни
11:15:11 ДП
User 122751044
а потому что сетевой стек линукса не очень хорош
11:15:14 ДП
User 83323330
отлично.  ovs умеет его использовать.
11:15:22 ДП
User 122751044
и у интел нет возможности это исправит
11:15:24 ДП
User 83323330
User 122751044
а потому что сетевой стек линукса не очень хорош
он везде не очень хорош.
11:15:29 ДП
User 122751044
это все костыли
11:16:05 ДП
User 83323330
не костыли - это очень дорого
11:16:23 ДП
User 83323330
и проблема в том, что сетевой стек не очень приспособлен для пакетной нагрузки.
11:16:40 ДП
User 122751044
а что дорого то?
11:16:48 ДП
User 83323330
а dpdk, как и прочий kernel bypass - это такой хак для конкретной задачи.
11:16:49 ДП
User 122751044
не приспособлен, да
11:17:06 ДП
User 122751044
ну ты подумай, что можно жить без хака
11:17:27 ДП
User 83323330
User 122751044
а что дорого то?
надо перетрясти весь сетевой стек.
11:17:35 ДП
User 122751044
ну а я о чем
11:17:43 ДП
User 114919556
ты что - как так, жить без боли ))
11:17:43 ДП
User 83323330
сейчас, правда, этим и заняты в netdev
11:18:15 ДП
User 83323330
User 114919556
ты что - как так, жить без боли ))
потому что i/o - боль!
11:18:39 ДП
User 122751044
а теперь прикинь, что в гипервизор засунут правильные драйверы, со специальным сетевым стеком для обслуживания контейнеров
11:19:03 ДП
User 83323330
User 122751044
а теперь прикинь, что в гипервизор засунут правильные драйверы, со специальным сетевым стеком для обслуживания контейнеров
да блин. там не в драйверах беда.
11:19:06 ДП
User 122751044
и интел быстро это запилит
11:19:12 ДП
User 122751044
вместо dpdk
11:19:57 ДП
User 122751044
вот тебе поддержка вендоров
11:20:23 ДП
User 114919556
вроде разговор как раз о том, чтобы не мучаться с тем что накоплено и что боль в текущих ядрах, а сделать новое, чистенькое, маленькое, не очень универсальное, а под конкретные задачи. и без боли.
11:20:55 ДП
User 2895769
лучше вместо всех этих гипервизоров пусть сделают дешевые bare metal на arm64
11:21:00 ДП
User 83323330
User 114919556
вроде разговор как раз о том, чтобы не мучаться с тем что накоплено и что боль в текущих ядрах, а сделать новое, чистенькое, маленькое, не очень универсальное, а под конкретные задачи. и без боли.
сделали уже.
11:21:04 ДП
User 2895769
много микросерверов
11:21:14 ДП
User 83323330
linux+dpdk+ovs+kvm
11:21:20 ДП
User 2543313
User 114919556
вроде разговор как раз о том, чтобы не мучаться с тем что накоплено и что боль в текущих ядрах, а сделать новое, чистенькое, маленькое, не очень универсальное, а под конкретные задачи. и без боли.
И теперь будет 15 стандартов вместо 14-ти
11:22:12 ДП
User 114919556
User 2543313
И теперь будет 15 стандартов вместо 14-ти
не, 15 стандартов, когда люди говорят "мы знаем как нужно" и пилят, а не выносят концепт на обсуждение коммунити. Это как раз пример того, чем обвешаны со всех сторон текущие решения.
11:23:59 ДП
User 2895769
вот типа такого, но подешевле http://www.wiredzone.com/supermicro-multi-node-servers-microcloud-barebone-embedded-cpu-24-node-sys-5038ma-h24trf-10023331
wiredzone.com/supermicro-multi-node-servers-microcloud-barebone-embedded-cpu-24-node-sys-5038ma-h24trf-10023331
Buy Supermicro Multi-Node Servers MicroCloud Barebone Embedded CPU, 24-Node SYS-5038MA-H24TRF Server 3U MicroCloud, 12 Sleds, 2 Nodes. Wiredzone offers great customer service, low price and fast shipping.
11:24:18 ДП
User 2895769
и чтобы по отдельности продавалось, а не вся система в сборе
11:25:31 ДП
User 83323330
User 122751044
и интел быстро это запилит
нет. dpdk - это быстрый способ получать-принимать ethernet-фреймы в ваш процесс из/в сетевой карточки или таких же dpdk-процессов. всё.
11:25:43 ДП
11:26:02 ДП
User 114919556
мы еще года 3 назадпробовали подобное от делл, все уприается в то, что задачи могут быть все таки специфичны под железо, и не все запихнешь в такие штуки.
11:26:55 ДП
User 122751044
я имею в виду не прямой аналог dpdk
11:27:46 ДП
User 122751044
но dpdk это костыль адовый
11:28:02 ДП
User 122751044
который еще только с одним вендором работает
11:28:08 ДП
User 122751044
и это типа решение?
11:28:12 ДП
User 510552
User 122751044
который еще только с одним вендором работает
Niet
11:28:21 ДП
User 122751044
а если у меня броадком?
11:28:39 ДП
User 2543313
Ну, парни, проблема индустрии ведь ровно в этом
11:28:45 ДП
User 2543313
Lack of manpower
11:28:49 ДП
User 510552
User 122751044
а если у меня броадком?
Завезут в новом релизе
11:29:02 ДП
User 2543313
Если бродком - придется тебе как-то подвинуться
11:29:17 ДП
User 2543313
Вот те, у кого FreeBSD была - подвинулись же
11:29:47 ДП
User 2543313
А те, у кого Novell Netware - так и не просто подвинулись, а повымирали
11:30:38 ДП
User 510552
http://dpdk.org/dev/roadmap
11:30:49 ДП
User 510552
Либо ручками патчи взять
11:30:58 ДП
User 510552
Оно уже рабочее, почти
11:32:48 ДП
User 122751044
это хорошо, но в целом легче не становится :)
11:33:24 ДП
User 122751044
если в контексте юникернелов
11:33:48 ДП
User 510552
Спорно, 8g жевать на атоме раньше не получалось :)
11:39:55 ДП
User 122751044
а какое это отношение имеент к контексту юникернелов?
11:41:47 ДП
User 122751044
в общем мираж ос в контексте юникернелов выглядит перспективным https://mirage.io и он использует Xen бэкенд, почитайте, присмотритесь, сейчас конечно он абсолютно не юзабелен, но вещь перспективная
12:04:27 ПП
User 83323330
User 122751044
а какое это отношение имеент к контексту юникернелов?
Так это  ж прямая идея юникернелов.
12:04:46 ПП
User 83323330
у тебя rx/tx сетевой карточки прямо в приложении.
12:05:13 ПП
User 83323330
User 510552
http://dpdk.org/dev/roadmap
о, вообще круто!
12:12:49 ПП
User 196895
Внимание, вопрос
12:12:50 ПП
User 122751044
да я не против того, чтобы оно в юзерспейс апи давало
12:13:05 ПП
User 122751044
мне не нравится, для её запуска линукс нужен
12:13:23 ПП
User 122751044
лишняя штука
12:14:25 ПП
User 196895
Есть некий сферический (веб, мать его) проект в вакууме. Содержит какой-то код, sql дамп, и какие-то рекомендации по настройкам окружения (список используемых сторонних программ, библиотек, надстроек, конвенция именования и соглашение по конфигурации), например.
12:15:10 ПП
User 196895
Раньше я совершенно без смущения для быстрого локального (!) разворачивания проекта использовал vagrant. Так как я всё равно постоянно работаю с VirtualBox - тут всё очень просто и привычно.
12:15:29 ПП
User 196895
Но позже я познакомился в том числе с докером, и пробовал разворачивать на нём, что тоже очень в целом хорошо.
12:17:11 ПП
User 196895
А вопрос мой звучать будет так: Какими именно инструментами сейчас, 15 мая 2016 года лучше всего пользоваться для ЛОКАЛЬНОГО разворачивания проекта, для, например, работы с ним по кодингу, или по конфигурации.
Кто-то орёт что вагрант - гавно мамонта, и нужен otto. Кто-то орёт что докер - сырая срань, и нужен Rkt. Тем не менее, никто не даёт 100% проверенный собственной практикой совет по использованию надёжной и стабильной технологии.
12:17:17 ПП
User 196895
Время пошло.
12:18:01 ПП
User 2114512
ну каждый же как хочет так и дрочит, я вообще юзаю vagrant + puphpet
12:22:24 ПП
User 196895
User 2114512
ну каждый же как хочет так и дрочит, я вообще юзаю vagrant + puphpet
Ну то есть будет справедливо, если я хейтеров и хайперов пошлю нахуй, и буду использовать те технологии, которые надёжно и стабильно, без перделок и свистелок, будут решать мои задачи?
12:23:05 ПП
User 2114512
User 196895
Ну то есть будет справедливо, если я хейтеров и хайперов пошлю нахуй, и буду использовать те технологии, которые надёжно и стабильно, без перделок и свистелок, будут решать мои задачи?
естественно, собственное мнение никто не отменял
12:24:46 ПП
User 196895
Но одно дело - своё собственное мнение, а другое дело - использование более актуальных, точных, удобных технологий. Именно поэтому хочется понять, кто такие задачи и как решает.
12:24:55 ПП
User 196895
Но в целом благодарю 😊
12:25:54 ПП
User 2114512
ну это бы опрос конечно замутить, потому что, к примеру, бесплатное решение в виде vagrant+virtualbox довольно низкопроизводительное
12:26:49 ПП
User 2114512
т.е. даже ssd в raid 0 по 250 гигов каждые не всегда комфортно
12:26:57 ПП
User 196895
почему низкопроизводительное?
12:27:02 ПП
User 2114512
т.е. лучше vagrant+vmware но эт уже деньги
12:27:24 ПП
User 2114512
да файловая система монтировая virtualbox низкопроизводительная
12:27:36 ПП
User 2114512
можно ещё конечно плагин подцепить nfs
12:27:42 ПП
User 2114512
эт я всё про винду говорю естественно
12:27:50 ПП
User 196895
напомню на всякий случай, я про локальное разворачивание
12:28:03 ПП
User 196895
нет, у меня линукс
12:28:25 ПП
User 2114512
ну тогда nfs из коробки должен работать
12:28:45 ПП
User 2114512
и не так бажно как на винде
12:30:04 ПП
User 196895
да, nfs в ряде ситуаций спасает. а vmware я использую только сферу. и то, только клиентскую, и то, только на их проектах. ибо... на кой мне сфера дома 😃
12:40:17 ПП
User 51019704
User 196895
Ну то есть будет справедливо, если я хейтеров и хайперов пошлю нахуй, и буду использовать те технологии, которые надёжно и стабильно, без перделок и свистелок, будут решать мои задачи?
нет, ты что. нельзя использовать те технологии, котороые надёжны и стабильны
12:40:43 ПП
User 196895
User 51019704
нет, ты что. нельзя использовать те технологии, котороые надёжны и стабильны
конечно )
12:41:56 ПП
User 154301556
всем поивет от новичка
12:46:17 ПП
User 61759754
User 154301556
всем поивет от новичка
и тебе поивет =)
12:46:48 ПП
User 196895
откуда ссылка пролилась? )
12:48:02 ПП
User 2543313
User 122751044
мне не нравится, для её запуска линукс нужен
Саш, вот смотри
Linux это же просто набор сервисов
12:48:43 ПП
User 2543313
И если ты начнешь делать unikernel - у тебя будет либо такой же набор тех же сервисов
12:48:47 ПП
User 2543313
Либо его сабсет
12:48:56 ПП
User 2895769
LaaS - Linux as a Service :-)
12:49:00 ПП
User 2543313
А там как карта ляжет - либо ты будешь более эффективным, либо нет
12:49:19 ПП
User 2543313
Но ведь, следуя поговорке “ломать не строить” проще почикать уже имеющийся набор
12:49:20 ПП
User 4627228
User 2895769
LaaS - Linux as a Service :-)
👍👍👍
12:49:25 ПП
User 2543313
Чем имплементировать свой
12:49:37 ПП
User 2543313
Ага, а ZaaS - Zaebis’ as a Service
12:49:45 ПП
User 2543313
А вовсе не сраббикс, как вы подумали
12:52:31 ПП
User 61759754
телепат
12:54:37 ПП
User 61759754
как пить дать где-то проходит тех.сходка, где рекламируют эту группу
12:54:41 ПП
User 2543313
> Adolf joined the group

\o
12:56:41 ПП
12:56:43 ПП
User 196895
но где?
12:57:00 ПП
User 172114179
На vc ссыль повесили
01:00:43 ПП
User 51019704
давайте массовые расстрелы замутим?
01:00:51 ПП
User 51019704
ну например каждого десятого забаним
01:00:52 ПП
User 2543313
Я думал об этом
01:00:57 ПП
User 2543313
Но нужен веский повод
01:01:03 ПП
User 2543313
Типа пьянки
01:01:07 ПП
User 51019704
зачем повод?
01:01:08 ПП
01:01:10 ПП
User 51019704
это да
01:01:26 ПП
User 2543313
Чтобы шмалять от бедра не целясь
Трезвый я чот не могу так
01:04:53 ПП
User 122751044
> @demeliorator
Саш, вот смотри
Linux это же просто набор сервисов

да, но линукс заточен не для распределенного использования, мы же двигаемся в сторону DCOS и там сама архитектура монолита мешает
01:05:02 ПП
User 122751044
монолитного ядра в смысле
01:06:22 ПП
User 79827
/stat@comstatbot
01:06:22 ПП
User 210944655
combot.org/chat/-1001030317489
01:07:49 ПП
User 122751044
а если вы когда-нибудь вмотрели исходники сетевого стека линукса с его несколькими типами буфферов и аллокаторов и прочей запутанностью, то понимаете, что переписать совсем дорого
01:23:15 ПП
User 79827
Как много людей навалило с vc
01:23:27 ПП
User 171570232
всем привет, есть разрабы по ios, swift?
01:23:30 ПП
User 196895
казалось бы... сегодня же хорошая погода и выходной
01:24:13 ПП
User 210871631
Привет, ребята разработчики!
01:24:53 ПП
01:25:02 ПП
User 51019704
что это за хипстерятник такой?
01:26:01 ПП
User 191299276
хохох
01:30:45 ПП
User 25240529
User 171570232
всем привет, есть разрабы по ios, swift?
Привет! Я этим интересуюсь. Ты сам на каком уровне?
01:32:26 ПП
User 32832678
User 51019704
> vc
это же было больше недели назад, не?
01:32:39 ПП
User 171570232
User 25240529
Привет! Я этим интересуюсь. Ты сам на каком уровне?
джун, может быть чуть выше) написать rss читалку без проблем с UI, а ты?
01:32:54 ПП
User 51019704
User 32832678
это же было больше недели назад, не?
говорят, опять это произошло, я не в курсе
01:35:01 ПП
User 32832678
10 наиболее востребованных ИТ-профессий в США:
1. Разработчик DevOps — $110 тысяч.
01:35:06 ПП
User 32832678
омайгадбл
01:35:10 ПП
User 32832678
https://vc.ru/p/tech-jobs-89-plus
vc.ru/p/tech-jobs-89-plus
Сайт по поиску работы Indeed.com составил список популярных профессий в ИТ-отрасли, которые наиболее востребованы сейчас на рынке США.
01:35:29 ПП
User 32832678
разработчик сайтов, разработчик приложений, разработчик devops
01:35:53 ПП
User 154348275
это ты пишешь код и иногда его деплоишь сам вот тебе и разработчик
01:36:06 ПП
User 32832678
senior fullstack devops developer
01:36:23 ПП
User 196895
о, подвалило n-людей не знающих что такое DevOps, круто )))
01:36:48 ПП
User 32832678
чо-то там малые суммы кстати
01:36:55 ПП
User 32832678
это видимо очень среднее по стране
01:37:05 ПП
User 32832678
Java-разработчик (Java Developer) — $99 тысяч.
01:37:09 ПП
User 32832678
это ваще смех
01:37:50 ПП
User 32832678
где они видели в приличных городах джава девелопера который меньше 100 получает?
01:41:35 ПП
User 196895
Сегодня будет достигнут лимит? 😊
01:41:42 ПП
User 32832678
Ребята, новенькие, а вы откуда пришли?
01:41:47 ПП
01:41:53 ПП
User 32832678
User 196895
Сегодня будет достигнут лимит? 😊
а есть лимит?
01:42:03 ПП
User 196895
есть лимит
01:42:08 ПП
User 61759754
кажется 1000 человек, а дальше конвертация в супергруппу
01:42:14 ПП
User 61759754
возможно лимит подняли с последним апдейтом
01:42:25 ПП
User 104442434
В супергруппу давно пора конвертироваться
01:42:32 ПП
User 104442434
Если еще не
01:42:43 ПП
User 61759754
у неё кажется есть ограничения в отличии от
01:42:44 ПП
User 32832678
User 104442434
В супергруппу давно пора конвертироваться
звучит как что-то из трансформеров
01:42:52 ПП
User 32832678
а в тачку можно конвернтуться?
01:43:00 ПП
User 51019704
User 104442434
В супергруппу давно пора конвертироваться
а в чём разница?
01:43:16 ПП
User 32832678
ты чего
01:43:19 ПП
User 32832678
супер же
01:43:26 ПП
User 51019704
аа, ясно
01:43:27 ПП
User 32832678
дурак какой-то
01:43:35 ПП
User 51019704
тогда надо, канешн
01:43:35 ПП
User 32832678
все что с супер - круто
01:43:48 ПП
01:43:48 ПП
User 236018746
Ребята, новенькие, а вы откуда пришли?
01:43:51 ПП
User 32832678
я считаю нужно superDevOps внедрять
01:44:00 ПП
User 61759754
а в каком контексте там упоминали devops? =)
01:44:08 ПП
User 104442434
User 51019704
а в чём разница?
https://telegram.org/blog/supergroups#supergroups
telegram.org/blog/supergroups
Group Admins, Supergroups for up to 1000 members, new In-App Notifications and Quick Share.
01:44:10 ПП
User 32832678
User 236018746
С vc
дай ссылку
01:45:32 ПП
User 236018746
https://vc.ru/p/comstatbot
01:45:34 ПП
User 218338
https://vc.ru/p/comstatbot
vc.ru/p/comstatbot
Федор Скуратов, евангелист компании «Новые облачные технологии» и сооснователь проекта Combot для аналитики групповых чатов в Telegram, собрал для vc.ru самые популярные русскоязычные Telegram-чаты.
01:45:57 ПП
User 32832678
11 мая же статья
01:46:11 ПП
User 218338
репостнули в твиттере
01:46:15 ПП
User 1615
User 32832678
11 мая же статья
Они в твиттере запостили, типа «лучшее за неделю»
01:46:24 ПП
User 61759754
детективные поиски концов
01:46:25 ПП
User 1615
Даже у нас в чате люди из разных поясов. Кто-то на выходных читает.
01:48:03 ПП
User 6931850
User 32832678
senior fullstack devops developer
Devops developer – масло масляное. Правильно – "devops engineer".
01:49:53 ПП
User 32832678
User 6931850
Devops developer – масло масляное. Правильно – "devops engineer".
devops engineer не звучит бессмысленно
01:50:46 ПП
User 196895
а тут есть девопсы??
01:51:39 ПП
User 108693562
А кто это?
01:51:53 ПП
User 76662447
Девопёс
01:51:57 ПП
User 56924675
мопсы?
01:51:59 ПП
User 108693562
Мне иконка чата понравилась, например
01:52:15 ПП
User 191299276
девопсы это хейтеры пхп разработчиков
01:54:18 ПП
User 51019704
User 104442434
https://telegram.org/blog/supergroups#supergroups
telegram.org/blog/supergroups
Group Admins, Supergroups for up to 1000 members, new In-App Notifications and Quick Share.
ничо не понял, но внушает :)
02:00:41 ПП
User 104442434
Что непонятного?
В супергруппе видна более длинная история сообщений
В супегруппе удаляемые сообщения удаляются для всех участников, а не только для модератора
В супергруппе пользователи могут удалять свои сообщения
Супергруппы по дефолту замьючены.
В супергруппе может быть до 5000 пользователей.
02:01:14 ПП
User 104442434
Эта группа все же конвертнута насколько я понимаю, иначе модераторы не могли бы удалять сообщения.
02:01:15 ПП
User 61759754
возможно конвертнутся нельзя, пока все 1000 не зайдут в группу
02:01:22 ПП
02:02:58 ПП
User 51019704
User 104442434
Что непонятного?
В супергруппе видна более длинная история сообщений
В супегруппе удаляемые сообщения удаляются для всех участников, а не только для модератора
В супергруппе пользователи могут удалять свои сообщения
Супергруппы по дефолту замьючены.
В супергруппе может быть до 5000 пользователей.
воу воу
02:03:00 ПП
User 51019704
спасибо
02:08:43 ПП
User 83323330
User 122751044
а если вы когда-нибудь вмотрели исходники сетевого стека линукса с его несколькими типами буфферов и аллокаторов и прочей запутанностью, то понимаете, что переписать совсем дорого
Там всего лишь один тип: skb
02:36:59 ПП
User 40348910
все давно конвернтнуто.
02:45:10 ПП
User 125983057
это как-то мне напоминает байки про синий цветочек в ICQ :)
02:52:52 ПП
User 104442434
Пригласи в эту группу 20 человек и твой девопс станет синим!
02:54:20 ПП
User 104442434
Я не твой девопс 👭
02:55:46 ПП
User 40348910
User 125983057
это как-то мне напоминает байки про синий цветочек в ICQ :)
там было золотым. что я зря что ли пересылал
03:00:03 ПП
User 125983057
знаю я пару синих девопсов
03:03:32 ПП
User 131779045
не пали
03:05:16 ПП
User 122751044
User 83323330
Там всего лишь один тип: skb
Я смотрел в 2.x и там было skb skb2
03:06:41 ПП
User 122751044
Ежели сейчас стало лучше, то хорошо
03:10:43 ПП
User 122751044
Ну и опять Роман речь не об этом, а о том, что ядро монолитное и там связность большая. Это тормозит разработку, тормозит оптимизацию и потенциальные (!!!) проблемы с безопасностью тормозят применение контейнеров на серьезных проектах
03:22:57 ПП
User 122751044
Контейнеров не в смысле контейнерной виртулизации, а в смысле упаковки всего стека, начиная с программного окружения и заканчивая приложухой
03:39:28 ПП
User 71400098
Слишком мало людей в группе. Нужно больше.
04:05:44 ПП
User 714404
User 61759754
возможно конвертнутся нельзя, пока все 1000 не зайдут в группу
Можно хоть сразу после создания группы, проверял
04:06:27 ПП
User 61759754
User 714404
Можно хоть сразу после создания группы, проверял
Ясно. =) Сяб
04:08:15 ПП
User 2543313
User 6931850
Devops developer – масло масляное. Правильно – "devops engineer".
Правильно - “devops devops”
04:19:19 ПП
User 196895
или devopser?
04:20:20 ПП
04:20:34 ПП
User 61759754
и я стал его участником
04:21:12 ПП
User 61759754
с другой стороны, хороший признак - с ростом популярности IRC, в нём тоже было засилье рекламы
05:38:06 ПП
User 40348910
User 1092796
насчет jenkinsfile, https://wiki.jenkins-ci.org/display/JENKINS/2.0+Pipeline+as+Code в разделе Overview в конце есть некоторые ссылки
нашёл еще что нить интересное ?
06:10:36 ПП
User 187884501
Чем DevOps отличается от обычной разработки?
06:13:22 ПП
User 51019704
оригинальный вопрос
06:13:32 ПП
User 51019704
почему бы тебе не погуглить?
06:19:39 ПП
User 196895
User 187884501
Чем DevOps отличается от обычной разработки?
а что такое обычная разработка?
06:20:56 ПП
User 196895
я почему спрашиваю...
06:21:23 ПП
User 196895
потому что для того, чтобы ответить на вопрос, для начала я хотел бы понять, что ты имеешь в виду под "обычной разработкой", а что под "DevOps" )
06:21:43 ПП
User 125983057
User 187884501
Чем DevOps отличается от обычной разработки?
ничем. есть девопс и долина смерти
06:25:21 ПП
User 50881479
скоро будет DevOops!
06:25:43 ПП
User 196895
кто-нибудь из присутствующих вообще в курсе, что DevOps еще и QA на одну треть?
06:26:12 ПП
06:26:39 ПП
User 50881479
про QA еще Хант писал
06:33:41 ПП
User 125983057
qa - еще немного бизнес-аналитик :)
06:34:04 ПП
User 108693562
И немножечко шить
06:34:41 ПП
User 50881479
на дуде еще поиграть
06:35:12 ПП
User 196895
User 125983057
qa - еще немного бизнес-аналитик :)
а бизнес-аналитик должен быть немножко психологом и неплохим рыбаком по идее 😊
а там экспраполировать можно....
06:40:33 ПП
User 122751044
хорошая отсылка ;)
06:41:14 ПП
User 196895
@kirnovak ?
06:45:19 ПП
User 1615
User 187884501
Чем DevOps отличается от обычной разработки?
10 раз за сегодня
06:46:51 ПП
User 50881479
предлагаю случайным образом разыгрывать что-нибудь среди вопрошаюших. Какой-нибудь титул
07:15:30 ПП
User 187884501
User 196895
потому что для того, чтобы ответить на вопрос, для начала я хотел бы понять, что ты имеешь в виду под "обычной разработкой", а что под "DevOps" )
Зависит от того, что разрабатывают. Например поисковик с ElasticSearch и node.js на бекенде. И мультиплатформа на принимающих устройствах.
07:17:21 ПП
User 6931850
Поисковик на node на бэкенде. О времена, о нравы.
07:17:26 ПП
07:17:28 ПП
User 114919556
поисковик c ES
07:17:46 ПП
07:18:03 ПП
07:19:26 ПП
User 131779045
User 6931850
Поисковик на node на бэкенде. О времена, о нравы.
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
07:19:37 ПП
User 187884501
Тут прям анекдот о русских программистах :)
07:19:57 ПП
User 114919556
User 131779045
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
а вы насколько плотно с эластиком работали чтобы его пиосквоиком называть ? )))
07:21:01 ПП
User 131779045
User 114919556
а вы насколько плотно с эластиком работали чтобы его пиосквоиком называть ? )))
довольно плотно
07:21:31 ПП
User 131779045
на построение обратных индексов
07:21:35 ПП
User 114919556
User 131779045
довольно плотно
расскажите, датасет в кол-ве нод\документов\ параметры репликации \ шардинга, версию ЕС. Юзкейс.
м ?
07:21:59 ПП
User 131779045
User 114919556
расскажите, датасет в кол-ве нод\документов\ параметры репликации \ шардинга, версию ЕС. Юзкейс.
м ?
чтобы что?
07:22:01 ПП
User 6931850
User 131779045
вы читать не умеете? нода там - прокси к эластику. этио пофиг на чем делать
Чо? Так тут эластик поисковиком называют?
07:22:23 ПП
User 114919556
ну просто сравнить ваш опыт хочу со своим и понять что я делаю не так, и возможнос спросить у вас )
07:22:27 ПП
User 6931850
User 131779045
чтобы что?
Чтобы письками помериться, очевидно же
07:22:55 ПП
User 131779045
User 6931850
Чтобы письками помериться, очевидно же
“чтобы что” звучит вежливее
07:22:59 ПП
User 114919556
User 6931850
Чтобы письками помериться, очевидно же
без этого вобще никак. Прогресс без этого не идет
07:23:34 ПП
User 6931850
User 131779045
“чтобы что” звучит вежливее
Вежливее, чем что?
07:24:05 ПП
User 131779045
User 114919556
ну просто сравнить ваш опыт хочу со своим и понять что я делаю не так, и возможнос спросить у вас )
а что не так-то? обратные индексы строит? токенизаторы кастомные принимает? нагрузку по нодам раскидывает? что еще-то надо?
07:24:30 ПП
User 114919556
это на основании документации или с учетом всех НО, которые всплывают во время эксплуатации ?
07:24:34 ПП
User 733590
Не обращайте внимания
07:24:34 ПП
User 733590
#views Devops
07:24:38 ПП
User 131779045
с учетом
07:24:50 ПП
User 114919556
ну тогда скажите, то что я попросил.
07:25:04 ПП
User 131779045
чтобы что?
07:25:17 ПП
User 114919556
если у вас пара лямов документов и 3 ноды с ССД , то как бы наверно да работает
07:25:23 ПП
User 114919556
и 2 с половиной индекса
07:25:33 ПП
07:25:52 ПП
User 131779045
тут не количество индексов важно, а количество документов
07:26:00 ПП
User 114919556
как фильтр и классифкатор (фасеты там всякие) оно ок. но вот реально работа с индесами и поиск - ну не айс же.
07:26:04 ПП
User 131779045
как раз на паре лямов обновление встает колом
07:26:21 ПП
User 131779045
и надо открывать новый индекс
07:26:43 ПП
User 114919556
а еще принципиальное отсутсвие шедулинга в кааком либо виде внутри
07:26:50 ПП
User 114919556
нет возможности даже бегущие квери убить
07:27:07 ПП
User 131779045
раз впилили update on request - значит и шедулинг появился
07:27:25 ПП
User 131779045
но - это же все про другое
07:27:29 ПП
User 114919556
я про то что доступно пользователю конечному
07:28:18 ПП
User 114919556
а еще их позиция "филдсет ин мемори чтобы хоть как то работало" это вобще для каких людей ?
07:28:55 ПП
User 131779045
для богатых
07:29:00 ПП
07:29:10 ПП
User 131779045
я довольно агрессивно выступил
07:29:25 ПП
User 131779045
на самом деле - я хорошо знаю, что ES говно
07:29:32 ПП
User 114919556
я знаю одних людей у которых ЕС хорошо пашет. но у них ноды со 128гб и фьюжн ио в дисках.
07:29:58 ПП
User 114919556
и то сука течет и память в ОЛДе засирается в результате ГЦ постоянно коллектит мусор и рестратить приходится.
07:33:35 ПП
User 131779045
но кейс “поисковик на ноде и es” - это не про ноду
07:33:57 ПП
User 131779045
пробллема-то не в этом всем
07:34:07 ПП
User 131779045
это все норм
07:34:17 ПП
User 131779045
текущую память можно фиксить
07:34:25 ПП
User 131779045
у него родовая травма есть
07:34:41 ПП
User 114919556
серьезно ?) а мы не знаааааали )
07:34:43 ПП
User 131779045
он, сцуко, все время компактит свои листья
07:35:06 ПП
User 131779045
и нагрузку на диски минимум удваивает
07:35:18 ПП
User 131779045
а в нормальной ситуации - утраивает
07:35:27 ПП
User 131779045
и вот это уже не победить
07:36:20 ПП
User 114919556
если вам не нужно тут же уметь искать данные после получения, можно просто реже флашить на диск их
07:36:51 ПП
User 114919556
я к тому что компенсировать можно.
07:37:28 ПП
User 114919556
просто есть мнение что ЕС удобен для аналитки
07:37:33 ПП
User 131779045
мой обычный кейс - это ELK. ELK - это я хочу искать сразу по получении. но могу делать мелкие индексы.
07:37:43 ПП
User 114919556
и вот это как то очень сомнительно )
07:37:59 ПП
User 114919556
а активных доков сколько ?
07:38:07 ПП
User 114919556
вы же наверно закрываете индексы ?
07:38:14 ПП
07:38:16 ПП
User 131779045
конечно
07:38:27 ПП
User 131779045
но это мы деньги экономим
07:38:39 ПП
User 114919556
точнее так. по какому количеству доков ищете обычно ?
07:39:13 ПП
User 131779045
обычно ищем по текущим суткам
07:39:22 ПП
User 131779045
примерно 1К строк в секунду
07:39:46 ПП
User 131779045
поискать раньше - это надо индексы пооткрывать
07:40:01 ПП
User 114919556
85м в сутки.
07:40:05 ПП
07:40:08 ПП
07:40:12 ПП
User 131779045
меньше
07:40:17 ПП
User 131779045
ночью все же есть спад
07:40:27 ПП
07:40:36 ПП
User 131779045
это было моим кошмаром весь 2014
07:41:03 ПП
User 114919556
одна нода или сколько ?
07:41:14 ПП
User 114919556
и диски какие рейд 10 какой нибудь из обычных ? или ссд ?
07:44:07 ПП
07:44:16 ПП
User 131779045
replication factor 3
07:44:39 ПП
User 131779045
так что никакого 10
07:45:06 ПП
User 131779045
и, в общем, все работало
07:45:20 ПП
User 131779045
только индекс раз в час новый появлялся
07:49:16 ПП
User 114919556
а шардов ?
07:51:25 ПП
User 131779045
256, кажется
07:51:29 ПП
User 131779045
не помню
07:51:43 ПП
User 131779045
оно у меня слегка с кассандрой в голове перепуталось
07:52:00 ПП
User 131779045
а документы по проекту уж на внешний винт уехали
08:10:16 ПП
User 40348910
вот вы этим мереньем мне сейчас всю малину обломали
08:10:29 ПП
08:10:36 ПП
User 40348910
User 114919556
85м в сутки.
это же 1000 записей в секунду
08:10:48 ПП
08:11:12 ПП
User 40348910
и это мало. и для этого нужны много нод ?
08:11:24 ПП
08:11:30 ПП
User 131779045
вернее - нет
08:11:48 ПП
User 131779045
много нод нужно для надежности
08:13:29 ПП
User 40348910
для логов надо много нод ? или для чего то более ценного ?
08:13:57 ПП
User 131779045
у нас логи были ценным
08:14:05 ПП
08:27:05 ПП
User 114919556
мы ес под аналитику мучаем... и тяжело.
08:27:23 ПП
User 131779045
под аналитику он никак, по-моему
08:27:27 ПП
User 114919556
тяжело потому что индексы нельзя как бы закрывать, и в постоянном скане несколько млрд объектов...
08:28:07 ПП
User 114919556
и в память это не вмещается никак. и постоянные скана дисков...
08:28:23 ПП
User 131779045
ну я больше 500М пока ни в какую базу не складывал ничего
08:28:38 ПП
User 131779045
500М в активе, конечно же
08:28:51 ПП
User 131779045
в закрытых индексах сколько угодно может лежать
08:28:59 ПП
User 114919556
кстате. вы же делали обзор ФС распредленной на одном из хайлоадов ?
08:29:10 ПП
User 114919556
*распределенных
08:29:20 ПП
08:29:35 ПП
User 114919556
что то изучали с тех времен ? )
08:29:54 ПП
User 114919556
может эксплуатировали.
08:29:58 ПП
User 131779045
та фс переехала на кассандру
08:30:22 ПП
User 131779045
и касссандру я теперь зову сосандрой
08:30:26 ПП
User 114919556
прям данные хроните там блобами ?
08:30:43 ПП
User 131779045
чанками по 64К
08:31:18 ПП
User 114919556
тоска. это она сама так ? как риак ?
08:31:56 ПП
User 131779045
как раз риака я не пробовал
08:32:01 ПП
User 131779045
почему-то
08:32:13 ПП
User 131779045
она mmap files использует
08:32:32 ПП
User 131779045
это, как выяснилось, означает 100% утилизации диска на чтение
08:32:36 ПП
User 114919556
риак бьет бинарные данные на куски по 4кб и распихивает.
08:32:47 ПП
User 131779045
даже при небольшом количестве запросов
08:33:08 ПП
User 114919556
а были тесты ceph/swift ?
08:33:40 ПП
User 131779045
так что всем, кто хочет ее на больших датасетах юзать, прописан кеш на ssd
08:33:41 ПП
User 114919556
в режиме S3 ?
08:33:57 ПП
User 131779045
s3 нам не годится
08:34:11 ПП
User 131779045
в решиже фс - были, тормозят
08:35:01 ПП
User 114919556
ceph мы не осилили, потому что слишком высокое потребление памяти.... swift вроде ничо... вторые сутки тестится...
08:35:11 ПП
User 210889137
Думаю вам понравится 😂
08:35:11 ПП
User 210889137
У тебя есть предложения?
08:35:11 ПП
User 210889137
да. ты умеешь оказывать услуги в нише программирования
08:35:11 ПП
User 210889137
я могу найти людей, которые оплатят твои услуги
08:35:11 ПП
08:35:11 ПП
User 210889137
Хах) не настолько я шарю
08:35:11 ПП
User 210889137
примеры работ есть?
08:35:11 ПП
08:35:11 ПП
User 210889137
Залито сюда
08:35:11 ПП
User 210889137
https://github.com/AceLewis/my_first_calculator.py/blob/master/my_first_calculator.py
08:36:02 ПП
User 114919556
ему на ГО нада писат ьи код генерейшен юзать )
08:37:59 ПП
User 40348910
баянчик же :)
08:38:16 ПП
08:38:33 ПП
User 210889137
Залито 2 минуты назад уже баян
09:06:44 ПП
User 2543313
А у меня вот поиск сделан на Solr
09:06:53 ПП
User 2543313
4 шарда, в каждом 2 реплики
09:07:01 ПП
User 2543313
Примерно 1.2 млрд документов
09:07:27 ПП
User 2543313
Памяти уходит где-то по 12Gb на инстанс JVM
09:07:39 ПП
User 2543313
Ну и ничо - работает, вроде
09:08:58 ПП
User 40348910
но это не логи да ?
09:10:08 ПП
09:10:17 ПП
User 2543313
Не логи
09:28:57 ПП
User 1615
а что за доки индексировал?
09:34:11 ПП
User 114919556
у нас парни аналитики тоже смотрят на солар, но времени нету пока ехать, т.к много всего переписывать нужно и другой части аналитиков которые больше "составить запрос в кибане" еще какой то интерфейс для всего этого напилить надо....
10:34:40 ПП
User 59122311
Вот @demeliorator про базу расскажет, а я про настройку прометеуса и алертинг