@docker_ru
Docker — русскоговорящее сообщество

Обсуждаем вопросы, посвященные Docker🐳, Docker Swarm и всей экосистеме. Обмениваем идеями, новостями и решаем пробемы. Вам могут быть полезны: @coreos_ru, @kubernetes_ru, @devops_ru, @rkt_ru Рекомендуем сразу отключить уведомления для удобства

2608 members

Архив канала @docker_ru 16 августа 2016 г.

12:01:03 ДП
User 4627228
Привет, Максим. Тектоник тоже насколько я помню платный. В тоже время CoreOS + Kubernetes вполне приличная конфигурация (см. детали в @kubernetes_ru). Такой кластер приведёт к микросервисной архитектуре, где БД - по сути это микросервис, как мы недавно обсуждали.
12:03:22 ДП
User 4627228
Какие критерии к данным? Скорость доступа? Сохранность? Объем? Мы в конфигурации вынесли данные на отдельные сервера.
10:13:03 ДП
User 111640107
User 4627228
Какие критерии к данным? Скорость доступа? Сохранность? Объем? Мы в конфигурации вынесли данные на отдельные сервера.
В идеале все должно быть ) ceph и scaleio умеют ssd кэш для скорости, репликацию и выдерживают отказ одной ноды
10:14:49 ДП
User 1092796
Привет, а кто-нибудь запускал nomad? есть опыт?
10:23:40 ДП
User 39981844
#whois Привет, меня зовут Антон. 
- Работаю в консалтинге
- DevOps/Системное администрирование
- Системное администрирование и автоматизация
- Узнавать больше про Docker
- Москва
- Из поста в Gitter
10:25:41 ДП
User 39981844
Всем привет, еще раз. У кого нибудь есть опыт настройки проекта для Gitlab CI + Docker ?
10:53:18 ДП
User 184076434
#whois категорически приветствую! DevManager проектов разработки авиационных систем и ПО для авионики. Стараемся менять подходы в очень консервативном окружении.
11:59:39 ДП
User 980590
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
12:04:10 ПП
User 77550740
User 39981844
Всем привет, еще раз. У кого нибудь есть опыт настройки проекта для Gitlab CI + Docker ?
А в чем сложность?
12:05:07 ПП
User 39981844
добавляю репозиторий в образ и время билда при dind более 15 минут
12:06:13 ПП
User 122751044
> @gorniv
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊

артифактори можно попробовать
12:09:55 ПП
User 39981844
User 77550740
А в чем сложность?
сложность в том какой метод использовать при параллельных билдах за разумное время, судя по всему dind наиболее подходящий, но билд идет от 15 до 25 минут, тесты должны выполняться внутри репозитория, для dind я в Dockerfile через ADD добавил репозиторий , тк я не нашел другого способа запустить тесты внутри контейнера через docker run my-image /path/to/test/scripts.
12:10:27 ПП
User 32678737
Антон, не используй dind, в нем нет кеширования скачиваемых image
12:10:51 ПП
User 39981844
User 39981844
сложность в том какой метод использовать при параллельных билдах за разумное время, судя по всему dind наиболее подходящий, но билд идет от 15 до 25 минут, тесты должны выполняться внутри репозитория, для dind я в Dockerfile через ADD добавил репозиторий , тк я не нашел другого способа запустить тесты внутри контейнера через docker run my-image /path/to/test/scripts.
сам размер слоя получается 1гб c учетом dockerignore
12:11:43 ПП
User 39981844
User 32678737
Антон, не используй dind, в нем нет кеширования скачиваемых image
если не использовать dind то после билдов остается мусор в виде образов , как в docker images, так и в docker ps -a
12:12:01 ПП
User 32678737
а чистить никак? :)
12:12:19 ПП
User 32678737
1) docker run можно гонять с --rm
12:12:27 ПП
User 39981844
User 39981844
если не использовать dind то после билдов остается мусор в виде образов , как в docker images, так и в docker ps -a
к тому же названия билдов могут конфликтовать друг с другом и docker такие образы будет делать как <none>
12:12:32 ПП
User 32678737
2) можно чистить создаваемые volume/image
12:12:53 ПП
User 141089312
User 980590
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
GitLab
12:12:56 ПП
User 32678737
3) есть разные переменные, которые можно использовать - номер сборки, номер проекта и т.п.
12:13:08 ПП
User 39981844
User 32678737
а чистить никак? :)
пробовал, но если будет 2 билда параллельно, то когда 1 завершиться он удалить gitlab-runner-cache и 2 билд накроется
12:13:20 ПП
User 32678737
https://about.gitlab.com/2016/08/11/building-an-elixir-release-into-docker-image-using-gitlab-ci-part-1/ вот посмотри как мы сделали, может поможет
about.gitlab.com/2016/08/11/building-an-elixir-release-into-docker-image-using-gitlab-ci-part-1
Deploying projects written in Elixir/Erlang to production with Docker Containers and GitLab CI!
12:14:28 ПП
User 32678737
у меня запущен gitlab multi runner, параллельные билды 10 штук, внутри docker-раннера пробрасывается /var/run/docker.sock с хоста
12:14:38 ПП
User 32678737
/cache в принципе не используется
12:15:59 ПП
User 39981844
User 32678737
у меня запущен gitlab multi runner, параллельные билды 10 штук, внутри docker-раннера пробрасывается /var/run/docker.sock с хоста
а docker build -t используется?
12:16:26 ПП
12:17:48 ПП
User 32678737
единственно у раннера есть бага известная - он не закрывает коннекты к /var/run/docker.sock
12:17:54 ПП
User 32678737
приходится его рестартовать периодически
12:17:54 ПП
User 39981844
User 32678737
да
те это получается docker socket bind метод?
12:17:58 ПП
12:18:21 ПП
User 32678737
https://jpetazzo.github.io/2015/09/03/do-not-use-docker-in-docker-for-ci/ вот ещё про dind
12:18:29 ПП
User 39981844
да я читал это все
12:20:01 ПП
User 39981844
@spscream https://gitlab.com/gitlab-org/gitlab-ce/issues/17861 вот тут еще для dind пишут можно ускорить если использовать 
variables:
  DOCKER_DRIVER: overlay
gitlab.com/gitlab-org/gitlab-ce/issues/17861
I've followed the advanced example [in the container registry announcement](https://about.gitlab.com/2016/05/23/gitlab-container-registry/) to set up a CI build of a docker image. Unfortunately the image takes a very long time to build,...
12:21:12 ПП
User 32678737
я тоже долго с dind копался, потом плюнул :) получится настроить по нормальному и без костылей, расскажешь
12:21:34 ПП
User 39981844
а как ты очищаешь историю после билдов, ты в after_script что то добавляешь?
12:23:14 ПП
User 39981844
да в dind меня все устраивает кроме времени билда, и еще очень мало примеров , как тестировать php проекты, и что делать, если тесты надо проводить внутри репозитория на базе контейнеров
12:27:36 ПП
User 32678737
я сделал отдельную таску cleanup и в ней удаляю всё что создалось - data volume с артефактами сборки и image который создавался, чтобы в нём тесты и сборку гонять
12:31:01 ПП
User 153030146
User 980590
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
Quay.io
quay.io
Quay is the best place to build, store, and distribute your containers. Public repositories are always free.
12:32:26 ПП
User 980590
User 153030146
Quay.io
quay.io
Quay is the best place to build, store, and distribute your containers. Public repositories are always free.
там же тот же принцип что и hub.docker.com?  я хотел решение, которое можно развернут на своем сервере)
12:32:58 ПП
User 141089312
их всем можно развернуть на своём сервере
12:33:03 ПП
User 153030146
User 980590
там же тот же принцип что и hub.docker.com?  я хотел решение, которое можно развернут на своем сервере)
Тогда поднимай  реджестри сам
12:33:25 ПП
User 153030146
Веб морд к нему есть несколько. Но они не нужны
12:33:29 ПП
User 141089312
и jfrog и quay и gitlab, только gitlab бесплатный
12:33:43 ПП
User 39981844
User 32678737
я сделал отдельную таску cleanup и в ней удаляю всё что создалось - data volume с артефактами сборки и image который создавался, чтобы в нём тесты и сборку гонять
да, но ты это добавляешь в .gitlab-ci.yml и что получиться, если 2 билда параллельно идут и 1 завершился он выполняет этот таск и убивает gitlab-runners? Так же будет конфликтовать с параллельными билдами, или ты по каким то фильтрам или командам определяешь какие тебе образы удалить?
12:34:45 ПП
User 32678737
посмотри статью мою https://about.gitlab.com/2016/08/11/building-an-elixir-release-into-docker-image-using-gitlab-ci-part-1/, там всё это есть
about.gitlab.com/2016/08/11/building-an-elixir-release-into-docker-image-using-gitlab-ci-part-1
Deploying projects written in Elixir/Erlang to production with Docker Containers and GitLab CI!
12:34:50 ПП
User 39981844
@spscream я просто смотрел команды по удалению этих образов и контейнеров и они будут конфликтовать с параллельными билдами
12:35:12 ПП
User 32678737
я создаю под каждый билд свой образ и свой дата-вольюм
12:36:39 ПП
User 39981844
User 32678737
я создаю под каждый билд свой образ и свой дата-вольюм
ага вижу, щас поподробнее изучу )
12:36:48 ПП
User 980590
ок, спасибо. В первую очередь посмотрю гитлаб)
01:10:56 ПП
User 2895769
какой наиболее правильный способ сделать export/import из одного образа в другой? ( один из вариантов https://github.com/grammarly/rocker#exportimport )
github.com/grammarly/rocker
rocker - Rocker breaks the limits of Dockerfile.
01:17:04 ПП
User 2895769
энибади?
01:34:29 ПП
User 105697514
Экспорт импорт чего?
01:34:46 ПП
User 105697514
Образа или части докерфайла
01:38:51 ПП
User 1092796
если есть надобность хранить не только docker имиджи и в компании есть практика покупать софт, то неистово рекомендую artifactory
01:41:45 ПП
User 2895769
User 105697514
Экспорт импорт чего?
допустим, мне хочется в первом образе сделать RUN python manage.py collectstatic, получится папочка и её скопировать в другой образ, где нет никакого питона, а только nginx
01:43:58 ПП
User 2895769
то есть я мог бы это сделать через общий volume на самом сервере, но мне хочется на этапе docker build записать всю эту статику в образ с nginx
01:44:14 ПП
User 105697514
docker run --rm -v some_path:/go/src/titan -w /go/src/titan iron/go:dev sh -c go build
01:44:35 ПП
User 105697514
сначала запускаем билдер потом копируем что получилось в контейнер
01:44:40 ПП
User 2895769
то есть через docker run лучше чем через docker save?
01:44:46 ПП
User 105697514
или надо чтобы первый контейнер крутился постоянно?
01:44:58 ПП
User 105697514
мы голанговские исходники так везде билдим
01:45:17 ПП
User 2895769
надо чтобы было 2 образа на выходе, во втором папочка из первого
01:45:36 ПП
User 105697514
тогда билд первого контейнера
01:45:45 ПП
User 105697514
потом его запуск с маунтом в локальную папку
01:45:46 ПП
User 2895769
образа)
01:45:49 ПП
User 105697514
потом билд второго контейнера
01:45:53 ПП
User 105697514
ну да образа
01:46:14 ПП
User 2895769
то есть запускать всё-таки лучше, чем сейвить?
01:46:27 ПП
User 2895769
docker save сохраняет в tar
01:46:29 ПП
User 105697514
разные вещи
01:46:38 ПП
User 2895769
ну, как разные
01:46:38 ПП
User 105697514
да это экспорт внутренностей
01:46:50 ПП
User 105697514
run - выполнить то что в контейнере
01:46:58 ПП
User 105697514
entrypoint или команду
01:47:05 ПП
User 105697514
а save грубо говоря выдернуть
01:47:39 ПП
User 105697514
можно кстати docker cp сделать
01:47:47 ПП
User 105697514
если нужно просто скопировать
01:48:02 ПП
User 105697514
не т.е если артефакты создаются в процессе build
01:48:13 ПП
User 105697514
docker cp <containerId>:/file/path/within/container /host/path/target
01:48:48 ПП
User 59011046
User 2895769
ну, как разные
ну мы в рокере мутим промежуточный контейнер с rsync
01:48:57 ПП
User 59011046
ну типа под капотом
01:49:08 ПП
User 59011046
надо для того чтобы не инвалидейтить кеш без причины
01:49:41 ПП
User 59011046
потому что в вариантах выше он как раз может инвалидейтится
01:50:57 ПП
User 2895769
вот мне вариант с rsync нравится
01:51:03 ПП
User 2895769
но не нравится зависимость от rocker'а
01:51:19 ПП
User 4627228
На InfoQ опубликовали конспект выступления Aaron Grattafiori на  DockerCon 2016 с докладом, посвященным обеспечению безопасности микросервисов с помощью контейнеризации.

http://amp.gs/8Rl1
infoq.com/news/2016/08/secure-docker-microservices
At DockerCon 2016, held in Seattle, USA, Aaron Grattafiori presented “The Golden Ticket: Docker and High Security Microservices”. Core recommendations for running secure container-based microservices included enabling User Namespaces, configuring application-specific AppArmor or SELinux and seccomp whitelist, hardening the host system, restricting host access and considering network security.
01:51:47 ПП
User 2895769
с рокером проблема в том, что медленно подстраивается под изменения, то есть вот сломалось что-то в 1.12 - пофиксилось лишь спустя недели 2-3
01:53:02 ПП
User 2895769
рокер клёвый проект, он мне нравится, если никуда не спешить - наверное, это неплохой вариант, но меня очень злило, что они так долго фиксили критический (на мой взгляд) баг с 1.12
01:55:31 ПП
User 2895769
(я про этот баг https://github.com/grammarly/rocker/issues/112 )
github.com/grammarly/rocker/issues/112
Manifests during (all?) builds: FATA[0000] API error (400): {"message":"starting container with HostConfig was deprecated since v1.10 and removed in v1.12"} Looks like this line is related: http...
02:06:03 ПП
User 59011046
User 2895769
с рокером проблема в том, что медленно подстраивается под изменения, то есть вот сломалось что-то в 1.12 - пофиксилось лишь спустя недели 2-3
так до выхода ж пофиксили
02:06:16 ПП
User 59011046
а по беткам успевать апдейтить сложновато :(
02:06:57 ПП
User 2895769
просто на официальном сайте докера про эту Docker for Mac объявили заранее , и там написали что это типа рекомендованный способ, я как и многие другие быстро подсели... а потом оказалось, что там 1.12 и рокер с ней не дружит
02:07:02 ПП
User 59011046
хотя мы там сейчас CI насетапали другой с тестами на всех версиях докера, поидее должно быть быстрее
02:08:23 ПП
User 2895769
то есть там проблема была в стороннем компоненте (библиотеке докера на go), но они-то вот как раз быстро пофиксили (относительно), а рокер тупил около 24 дней
02:11:31 ПП
User 59011046
ну потому что нельзя просто так взять и обновить, надо проверить под все версии :)
02:11:46 ПП
User 59011046
пока проверяли решили замутить тесты, что б потом не делать ту же работу
02:12:05 ПП
User 59011046
замутили тесты, насетапали CI в пустое время, вот и кучу дней прошло :)
02:12:40 ПП
User 59011046
у меня у самого 1.12 на маке был, приходилось опять через docker-machine ходить
02:13:32 ПП
User 2895769
да я понял, что они что-то делают, просто вот так неудачно совпало, что конкретно в этот раз на бете оказались не только бета-тестеры, но и обычные разработчики
02:14:04 ПП
User 2895769
ну и злился поэтому в основном именно на рокер потому что даже тот же PyCharm довольно быстро пофиксил всё
02:18:44 ПП
User 1698969
User 980590
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
bintray если нужен в клауде, artifactory если ставить у себя
02:19:26 ПП
User 1698969
User 141089312
их всем можно развернуть на своём сервере
Бинтрей пока нельзя
02:19:58 ПП
User 1698969
User 153030146
Тогда поднимай  реджестри сам
зачем? есть же решения получше
03:41:28 ПП
User 153030146
User 1698969
зачем? есть же решения получше
Если он хочет сам его хостить, то ему самому придется его поднимать, ваш КО. А в какую обортку завернуть реджестри, об этом вопроса не было.
03:42:50 ПП
User 1698969
ну понятно что самому поднимать, вопрос что понимать :)
03:43:45 ПП
User 153030146
Вот этот был вопрос
03:43:46 ПП
User 153030146
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
03:44:28 ПП
User 153030146
Попроще и с интерфейсом - quay.io
quay.io
Quay is the best place to build, store, and distribute your containers. Public repositories are always free.
03:46:35 ПП
User 1698969
ну артифактори же, епт :) какой квай :)
03:52:03 ПП
User 760606
sonatype nexus 3?
03:53:07 ПП
User 227646933
+1 for nexus
03:54:57 ПП
User 1698969
ебать! Вы пробовали хоть в нем докер, нет?
03:56:28 ПП
User 153030146
User 1698969
ну артифактори же, епт :) какой квай :)
Его же ставить надо, ты чо
03:56:55 ПП
User 1698969
так просили же ставить
03:57:03 ПП
User 1698969
и нет, его не надо ставить, есть jfrog.io
03:57:09 ПП
User 1698969
не говоря уже про bintray.com
bintray.com
Bintray gives developers a CDN-based, reliable, download center with REST automation & support for RPM & Debian packages, and generic software distribution
06:51:27 ПП
User 141636672
User 153030146
какое сейчас лучшее решение для замены hub.docker.com  на  приватный registry? желательно попроще и с интерфейсом 😊
https://github.com/SUSE/Portus
github.com/SUSE/Portus
Authorization service and frontend for Docker registry (v2) - SUSE/Portus
06:52:12 ПП
User 153030146
User 141636672
https://github.com/SUSE/Portus
github.com/SUSE/Portus
Authorization service and frontend for Docker registry (v2) - SUSE/Portus
Это не я спрашивал, это чувак выше
11:09:19 ПП
User 1698969
народ, а кто нибудь что нибудь слышал про dockercon.eu в этом году?
dockercon.eu
GANDI is a domain name registrar and cloud hosting company. Free website, SSL certificate, blog, and e-mail included. VPS dedicated virtual servers, cloud hosting.
11:09:26 ПП
User 1698969
уже август на дворе
11:09:32 ПП
User 1698969
а ничего не слышно
11:10:19 ПП
User 4627228
Домен потерян)
11:10:30 ПП
User 4627228
http://2016.dockercon.com/
2016.dockercon.com
DockerCon is the community and industry event for makers and operators of next generation distributed apps built with containers. The two-and-a-half-day conference provides talks by practitioners, hands-on labs, an expo of Docker ecosystem innovators and great opportunities to share experiences with your peers.
11:10:50 ПП
User 4627228
Но это US
11:14:31 ПП
User 1698969
да не, это уже было
11:14:41 ПП
User 1698969
я про Барселону, которая в Октябре по идее
11:25:03 ПП
User 4627228
Тишина, в этом году вся активность в штатах: https://www.docker.com/community/dockercon
docker.com/community/dockercon
11:27:37 ПП
User 1698969
это хуево
11:27:43 ПП
User 1698969
я хотел в Барселону
11:38:05 ПП
User 4627228
два года там не был) говорят серьезно раскачали там всё, стартап хабом становится, все дела