hitcounter

Создание docker container с tengine webserver(русская версия)

Создание docker container с tengine webserver(русская версия)

Что такое tengine?

Tengine является форком nginx, разрабатываемым и поддерживаемым крупнейшими китайскими сайтами: taobao.com и tmall.com и, разумеется, применяется на серверах этих сайтов в production.

Полный список имеющихся на сегодня в tengine фич можно найти на странице http://tengine.taobao.org

Я вам расскажу как быстро собрать docker container с tengine на борту с помощью Packer без всяких проблем и очень быстро.

Вы сможете применить полученые знания для организации процесса Continuous delivery, packer прекрасная утилиа для использования в Continuous delivery(cd) или Continuous integration(ci) pipelines и как утилита для automation сборок любых образов.

Что такое Packer

Packer — это инструмент для создания одинаковых образов ОС для различных платформ из одного описания.

На текущий момент Packer поддерживает множество платформ и этот список постояно увеличивается!

Терминология в Packer

  • Templates: JSON файл содержащий сценарий сборки

  • Builders: Платформа для сборки будущего образа

  • Provisioners: Утилиты/скрипты для настройки будущего образа

  • Post-processors: Что необходимо сделать после сборки

Так же вы можете, ознакомится с моей призентацией с Pgday17 в Сантк-Петербурге.

Template как много в этом звуке

И так пришло время начать писать темплейт будущей сборки, для начала давайте опишем что у нас будет выступать в качестве builder. Так как мы будем собирать docker container в качестве builder у нас быдует выступать docker, а за основу мы возьмем образ alpine.


"builders":[{
    "type": "docker",
    "image": "alpine:3.5",
    "export_path": "containers/tengine.tar",
    "run_command": [
      "-d",
      "-i",
      "-t",
      "--name",
      "tengine-{{timestamp}}",
      "{{.Image}}",
      "/bin/ash"
    ]

    }],

В шаблоне мы должны указать: - тип билдера - исходный образ - команду запуска - Путь куда мы будем эспортировать готовый образ

Следующим шагом, нам необходимо указать provisioners

 "provisioners":[
      {
        "destination": "/tmp/install.sh",
        "source": "./scripts/install.sh",
        "type": "file"
      },
      {
        "type": "shell",
        "inline":"apk add --no-cache bash"
      },
      {
        "type": "shell",
        "execute_command": "echo 'test' |/bin/bash -e '{{ .Path }}'",
        "inline": [
          "chmod +x /tmp/install.sh",
          "/tmp/install.sh {{user `version`}}"
        ]
      },
      {
        "destination": "/tmp",
        "source": "./files",
        "type": "file"
      },
      {
        "type": "shell",
        "inline": [
          "mv /tmp/files/nginx.conf /etc/nginx/nginx.conf",
          "mv /tmp/files/nginx.default.conf /etc/nginx/conf.d/default.conf"
        ]
      }
    ]

} 

Как вы видите, я использовал два типа провижинера первый это file, а второй shell. Задача провижинера file - это скопировать файл или папку с магины на которой мы производим сборку на удаленную машину, провижинер shell выполняет команду или скрипт на удаленном хосте. Все скрипты я храню в папке scripts, которая распологается в том же каталоге, что и наш шаблон, а файлы конфигураций я храню в папке files. Последние, что мы укажем это переменные

"variables": {
    "version":"2.2.2"
  },

Как переменную я указываю версию tengine.

Теперь давайте посмотрим, что содержится в первом скрипте install.sh, который я копирую на удаленный хост в папку tmp

#!/usr/bin/env bash
set -x
VERSION=$1
CONFIG="\
	--prefix=/etc/nginx \
	--sbin-path=/usr/sbin/nginx \
	--conf-path=/etc/nginx/nginx.conf \
	--error-log-path=/var/log/nginx/error.log \
	--http-log-path=/var/log/nginx/access.log \
	--pid-path=/var/run/nginx.pid \
	--lock-path=/var/run/nginx.lock \
	--http-client-body-temp-path=/var/cache/nginx/client_temp \
	--http-proxy-temp-path=/var/cache/nginx/proxy_temp \
	--http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp \
	--http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp \
	--http-scgi-temp-path=/var/cache/nginx/scgi_temp \
	--user=nginx \
	--group=nginx \
	--with-http_ssl_module \
	--with-http_realip_module \
	--with-http_addition_module \
	--with-http_sub_module \
	--with-http_dav_module \
	--with-http_flv_module \
	--with-http_mp4_module \
	--with-http_gunzip_module \
	--with-http_gzip_static_module \
	--with-http_random_index_module \
	--with-http_secure_link_module \
	--with-http_stub_status_module \
	--with-http_auth_request_module \
	--with-http_xslt_module=shared \
	--with-http_image_filter_module=shared \
	--with-http_geoip_module=shared \
	--with-threads \
	--with-http_slice_module \
	--with-mail \
	--with-mail_ssl_module \
	--with-file-aio \
	--with-http_v2_module \
	--with-http_concat_module \
	--with-http_sysguard_module \
	--with-http_dyups_module \
	"
addgroup -S nginx \
	&& adduser -D -S -h /var/cache/nginx -s /sbin/nologin -G nginx nginx \
	&& apk add --no-cache --virtual .build-deps \
		gcc \
		libc-dev \
		make \
		openssl-dev \
		pcre-dev \
		zlib-dev \
		linux-headers \
		curl \
		gnupg \
		libxslt-dev \
		gd-dev \
		geoip-dev;

curl -L "http://tengine.taobao.org/download/tengine-$VERSION.tar.gz" -o tengine.tar.gz \
&& mkdir -p /usr/src \
&& tar  xfz  tengine.tar.gz -C /usr/src \
&& rm tengine.tar.gz \
&& cd /usr/src/tengine-${VERSION}/ \
&& ./configure ${CONFIG} --with-debug \
&& make -j$(getconf _NPROCESSORS_ONLN) \
&& mv objs/nginx objs/nginx-debug \
&& ./configure ${CONFIG} \
&& make -j$(getconf _NPROCESSORS_ONLN) \
&& make install \
&& rm -rf /etc/nginx/html/ \
&& mkdir /etc/nginx/conf.d/ \
&& mkdir -p /usr/share/nginx/html/ \
&& install -m644 html/index.html /usr/share/nginx/html/ \
&& install -m644 html/50x.html /usr/share/nginx/html/ \
&& install -m755 objs/nginx-debug /usr/sbin/nginx-debug \
&& strip /usr/sbin/nginx* \
&& strip /etc/nginx/modules/*.so \
&& rm -rf /usr/src/tengine-${VERSION} \
&& apk add --no-cache --virtual .gettext gettext \
&& mv /usr/bin/envsubst /tmp/ \
\
&& runDeps="$( \
    scanelf --needed --nobanner /usr/sbin/nginx /etc/nginx/modules/*.so /tmp/envsubst \
        | awk '{ gsub(/,/, "\nso:", $2); print "so:" $2 }' \
        | sort -u \
        | xargs -r apk info --installed \
        | sort -u \
)" \
&& apk add --no-cache --virtual .nginx-rundeps $runDeps \
&& apk del .build-deps \
&& apk del .gettext \
&& mv /tmp/envsubst /usr/local/bin/\
&& ln -sf /dev/stdout /var/log/nginx/access.log \
&& ln -sf /dev/stderr /var/log/nginx/error.log

Непосредственно, это сборка tengine, скрипт принимает как аргумент версию tengine, которыую мы указали выше как переменную. После того, как я скопировал скрипт установки, с помощью apk я устанавливаю в систему bash, делаю исполняемый файл install.sh и запускаю сборку передвая переменную version на вход скрипта /tmp/install.sh {{user `version`}}.

Далее я копирую файлы конфигурации tengine(nginx.conf), сам файл конфигурации такой же как и обычного nginx


user  nginx;
worker_processes  auto;

error_log  /var/log/nginx/error.log error;
pid        /var/run/nginx.pid;

#Specifies the value for maximum file descriptors that can be opened by this process.
worker_rlimit_nofile 51200;

events {
  use epoll;
  worker_connections 51200;
  multi_accept on;
}

# load modules compiled as Dynamic Shared Object (DSO)
#
#dso {
#    load ngx_http_fastcgi_module.so;
#    load ngx_http_rewrite_module.so;
#}

http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                     '$status $body_bytes_sent "$http_referer" '
                     '"$http_user_agent" "$http_x_forwarded_for"';

    # access_log  /var/log/nginx/access.log  main;
    access_log off;

    # Hide nginx version information
    server_tokens off;
    server_info off;

    # Tell all agents to _only_ use HTTPS
    # add_header Strict-Transport-Security "max-age=31536000";
    # ssl_prefer_server_ciphers on;
    # ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    # ssl_ciphers ECDH+AESGCM:DH+AESGCM:ECDH+AES256:DH+AES256:ECDH+AES128:DH+AES:ECDH+3DES:DH+3DES:RSA+AESGCM:RSA+AES:RSA+3DES:!aNULL:!MD5:!DSS;

    sendfile on;
    tcp_nopush on;

    keepalive_timeout 65;

    server_names_hash_bucket_size 128;
    client_body_buffer_size 128k;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;
    client_max_body_size 50m;

    client_header_timeout  15;
    client_body_timeout    15;
    send_timeout           12;

    tcp_nodelay on;

    fastcgi_connect_timeout 300;
    fastcgi_send_timeout 300;
    fastcgi_read_timeout 300;
    fastcgi_buffer_size 64k;
    fastcgi_buffers 4 64k;
    fastcgi_busy_buffers_size 128k;
    fastcgi_temp_file_write_size 256k;

    gzip on;
    gzip_min_length  1k;
    gzip_buffers 4 16k;
    gzip_http_version 1.1;
    gzip_comp_level 2;
    gzip_vary on;
    gzip_proxied expired no-cache no-store private auth;
    gzip_disable "MSIE [1-6]\.";
    gzip_types
      application/atom+xml
      application/javascript
      application/x-javascript
      application/json
      application/rss+xml
      application/stylesheet
      application/vnd.ms-fontobject
      application/x-font-ttf
      application/x-web-app-manifest+json
      application/xhtml+xml
      application/xml
      font/opentype
      font/ttf
      font/otf
      image/svg+xml
      image/x-icon
      text/css
      text/javascript
      text/plain
      text/xml
      text/x-component;

    #limit_conn_zone $binary_remote_addr zone=perip:10m;
    ##If enable limit_conn_zone,add "limit_conn perip 10;" to server section.
    # limit_req_zone $binary_remote_addr zone=req_limit_per_ip:10m rate=5r/s;
    ## add "limit_req zone=req_limit_per_ip burst=10 nodelay;" to server section.


    include conf.d/*.conf;


}

На этом подготовка сборки завершена и теперь можем начать процесс сборки, для этого достаточно выполнить команду packer build template.json

После сбокри готовый контейнер будет помещен в директорию containers с именем tengine.tar

Для удобства, я использую docker-compose, создаем файл docker-compose.yml, примерное содержание может быть следующим:

version: '3'
services:
  tengine:
        build: tengine
        tty: true
        privileged: true
        ports:
            - '9090:80'

Дальше нам достаточно импортировать образ и запустить

docker import containers/tengine.tar tengine:latest
docker-compose up --build --remove-orphans -d

Кому лень писать можете сколнировать уже готовый репозиторий и собрать еще быстрее

git@github.com:pyToshka/packer-tengine-template.git
cd packer-tengine-template
./build.sh
 
comments powered by Disqus