gitlab-ci-multi-runnerをRaspberry Piで動かしてDockerコンテナをビルド，Gitlab Container Registryにpushさせる

poyo.hatenablog.jp

これらの過去記事で作成したGitlab環境を使用します．

前回の課題点の解消
きっかけ
環境
準備
- HypriotOSのイメージを書き込む
Gitlabの動いているサーバ上の準備
- Container Registryを有効にする
- フロントのnginxのclient_max_body_sizeの値を変更する
RasPi上の準備
- gitlab-ci-multi-runnerをインストール
CIする
まとめ

前回の課題点の解消

メールアドレスの設定に関してはコンテナを再ビルドすることで解決しました．一応設定値としては以下のものを使用しました．

gitlab_rails['gitlab_email_enabled'] = true
gitlab_rails['gitlab_email_from'] = 'gitlab@hoge.com'
gitlab_rails['gitlab_email_display_name'] = 'Gitlab'
gitlab_rails['gitlab_email_reply_to'] = 'gitlab@hoge.com'
gitlab_rails['smtp_enable'] = true
gitlab_rails['smtp_address'] = "smtp.hoge.com"
gitlab_rails['smtp_port'] = 587
gitlab_rails['smtp_user_name'] = "gitlab@hoge.com"
gitlab_rails['smtp_password'] = "パスワード"
gitlab_rails['smtp_domain'] = "hoge.com"
gitlab_rails['smtp_authentication'] = "login"
gitlab_rails['smtp_enable_starttls_auto'] = true

一応さくらのメールサーバを使用しています．設定したgitlab@hoge.comをあらかじめ作っておけばそこからメールが届くようになります．

きっかけ

Docker HubのAutomated Buildという素晴らしい機能を知ったので自分のDockerfileを元にイメージを作らせたりしていたのですが，こいつはx86_64しか対応しておらず，armのイメージのビルドでこけることがわかりました．

ネットでググると何らかのCIを使ってpushしてDockerhubにアップロードしろと出てきたのですが，どうせ自分の自宅内でしか使わないイメージなので，Gitlabの提供するGitlab Container Registryを使ってみようかと．ちょうど余っているRasberry Pi2でrunnerを走らせてビルド，pushしようと考えました．

環境

Gitlabを動かしているサーバ
- Ubuntu Server 16.04
- Gitlab Community Edition 8.16.5
- Docker 1.13.1
- Docker-compose 1.8.0
Raspberry Pi 2 B+
- HypriotOS 1.1.3
- Docker 17.03.0-ce
- Docker-compose 1.9.0
- gitlab-ci-multi-runner 1.11.1
RasPiにイメージを書き込むMac
- macOS Sierra 10.12.3
- Homebrew 1.1.11

HypriotOS*1はRaspberryPiでDockerを動作させるためにカスタマイズされたOSで，ベースはRasbianだそうです．
Dockerのバージョン表記がアレなのでちょっと怪しい…

準備

HypriotOSのイメージを書き込む

ここを参考にさせていただきました．

hammmm.hatenablog.com

ほとんど詰まることなくできましたが一点だけ注意があり，初期ユーザとパスワードがRasbianのデフォルトから変更されていました．

初期ユーザ： pirate
初期パスワード: hypriot

今回は無線LANを使用していません．RasPiは有線で接続しました．

Gitlabの動いているサーバ上の準備

Container Registryを有効にする

Gitlabを普通にたてただけではContainer Registryは有効になっていません．gitlabコンテナの設定をしているdocker-compose.ymlに以下の設定のように環境変数を加えます．
gitlab.example.comがgitlabのURL，registry.gitlab.example.comがContainer RegistryのURLです．

# 省略
services:
  gitlab:
    image: gitlab/gitlab-ce
    # 省略
    environment:
      VIRTUAL_HOST: gitlab.example.com, registry.gitlab.example.com
      VIRTUAL_PORT: 80
      LETSENCRYPT_HOST: gitlab.example.com, registry.gitlab.example.com
      LETSENCRYPT_EMAIL: hoge@example.com
      GITLAB_OMNIBUS_CONFIG: |
        external_url "https://gitlab.examle.com"
        nginx['listen_port'] = 80
        nginx['listen_https'] = false
        nginx['proxy_set_headers'] = {
          "X-Forwarded-Proto" => "https",
          "X-Forwarded-Ssl" => "on"
        }
        # Container Registryにアクセスする設定
        registry_external_url "https://registry.gitlab.example.com"
        registry_nginx['listen_port'] = 80
        registry_nginx['listen_https'] = false
        registry_nginx['proxy_set_headers'] = {
          "X-Forwarded-Proto" => "https",
          "X-Forwarded-Ssl" => "on"
        }
# 以下省略

起動します．

$ docker-compose stop
$ docker-compose up -d

有効になるとプロジェクトのページのタブにRegistryという項目が現れます．

フロントのnginxのclient_max_body_sizeの値を変更する

registryを有効にしてもこのままではほとんどのイメージはclient_max_body_sizeに引っかかってしまいpushできません．
docker-genを使っているので，vhost.dに設定を置いてやればよしなにしてくれそうです．
ディレクトリ構造とかは過去記事を参照してください．

$ docker-compose stop
$ cd vhost
$ sudo sh -c 'echo "client_max_body_size 3G;" > registry.gitlab.example.com'
$ docker-compose up -d

適当に3GBとかにしています．必要に応じて変えた方が良いでしょう．

RasPi上の準備

gitlab-ci-multi-runnerをインストール

HypriotOSがうまく起動してsshして使えるようになったら各種設定を済ませてください．

まずgitlab-ci-multi-runnerをインストールします．本家のDockerコンテナもありますがarmでは動かないようなのでapt-getします．

$ curl -L https://packages.gitlab.com/install/repositories/runner/gitlab-ci-multi-runner/script.deb.sh | sudo bash
$ sudo apt-get install gitlab-ci-multi-runner

runnerを登録したりしていきます．ここでは既存のユーザ（pudding）を用いていますが，必要であればgitlab-runnerユーザなどを追加，dockerグループに所属させると良いと思います．
またregistration-tokenはhttps://gitlab.example.com/admin/runners/にあります．このtokenを用いるとSharedなRunnerができます．
https://gitlab.example.com/<ユーザ名>/<プロジェクト名>/runners/にあるtokenを用いるとSpecificなRunnerができます*2．

$ sudo gitlab-ci-multi-runner install --user pudding --working-directory /home/pudding/
$ sudo gitlab-ci-multi-runner register -n \
        --executor shell \
        --registration-token xxxxxxxxx \
        --url https://gitlab.example.com/ \
        --description "Runner on RasPi using Shell" \
        --name rpi_shell
$ sudo gitlab-ci-multi-runner start

一度installすれば何度でもregisterできる？ようです．

CIする

プロジェクトにおいてrunnerを有効化

以下の様な構造のリポジトリをpushしておきます．

.
├── data
│   └── config.ini
├── deploy.sh
├── docker-compose.yml
├── Dockerfile
└── README.md

今回は二つのコンテナで共通の設定値を使用するため上記のiniファイルをマウントさせたりしています．このファイルは.gitignoreに記述するため，最初にアップロードなりなんなりしておく必要があると思います．
このリポジトリをデプロイ先にもcloneしておき，デプロイ時にpullするようにします．

https://gitlab.example.com/admin/runners/にアクセスすると，runnerが見えるようになっているかと思います．Editを押して編集しましょう．

f:id:pudding_info:20170311000132p:plain

タグを付加できるのですがコマンドで付加する方法がわからなかったので手動でやっています．
Enableにする前はページ下部にプロジェクト一覧が出ますので，有効にしたいプロジェクトでenableしましょう．

.gitlab-ci.ymlを書く

stages:
  - build
  - test
  - release
  - deploy

variables:
  CONTAINER_TEST_IMAGE: CI_REGISTRY_IMAGE:BUILD_REF_NAME
  CONTAINER_RELEASE_IMAGE: CI_REGISTRY_IMAGE:latest

before_script:
  - docker login -u gitlab-ci-token -p $CI_BUILD_TOKEN $CI_REGISTRY

build:
  stage: build
  script: 
    - docker build -t $CONTAINER_TEST_IMAGE .
    - ocker push $CONTAINER_TEST_IMAGE
  tags:
    - rpi
    - shell

test:
  stage: test
  script:
    - docker pull $CONTAINER_TEST_IMAGE
    - docker run --rm $CONTAINER_TEST_IMAGE "something test"
  tags:
    - rpi
    - shell

release:
  stage: release
  script:
    - docker pull $CONTAINER_TEST_IMAGE
    - docker tag $CONTAINER_TEST_IMAGE $CONTAINER_RELEASE_IMAGE
    - docker push $CONTAINER_RELEASE_IMAGE
  tags:
    - rpi
    - shell
  only:
    - master

deploy_staging:
  stage: deploy
  script:
    - docker pull $CONTAINER_RELEASE_IMAGE
    - cd /path/to/project
    - git pull
    - ./deploy.sh
  tags:
    - rpi
    - shell
  only:
    - master

deploy:
  stage: deploy
  script:
    - docker pull $CONTAINER_RELEASE_IMAGE
    - cd /path/to/project
    - git pull
    - ./deploy.sh
  tags:
    - rpi
    - shell
  only:
    - master
    - release

variablesで宣言している以外の環境変数はrunnerが走るときに用意されているものです．CI_DEBUG_TRACE: "true"をvariablesに付加すると，ビルド時のログに全ての環境変数とその値*3が表示されます．

before_scriptは毎回script実行の前に実行されるスクリプトを記述する項目で，Container Registryにログインするためのコマンドを入れています．
gitlab-ci-tokenはtokenを入れるのではなく，この名前のユーザが特別に設定されています．CI_BUILD_TOKENも既に用意されている変数で，これらによってパスワード等の設定が必要なくContainer Registryにloginできます．便利．

tagsでは実行するrunnerをtagで指定しています．複数追加した条件はandになります．条件に合致するrunnerがない，またはrunnerが走っていない場合はpendingのままで止まるようになっています．追加する（走らせる）と自動的にrunningになります．

deployは本番サーバへのデプロイと，テストサーバへのデプロイで分けています．これはonlyにおいてgitのtagで限定するという条件を付加して分けています．

後はaddしてpushするだけ．

$ git add .gitlab-ci.yml
$ git commit -a -m "add .gitlab-ci.yml"
$ git push origin master

CIが回っているのを確認する

https://gitlab.example.com/<ユーザ名>/<プロジェクト名>/pipelinesに結果の一覧があります．

f:id:pudding_info:20170311004251p:plain

一つ一つのpipelineを開くと以下の様な画面が出ます．

f:id:pudding_info:20170311004414p:plain

さらに一つ一つのstageのログを確認できます．

f:id:pudding_info:20170311004715p:plain

環境変数の名前が上で書いたものと違っていますがやってることは一緒です（）

Registryにアップロードされているか確認する

https://gitlab.example.com/<ユーザ名>/<プロジェクト名>/container_registryから見れます．

f:id:pudding_info:20170311004932p:plain

なるほど便利．

まとめ

Gitlab Container Registryはとても便利ですね．
Raspberry Piで動かすイメージはarmで動くイメージを探してこないといけないのが面倒ですが，これから増えていくのではないでしょうか？ビルドはとても遅い*4ので，お茶でも入れてアニメでも見るのが良いと思います．

*1:Docker Pirates ARMed with explosive stuff · Docker Pirates ARMed with explosive stuff

*2:なお現在specificかsharedかの違いはプロジェクトにアサインされているかどうかだけのようです（未確認）．sharedなrunnerを作成しても，特定のプロジェクトで有効化するとspecificの表示に変わります．

*3:token等はxxxになる．

*4:特に今回pipでlxmlをインストールしているのですが，20～30分かかっています．めちゃめちゃ遅い．

ぽよメモ

レガシーシステム考古学専攻