蓝盾v7.1生产部署文档

概述

需要先准备一台中控机,在中控机安装 kubectl、helm、helmfile 等工具,以及蓝鲸安装脚本。然后部署基础套餐,最后再部署持续集成套餐(蓝盾)。

简单来说就是三个步骤:

  1. 准备环境
  2. 部署基础服务
  3. 部署蓝盾

准备中控机

按照官方文档安装和配置即可。

部署基础服务

需要按照官方文档一步步部署。

下载安装文件

在中控机使用下载脚本下载蓝鲸 helmfile 包及公共证书(helmfile 相关 value 文件在 git 上维护):

bkdl-7.1-stable.sh -ur latest base demo

文件默认放在 ~/bkce7.1-install/ 目录。

配置 Helm Chart 仓库

helm repo add blueking https://hub.bktencent.com/chartrepo/blueking
helm repo update
helm repo list

配置全局 custom-values

相关文件在 git 上维护,配置访问域名:

BK_DOMAIN=bk.example.com
cd ~/bkce7.1-install/blueking/

cat >> environments/default/custom.yaml <<EOF
imageRegistry: hub.bktencent.com
domain:
  bkDomain: $BK_DOMAIN
  bkMainSiteDomain: $BK_DOMAIN
EOF

生成 values 文件

# 生成蓝鲸 app code 对应的 secret
./scripts/generate_app_secret.sh ./environments/default/app_secret.yaml

# 生成 apigw 所需的 keypair
./scripts/generate_rsa_keypair.sh ./environments/default/bkapigateway_builtin_keypair.yaml

# 生成 paas 所需的 clusterAdmin
./scripts/create_k8s_cluster_admin_for_paas3.sh

安装入口网关

安装 ingress controller:

# 检查是否已部署
kubectl get pods -A -l app.kubernetes.io/name=ingress-nginx

# 如果没有,则创建
helmfile -f 00-ingress-nginx.yaml.gotmpl sync

需要注意,集群里可能不存在 app.kubernetes.io/name=ingress-nginx 这个 label。

配置 coredns:

部署过程中会在容器内访问蓝鲸域名,需提前配置 coredns 将域名解析到 service IP:

cd ~/bkce7.1-install/blueking/

BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)

# 获取 ingress-nginx svc 的 IP
IP1=$(kubectl get svc -A -l app=nginx-ingress-lb -o jsonpath='{.items[0].status.loadBalancer.ingress[0].ip}')

# 创建 coredns 记录
./scripts/control_coredns.sh update "$IP1" $BK_DOMAIN bkrepo.$BK_DOMAIN docker.$BK_DOMAIN bkapi.$BK_DOMAIN bkpaas.$BK_DOMAIN bkiam-api.$BK_DOMAIN bkiam.$BK_DOMAIN apps.$BK_DOMAIN bknodeman.$BK_DOMAIN job.$BK_DOMAIN jobapi.$BK_DOMAIN devops.$BK_DOMAIN

# 检查添加的记录
./scripts/control_coredns.sh list

注意:当 service 被删除重建后 clusterIP 会变动,需重新操作刷新 hosts 文件。

部署存储服务

helmfile -f base-storage.yaml.gotmpl sync

使用该存储类创建的存储盘最小容量为 20Gi。

部署基础套餐

通过 helmfile 按顺序依次安装:

helmfile -f base-blueking.yaml.gotmpl -l seq=first sync
helmfile -f base-blueking.yaml.gotmpl -l seq=second sync
helmfile -f base-blueking.yaml.gotmpl -l seq=third sync

访问蓝鲸桌面

查找 ingress nginx svc:

kubectl get svc -n kube-system | grep ingress

设置 svc type 为 LoadBalancer:

kubectl get svc/nginx-ingress-lb -n kube-system -oyaml | grep type
# 若无 type: LoadBalancer,手动修改
kubectl edit svc/nginx-ingress-lb -n kube-system

配置负载均衡 CLB 实例:

检查 svc yaml 是否包含两个重要 annotation:

访问地址:

cd ~/bkce7.1-install/blueking/
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)

# 普通登录地址
echo "http://$BK_DOMAIN"

# admin 登录地址
echo "http://${BK_DOMAIN}/login/origin/"

# 查看用户密码
kubectl get cm -n blueking bk-user-api-general-envs -o go-template='user={{.data.INITIAL_ADMIN_USERNAME}}{{"\n"}}password={{ .data.INITIAL_ADMIN_PASSWORD }}{{"\n"}}'

对接 LDAP 服务

在用户中心里配置 LDAP 相关配置,然后更新 bk-user-api-web 服务的镜像。

部署蓝盾

配置 custom values 提前修改完成,执行部署命令:

cd ~/bkce7.1-install/blueking/

# 部署
helmfile -f 03-bkci.yaml.gotmpl sync

# 更新
helmfile -f 03-bkci.yaml.gotmpl apply

[可选] 注册默认构建镜像

检查数据库是否有历史数据:

kubectl exec -it -n blueking bk-ci-mysql-0 -- /bin/bash -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -u root -e "USE devops_ci_store; SELECT IMAGE_NAME,IMAGE_CODE,IMAGE_REPO_NAME FROM T_IMAGE WHERE IMAGE_CODE = \"bkci\" ;"'
kubectl exec -it -n blueking bk-ci-mysql-0 -- /bin/bash -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -u root -e "USE devops_ci_store; UPDATE T_IMAGE SET IMAGE_REPO_NAME=\"hub.bktencent.com/bkci/ci\" WHERE IMAGE_CODE = \"bkci\" ;"'
kubectl exec -n blueking deploy/bk-ci-bk-ci-store -- curl -sS -X POST \
  -H 'X-DEVOPS-UID: admin' -H 'Content-type: application/json' \
  -d '{"imageCode":"bkci","imageName":"bkci","imageRepo":"hub.bktencent.com/bkci/ci","projectCode":"demo","userId":"admin"}' \
  "http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/market/image/init" | jq .

单独卸载蓝盾重装后,可能出现查询镜像为空但新增报错 权限中心创建项目失败。这是因为权限中心存在蓝盾 demo 项目的数据,需先手动新建项目。

[可选] 对接制品库

蓝盾依靠蓝鲸制品库提供流水线仓库和自定义仓库。相关配置在 git 仓库维护。

注册制品库到蓝盾:

cd ~/bkce7.1-install/blueking/
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)

kubectl exec -i -n blueking deploy/bk-ci-bk-ci-project -- curl -sS -X PUT \
  -H 'Content-Type: application/json' -H 'Accept: application/json' -H 'X-DEVOPS-UID: admin' \
  -d "{\"showProjectList\":true,\"showNav\":true,\"status\":\"ok\",\"deleted\":false,\"iframeUrl\":\"//bkrepo.$BK_DOMAIN/ui/\"}" \
  "http://bk-ci-bk-ci-project.blueking.svc.cluster.local/api/op/services/update/Repo"

[可选] 下载和上传插件

# 下载插件
bkdl-7.1-stable.sh -ur latest ci-plugins

# 上传插件
cd ~/bkce7.1-install/blueking/
for f in ../ci-plugins/*.zip; do
    atom="${f##*/}"
    atom=${atom%.zip}
    echo >&2 "upload $atom from $f"
    kubectl exec -i -n blueking deploy/bk-ci-bk-ci-store -- \
      curl -s \
      http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/pipeline/atom/deploy/"?publisher=admin" \
      -H 'X-DEVOPS-UID: admin' -F atomCode=$atom -F file=@- < "$f" | jq .
    kubectl exec -n blueking deploy/bk-ci-bk-ci-store -- \
      curl -s http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/pipeline/atom/default/atomCodes/$atom \
      -H 'X-DEVOPS-UID: admin' -X POST | jq .
done

上传插件时可能遇到 413 Request Entity Too Large,原因是 nginx-ingress 默认的 proxy-body-size 太小,需要调大。

支持 HTTPS

如果开始就准备好了证书,可以将该步骤提前,在部署前修改好相关 yaml。

购买证书

涉及的域名:bk.example.com、*.bk.example.com。需购买泛域名证书。

创建 Secret

BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
kubectl create secret tls $BK_DOMAIN -n blueking \
  --cert=$HOME/$BK_DOMAIN/$BK_DOMAIN.pem \
  --key=$HOME/$BK_DOMAIN/$BK_DOMAIN.key

更新 Ingress TLS

执行脚本批量更新所有 Ingress 的 TLS 配置:

#!/bin/bash
NAMESPACE="blueking"
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
TLS_HOST="*.$BK_DOMAIN"
TLS_SECRET="$BK_DOMAIN"

ingresses=$(kubectl get ingress -n "$NAMESPACE" -o jsonpath='{.items[*].metadata.name}')

for ingress in $ingresses; do
  echo "Updating Ingress: $ingress"
  if kubectl get ingress "$ingress" -n "$NAMESPACE" -o jsonpath='{.spec.tls}' | grep -q "$TLS_HOST"; then
    echo "TLS already exists, skipping."
    continue
  fi
  kubectl patch ingress "$ingress" -n "$NAMESPACE" --type=json -p='[
    {
      "op": "add",
      "path": "/spec/tls",
      "value": [{"hosts": ["'"$TLS_HOST"'"], "secretName": "'"$TLS_SECRET"'"}]
    }
  ]'
done

配置蓝鲸启用 HTTPS

yq -i '.bkDomainScheme = "https"' environments/default/custom.yaml
sed -i 's|bkHttpSchema: http|bkHttpSchema: https|' environments/default/bkci/bkci-custom-values.yaml.gotmpl

构建机 Agent 配置变更及重启

./stop.sh

BK_DOMAIN="devops.bk.example.com"

# 修改 .agent.properties 文件,开启 https
sed -i '' "s|http://$BK_DOMAIN|https://$BK_DOMAIN|g" .agent.properties
# 修改 telegraf.conf 文件,开启 https
sed -i '' "s|http://$BK_DOMAIN|https://$BK_DOMAIN|g" telegraf.conf

./start.sh
# 注意查看 .agent.properties 里 devops.agent.user,用该用户启动 agent