蓝盾v7.1生产部署文档
概述
需要先准备一台中控机,在中控机安装 kubectl、helm、helmfile 等工具,以及蓝鲸安装脚本。然后部署基础套餐,最后再部署持续集成套餐(蓝盾)。
简单来说就是三个步骤:
- 准备环境
- 部署基础服务
- 部署蓝盾
准备中控机
按照官方文档安装和配置即可。
部署基础服务
需要按照官方文档一步步部署。
下载安装文件
在中控机使用下载脚本下载蓝鲸 helmfile 包及公共证书(helmfile 相关 value 文件在 git 上维护):
bkdl-7.1-stable.sh -ur latest base demo
文件默认放在 ~/bkce7.1-install/ 目录。
配置 Helm Chart 仓库
helm repo add blueking https://hub.bktencent.com/chartrepo/blueking
helm repo update
helm repo list
配置全局 custom-values
相关文件在 git 上维护,配置访问域名:
BK_DOMAIN=bk.example.com
cd ~/bkce7.1-install/blueking/
cat >> environments/default/custom.yaml <<EOF
imageRegistry: hub.bktencent.com
domain:
bkDomain: $BK_DOMAIN
bkMainSiteDomain: $BK_DOMAIN
EOF
生成 values 文件
# 生成蓝鲸 app code 对应的 secret
./scripts/generate_app_secret.sh ./environments/default/app_secret.yaml
# 生成 apigw 所需的 keypair
./scripts/generate_rsa_keypair.sh ./environments/default/bkapigateway_builtin_keypair.yaml
# 生成 paas 所需的 clusterAdmin
./scripts/create_k8s_cluster_admin_for_paas3.sh
安装入口网关
安装 ingress controller:
# 检查是否已部署
kubectl get pods -A -l app.kubernetes.io/name=ingress-nginx
# 如果没有,则创建
helmfile -f 00-ingress-nginx.yaml.gotmpl sync
需要注意,集群里可能不存在
app.kubernetes.io/name=ingress-nginx这个 label。
配置 coredns:
部署过程中会在容器内访问蓝鲸域名,需提前配置 coredns 将域名解析到 service IP:
cd ~/bkce7.1-install/blueking/
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
# 获取 ingress-nginx svc 的 IP
IP1=$(kubectl get svc -A -l app=nginx-ingress-lb -o jsonpath='{.items[0].status.loadBalancer.ingress[0].ip}')
# 创建 coredns 记录
./scripts/control_coredns.sh update "$IP1" $BK_DOMAIN bkrepo.$BK_DOMAIN docker.$BK_DOMAIN bkapi.$BK_DOMAIN bkpaas.$BK_DOMAIN bkiam-api.$BK_DOMAIN bkiam.$BK_DOMAIN apps.$BK_DOMAIN bknodeman.$BK_DOMAIN job.$BK_DOMAIN jobapi.$BK_DOMAIN devops.$BK_DOMAIN
# 检查添加的记录
./scripts/control_coredns.sh list
注意:当 service 被删除重建后 clusterIP 会变动,需重新操作刷新 hosts 文件。
部署存储服务
helmfile -f base-storage.yaml.gotmpl sync
使用该存储类创建的存储盘最小容量为 20Gi。
部署基础套餐
通过 helmfile 按顺序依次安装:
helmfile -f base-blueking.yaml.gotmpl -l seq=first sync
helmfile -f base-blueking.yaml.gotmpl -l seq=second sync
helmfile -f base-blueking.yaml.gotmpl -l seq=third sync
访问蓝鲸桌面
查找 ingress nginx svc:
kubectl get svc -n kube-system | grep ingress
设置 svc type 为 LoadBalancer:
kubectl get svc/nginx-ingress-lb -n kube-system -oyaml | grep type
# 若无 type: LoadBalancer,手动修改
kubectl edit svc/nginx-ingress-lb -n kube-system
配置负载均衡 CLB 实例:
检查 svc yaml 是否包含两个重要 annotation:
service.beta.kubernetes.io/alibaba-cloud-loadbalancer-force-override-listenersservice.beta.kubernetes.io/alibaba-cloud-loadbalancer-id
访问地址:
cd ~/bkce7.1-install/blueking/
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
# 普通登录地址
echo "http://$BK_DOMAIN"
# admin 登录地址
echo "http://${BK_DOMAIN}/login/origin/"
# 查看用户密码
kubectl get cm -n blueking bk-user-api-general-envs -o go-template='user={{.data.INITIAL_ADMIN_USERNAME}}{{"\n"}}password={{ .data.INITIAL_ADMIN_PASSWORD }}{{"\n"}}'
对接 LDAP 服务
在用户中心里配置 LDAP 相关配置,然后更新 bk-user-api-web 服务的镜像。
部署蓝盾
配置 custom values 提前修改完成,执行部署命令:
cd ~/bkce7.1-install/blueking/
# 部署
helmfile -f 03-bkci.yaml.gotmpl sync
# 更新
helmfile -f 03-bkci.yaml.gotmpl apply
[可选] 注册默认构建镜像
检查数据库是否有历史数据:
kubectl exec -it -n blueking bk-ci-mysql-0 -- /bin/bash -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -u root -e "USE devops_ci_store; SELECT IMAGE_NAME,IMAGE_CODE,IMAGE_REPO_NAME FROM T_IMAGE WHERE IMAGE_CODE = \"bkci\" ;"'
- 有数据则修改镜像地址为蓝鲸国内仓库:
kubectl exec -it -n blueking bk-ci-mysql-0 -- /bin/bash -c 'MYSQL_PWD="$MYSQL_ROOT_PASSWORD" mysql -u root -e "USE devops_ci_store; UPDATE T_IMAGE SET IMAGE_REPO_NAME=\"hub.bktencent.com/bkci/ci\" WHERE IMAGE_CODE = \"bkci\" ;"'
- 无数据则新增:
kubectl exec -n blueking deploy/bk-ci-bk-ci-store -- curl -sS -X POST \
-H 'X-DEVOPS-UID: admin' -H 'Content-type: application/json' \
-d '{"imageCode":"bkci","imageName":"bkci","imageRepo":"hub.bktencent.com/bkci/ci","projectCode":"demo","userId":"admin"}' \
"http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/market/image/init" | jq .
单独卸载蓝盾重装后,可能出现查询镜像为空但新增报错
权限中心创建项目失败。这是因为权限中心存在蓝盾 demo 项目的数据,需先手动新建项目。
[可选] 对接制品库
蓝盾依靠蓝鲸制品库提供流水线仓库和自定义仓库。相关配置在 git 仓库维护。
注册制品库到蓝盾:
cd ~/bkce7.1-install/blueking/
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
kubectl exec -i -n blueking deploy/bk-ci-bk-ci-project -- curl -sS -X PUT \
-H 'Content-Type: application/json' -H 'Accept: application/json' -H 'X-DEVOPS-UID: admin' \
-d "{\"showProjectList\":true,\"showNav\":true,\"status\":\"ok\",\"deleted\":false,\"iframeUrl\":\"//bkrepo.$BK_DOMAIN/ui/\"}" \
"http://bk-ci-bk-ci-project.blueking.svc.cluster.local/api/op/services/update/Repo"
[可选] 下载和上传插件
# 下载插件
bkdl-7.1-stable.sh -ur latest ci-plugins
# 上传插件
cd ~/bkce7.1-install/blueking/
for f in ../ci-plugins/*.zip; do
atom="${f##*/}"
atom=${atom%.zip}
echo >&2 "upload $atom from $f"
kubectl exec -i -n blueking deploy/bk-ci-bk-ci-store -- \
curl -s \
http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/pipeline/atom/deploy/"?publisher=admin" \
-H 'X-DEVOPS-UID: admin' -F atomCode=$atom -F file=@- < "$f" | jq .
kubectl exec -n blueking deploy/bk-ci-bk-ci-store -- \
curl -s http://bk-ci-bk-ci-store.blueking.svc.cluster.local/api/op/pipeline/atom/default/atomCodes/$atom \
-H 'X-DEVOPS-UID: admin' -X POST | jq .
done
上传插件时可能遇到 413 Request Entity Too Large,原因是 nginx-ingress 默认的
proxy-body-size太小,需要调大。
支持 HTTPS
如果开始就准备好了证书,可以将该步骤提前,在部署前修改好相关 yaml。
购买证书
涉及的域名:bk.example.com、*.bk.example.com。需购买泛域名证书。
创建 Secret
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
kubectl create secret tls $BK_DOMAIN -n blueking \
--cert=$HOME/$BK_DOMAIN/$BK_DOMAIN.pem \
--key=$HOME/$BK_DOMAIN/$BK_DOMAIN.key
更新 Ingress TLS
执行脚本批量更新所有 Ingress 的 TLS 配置:
#!/bin/bash
NAMESPACE="blueking"
BK_DOMAIN=$(yq e '.domain.bkDomain' environments/default/custom.yaml)
TLS_HOST="*.$BK_DOMAIN"
TLS_SECRET="$BK_DOMAIN"
ingresses=$(kubectl get ingress -n "$NAMESPACE" -o jsonpath='{.items[*].metadata.name}')
for ingress in $ingresses; do
echo "Updating Ingress: $ingress"
if kubectl get ingress "$ingress" -n "$NAMESPACE" -o jsonpath='{.spec.tls}' | grep -q "$TLS_HOST"; then
echo "TLS already exists, skipping."
continue
fi
kubectl patch ingress "$ingress" -n "$NAMESPACE" --type=json -p='[
{
"op": "add",
"path": "/spec/tls",
"value": [{"hosts": ["'"$TLS_HOST"'"], "secretName": "'"$TLS_SECRET"'"}]
}
]'
done
配置蓝鲸启用 HTTPS
yq -i '.bkDomainScheme = "https"' environments/default/custom.yaml
sed -i 's|bkHttpSchema: http|bkHttpSchema: https|' environments/default/bkci/bkci-custom-values.yaml.gotmpl
构建机 Agent 配置变更及重启
./stop.sh
BK_DOMAIN="devops.bk.example.com"
# 修改 .agent.properties 文件,开启 https
sed -i '' "s|http://$BK_DOMAIN|https://$BK_DOMAIN|g" .agent.properties
# 修改 telegraf.conf 文件,开启 https
sed -i '' "s|http://$BK_DOMAIN|https://$BK_DOMAIN|g" telegraf.conf
./start.sh
# 注意查看 .agent.properties 里 devops.agent.user,用该用户启动 agent