自建K8s集群日志采集到阿里云SLS

基于 Kind 搭建测试集群

参考 基于Kind搭建测试集群 搭建三主二从的 Kind 测试集群。

配置文件

kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
networking:
  apiServerAddress: "10.10.151.201"
nodes:
- role: control-plane
  extraPortMappings:
  - containerPort: 6443
    hostPort: 6443
    listenAddress: "10.10.151.201"
    protocol: tcp
- role: control-plane
- role: control-plane
- role: worker
  extraPortMappings:
  - containerPort: 80
    hostPort: 7080
    listenAddress: "0.0.0.0"
    protocol: tcp
  - containerPort: 443
    hostPort: 7443
    listenAddress: "0.0.0.0"
    protocol: tcp
- role: worker
  extraPortMappings:
  - containerPort: 80
    hostPort: 8080
    listenAddress: "0.0.0.0"
    protocol: tcp
  - containerPort: 443
    hostPort: 8443
    listenAddress: "0.0.0.0"
    protocol: tcp
- role: worker
  extraPortMappings:
  - containerPort: 80
    hostPort: 9080
    listenAddress: "0.0.0.0"
    protocol: tcp
  - containerPort: 443
    hostPort: 9443
    listenAddress: "0.0.0.0"
    protocol: tcp

创建集群

创建高可用集群命令:

sudo kind create cluster --config=huari.yaml --name huari-test --image kindest/node:v1.34.0 --retain; sudo kind export logs --name huari-test

切换 kubectl 上下文:

sudo kubectl cluster-info --context kind-huari-test

查看信息:

# 查看集群节点
sudo kubectl get nodes

# 查看集群全部的pod
sudo kubectl get pods -A -owide

删除集群:

sudo kind delete cluster --name huari-test

自建 K8s 集群安装采集 Agent

LoongCollector 是阿里云日志服务(SLS)推出的新一代日志采集 Agent,是 Logtail 的升级版。本文档指导您如何在 Kubernetes 集群中安装 LoongCollector,并提供了 DaemonSet 和 Sidecar 两种安装模式。

准备工作

在安装前,请在集群节点上验证与日志服务服务端点的网络连通性,确保 LoongCollector 可以正常上报数据。

  1. 获取服务接入点:

    • 登录日志服务控制台,在 Project 列表中,单击目标 Project。
    • 单击 Project 名称右侧进入项目概览页面。
    • 在基础信息中找到当前 Project 所在地域的公网和内网 Endpoint。
  2. 执行连通性测试: 登录到将要安装 LoongCollector 组件的集群节点上,执行以下 curl 命令。请将 ${Project名称} 和 ${SLS_ENDPOINT} 替换为您的实际信息。

curl https://${Project名称}.${SLS_ENDPOINT}
  1. 查看测试结果:

    • 如果命令返回 {"Error":{"Code":"OLSInvalidMethod",...}},表明您的节点与日志服务之间的网络是通畅的。

      此测试仅验证网络层连通性。由于请求缺少必要的 API 参数,日志服务返回错误响应是预期结果。

    • 如果命令超时或返回其他网络层错误(如 Connection refused),则表示网络不通,请检查节点的网络配置、安全组规则或 DNS 解析。

自建集群安装(DaemonSet 模式)

适用场景:

操作指南:

  1. 下载并解压安装包:在安装并配置了 kubectl 的机器上,根据集群所在地域选择命令下载 LoongCollector 及其他依赖组件。
# 中国地域
wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.2.6/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh
# 海外地域
wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.2.6/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh
  1. 修改配置文件 values.yaml:进入 loongcollector-custom-k8s-package 目录,修改配置文件 ./loongcollector/values.yaml。

参数说明:

参数 类型 补充 是否必填
projectName String Project 名称,LoongCollector 将上传日志到该 Project 中。命名规则:仅支持小写字母、数字和连字符(-),必须以小写字母开头,以小写字母和数字结尾,长度为 3~63 个字符 是
region String Project 所属地域 ID 是
aliUid String Project 所属的阿里云主账号 ID 是
net String 日志数据传输使用的网络类型:Internet(默认值,公网)或 Intranet(内网) 是
accessKeyID String Project 所属账号的 AccessKey ID。推荐使用 RAM 用户的 AccessKey,并授予 AliyunLogFullAccess 权限 是
accessKeySecret String Project 所属账号的 AccessKey Secret 是
clusterID String 自定义集群 ID,命名只支持大小写字母、数字、短划线(-) 是
  1. 执行安装脚本:在 loongcollector-custom-k8s-package 目录下执行如下命令,安装 LoongCollector 及其他依赖组件。
bash k8s-custom-install.sh install
  1. 验证安装结果:安装完成后,执行如下命令查看组件状态:
# 检查Pod状态
kubectl get po -n kube-system | grep loongcollector-ds

返回结果示例:

loongcollector-ds-44pxp                             1/1     Running   0          2m45s
loongcollector-ds-4dffp                             1/1     Running   0          2m45s
loongcollector-ds-76ns5                             1/1     Running   0          2m45s
loongcollector-ds-tcbvz                             1/1     Running   0          2m45s
loongcollector-ds-vxwr6                             1/1     Running   0          2m45s
loongcollector-ds-z76ct                             1/1     Running   0          2m45s

若组件未成功启动(非 Running):

kubectl describe pod loongcollector-ds -n kube-system
  1. 组件安装成功后,日志服务会自动创建如下资源,您可登录日志服务控制台查看。
资源类型 资源名称 作用
Project values.yaml 文件中自定义的 projectName 的值 资源管理单元,隔离不同业务日志
机器组 k8s-group-${cluster_id} 日志采集节点集合
机器组 k8s-group-${cluster_id}-cluster loongcollector-cluster 的机器组,主要用于指标采集场景
机器组 k8s-group-${cluster_id}-singleton 单实例机器组,主要用于部分单实例采集配置
LogStore config-operation-log(请不要删除该 LogStore) 用于存储 LoongCollector 组件中的 alibaba-log-controller 日志

参考文档