Container on Colben Notes

Incus 安装

Sun, 05 Jan 2025 11:09:00 +0800

单机环境

服务器

处理器	内存	系统盘	数据盘
4核	8GB	30GB	30GB

操作系统配置

在 /etc/security/limits.conf 中追加如下配置

*        soft    nofile    1048576
*        hard    nofile    1048576
root     soft    nofile    1048576
root     hard    nofile    1048576
*        soft    memlock   unlimited
*        hard    memlock   unlimited
root     soft    memlock   unlimited
root     hard    memlock   unlimited

在 /etc/sysctl.conf 中追加如下配置

RockyLinux 8.5 安装 K3S

Thu, 25 Jun 2020 14:21:00 +0800

环境

角色	主机名	IP	操作系统	软件
镜像库	k3s-170	10.0.4.170	RockyLinux 8.5	registry
数据库	k3s-170	10.0.4.170	RockyLinux 8.5	mysql
负载均衡	k3s-170	10.0.4.170	RockyLinux 8.5	nginx
k3s server	k3s-171	10.0.4.171	RockyLinux 8.5	k3s v1.27.4
k3s server	k3s-172	10.0.4.172	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-173	10.0.4.173	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-174	10.0.4.174	RockyLinux 8.5	k3s v1.27.4
k3s agent	k3s-175	10.0.4.175	RockyLinux 8.5	k3s v1.27.4

前期准备

全部服务器关闭 firewalld、selinux 和 swap，设置时间同步
全部 k3s 服务器(除了k3s-170)必须设置唯一主机名
在 k3s-170 上执行如下操作
安装 docker 环境，部署私有镜像库
安装 mysql，用来存储 k3s server 数据
安装 nginx，四层均衡负载两个 k3s server
下载 k3s 二进制文件和部署脚本

安装私有镜像库

在 k3s-170 上执行如下操作

ConfigMap 笔记

Sun, 22 Dec 2019 22:04:37 +0800

概述

ConfigMap 通常用于设置环境变量、设置命令行参数、创建配置文件
Pod 使用 ConfigMap 前，ConfigMap 必须存在，否则 pod 不能启动
ConfigMap 只能被在同一一个命名空间中的Pod所引用

创建 ConfigMap

命令如下

1
2
3

kubectl create configmap <map-name> <data-source>
# 或者
kubectl apply -f <configmap-file.yml>

map-name: ConfigMap 名称
data-source: 目录、文件或具体值

通过目录创建 ConfigMaps

命令如下

1
2

kubectl create configmap game-config \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl

docs/tasks/configure-pod-container/configmap/kubectl/目录下的文件包括

`1`	`ls docs/tasks/configure-pod-container/configmap/kubectl/`

输出如下
1 2

game.properties ui.properties

查看 game-config 信息

1
2
3

kubectl describe configmaps game-config
# 或者
kubectl get configmaps game-config -o yaml

通过文件创建 ConfigMaps

通过单个文件创建

1
2

kubectl create configmap game-config-2 \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties

通过多个文件创建

1
2
3

kubectl create configmap game-config-3 \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties \
    --from-file=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/ui.properties

通过文件创建ConfigMap时可以定义文件的键

kubectl create configmap game-config-4 \
    --from-file=game-special-key=https://k8s.io/docs/tasks/configure-pod-container/configmap/kubectl/game.properties
# key 是 "game-special-key"
# value 是 game.properties 文件的内容

通过具体值创建 ConfigMaps

使用 –from-literal 参数定义具体值

1
2
3

kubectl create configmap special-config \
    --from-literal=special.how=very \
    --from-literal=special.type=charm

使用 ConfigMap

定义 pod 环境变量

Pod 环境变量的值来自于单一 ConfigMap

在ConfigMap中定义一个环境变量作为键值对

`1`	`kubectl create configmap special-config --from-literal=special.how=very`

指派ConfigMap中定义的special.how的值给Pod中SPECIAL_LEVEL_KEY环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    env:
    # Define the environment variable
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
        configMapKeyRef:
        # The ConfigMap containing the value you want to assign to SPECIAL_LEVEL_KEY
          name:special-config
          # Specify the key associated with the value
          key:special.how
   restartPolicy:Never

保存Pod规格的变化，Pod将输出SPECIAL_LEVEL_KEY=very

Pod 环境变量的值来自于多个 ConfigMap

创建两个 ConfigMap

---
apiVersion:v1
kind:ConfigMap
metadata:
   name:special-config
   namespace:default
data:
   special.how:very

---
apiVersion:v1
kind:ConfigMap
metadata:
   name:env-config
   namespace:default
data:
   log_level:INFO

在Pod规格中定义环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    env:
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
        configMapKeyRef:
           name:special-config
           key:special.how
     - name:LOG_LEVEL
       valueFrom:
          configMapKeyRef:
              name:env-config
              key:log_level
  restartPolicy:Neverv

保存变更后的Pod，Pod将会输出SPECIAL_LEVEL_KEY=very和LOG_LEVEL=info

在一个ConfigMap中配置的键值对都作为一个Pod的环境变量

Kubernetes v1.6+可用

创建包含多个键-值对的ConfigMap

apiVersion:v1
kind:ConfigMap
metadata:
  name:special-config
  namespace:default
data:
  SPECIAL_LEVEL:very
  SPECIAL_TYPE:charm

使用envFrom定义所有的ConfigMap数据作为Pod的环境变量。来自于Config的键成为Pod中环境变量的名

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","env"]
    envFrom:
    - configMapRef:
        name:special-config
   restartPolicy:Never

Pod的输出包括: SPECIAL_LEVEL=very 和 SPECIAL_TYPE=charm

在Pod命令行中使用ConfigMap定义的环境变量

在Pod规范的command 中使用$(VAR_NAME) ，获取ConfigMap定义的环境变量

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","echo $(SPECIAL_LEVEL_KEY) $(SPECIAL_TYPE_KEY)"]
    env:
    - name:SPECIAL_LEVEL_KEY
      valueFrom:
         configMapKeyRef:
            name:special-config
            key:SPECIAL_LEVEL
    - name:SPECIAL_TYPE_KEY
      valueFrom:
          configMapKeyRef:
            name:special-config
            key:SPECIAL_TYPE
  restartPolicy:Never

test-container容器的输出: very charm

添加ConfigMap数据至存储卷

当通过–from-file创建的ConfigMap时，文件将作为一个键保存在ConfigMap中，而此文件的内容将作为值

apiVersion:v1
kind:ConfigMap
metadata:
  name:special-config
  namespace:default
data:
  special.level:very
  special.type:charm

将ConfigMap中的数据传播到指定目录

在Pod的存储卷区域添加ConfigMap的名称
这将添加ConfigMap数据到volumeMounts.mountPath指定的目录下(此例为/etc/config)

command区域将引用保存在ConfigMap中的special.level条目

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","ls /etc/config/"]
    volumeMounts:
    - name:config-volume
      mountPath:/etc/config
  volumes:
  - name:config-volume
    configMap:
        # Provide the name of the ConfigMap containing the files you want
        # to add to the container
      name:special-config
  restartPolicy:Never

Pod运行时，command (“ls /etc/config/”)将输出: special.level special.type
如果在/etc/config/目录下存在文件，将不会删除

添加ConfigMap数据至存储卷指定的目录

为ConfigMap条目，使用path指定文件路径

此例中，special.level将在config-volume存储卷中被挂接至/etc/config/keys

apiVersion:v1
kind:Pod
metadata:
  name:dapi-test-pod
spec:
  containers:
  - name:test-container
    image:k8s.gcr.io/busybox
    command:["/bin/sh","-c","cat /etc/config/keys"]
    volumeMounts:
     - name:config-volume
       mountPath:/etc/config
  volumes:
  - name:config-volume
    configMap:
       name:special-config
       items:
       - key:special.level
         path:keys
  restartPolicy:Never

Pod运行时，(“cat /etc/config/keys”) 将输出: very

参考

Kubernetes-配置字典ConfigMap

Docker 笔记

Wed, 30 Oct 2019 13:29:00 +0800

安装 docker

CentOS7 安装 docker-ce

配置 yum 源

curl -Lo /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
#替换成清华源
sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
yum clean all
yum makecache

安装 docker
1

yum install docker-ce

修改 docker 配置文件，建议选择一个与本地网络不冲突的网段

mkdir -p /etc/docker
cat > /etc/docker/daemon.json <<-EOF
{
  "insecure-registries": ["harbor.colben.cn"],
  "default-address-pools" : [{"base":"10.110.0.0/16", "size": 24}],
  "log-driver": "json-file",
  "log-opts": {"max-size":"100m", "max-file":"4"}
}
EOF

启动 docker

Kubeadm

Wed, 30 Oct 2019 11:19:06 +0800

kubeadm 安装 kubernetes

全部服务器配置

IP 地址	主机名	操作系统	内存	swap	硬盘	Internet	firewalld	selinux	/etc/hosts 增加行
10.0.2.80	master80	CentOS7	4GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 master80
10.0.2.81	node81	CentOS7	2GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 node81
10.0.2.82	node82	CentOS7	2GB	关闭	20GB	可达	关闭	关闭	127.0.0.1 node82

确认各服务器工作网卡的 MAC 和 UUID 均不相同

K8s 二进制安装

Wed, 30 Oct 2019 01:09:48 +0800

环境

角色	主机名	内网 IP	集群 IP	操作系统	服务	执行目录
部署机 k8s-master	master120	10.0.4.120	-	CentOS	kube-apiserver kube-scheduler kube-controller-manager	/opt/kubernetes/
etcd-node	etcd121	10.0.4.121	10.10.10.121	CentOS	etcd	/opt/etcd/
etcd-node	etcd122	10.0.4.122	10.10.10.122	CentOS	etcd	/opt/etcd/
etcd-node	etcd123	10.0.4.123	10.10.10.123	CentOS	etcd	/opt/etcd/
k8s-node	node124	10.0.4.124	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/
k8s-node	node125	10.0.4.125	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/
k8s-node	node126	10.0.4.126	-	CentOS	docker flannel kubelet kube-proxy	/opt/kubernetes/

前期准备

全部服务器关闭 firewalld 和 selinux，禁用 swap，部署机(master120)可免密 ssh 登陆其他服务器
软件版本
- CentOS: 7.7
- etcd: 3.3.18
- docker: ce-19.03.5
- flannel: 0.11.0
- kubernetes: 1.17.2
k8s牵扯到多个网段，这里说明下
- 10.0.4.0/24 该网段是服务器物理网卡 IP 地址段，通过该地址访问互联网
- 10.10.10.0/24 该网段是杜撰的，但也配置在服务器物理网卡上，用于 etcd 集群节点间通信，与 k8s 集群无关
- 10.10.9.0/24 该网段是杜撰的，分配 k8s service 的 clusterIP
- 172.17.0.0/24 该网段是杜撰的，是 docker 网桥自带网段，也是 flannel 提供的网段，实现不同节点间的容器互通
- 172.16.0.0/24 该网段是杜撰的，是 k8s pod 的 IP 地址区间，用于区别流量来源

部署 etcd 集群

在部署机(master120)上操作下面步骤

K8s 部署 Coredns 组件

Wed, 30 Oct 2019 01:06:56 +0800

环境

二进制部署的 kubernetes v1.17.2 集群
coreDNS 1.6.6

生成 service account 文件

创建 0.coredns-sa.yml

cat > 0.coredns-sa.yml <<EOF
apiVersion: v1
kind: ServiceAccount
metadata:
  name: coredns
  namespace: kube-system
EOF

生成 rbac 文件

创建 1.coredns-rbac.yml

curl > 1.coredns-rbac.yml <<EOF
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:coredns
rules:
- apiGroups:
  - ""
  resources:
  - endpoints
  - services
  - pods
  - namespaces
  verbs:
  - list
  - watch
- apiGroups:
  - ""
  resources:
  - nodes
  verbs:
  - get
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
  name: system:coredns
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: system:coredns
subjects:
- kind: ServiceAccount
  name: coredns
  namespace: kube-system
EOF

生成 configmap 文件

创建 2.coredns-configmap.yml

cat > 2.coredns-configmap.yml <<EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: coredns
  namespace: kube-system
data:
  Corefile: |
    .:53 {
        errors
        health {
          lameduck 5s
        }
        ready
        kubernetes cluster.local 10.10.9.0/24 {
          fallthrough in-addr.arpa ip6.arpa
        }
        prometheus :9153
        forward . /etc/resolv.conf
        cache 30
        loop
        reload
        loadbalance
    }
EOF

这里的 10.10.9.0/24 应与 kube-apiserver 配置文件中的 service-cluster-ip-range 一致
这里的 cluster.local 应与 kubelet 配置文件中的 clusterDomain 一致

生成 deployment 文件

创建 3.coredns-deployment.yml

cat > 3.coredns-deployment.yml <<EOF
apiVersion: apps/v1
kind: Deployment
metadata:
  name: coredns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/name: "CoreDNS"
spec:
  # replicas: not specified here:
  # 1. Default is 1.
  # 2. Will be tuned in real time if DNS horizontal auto-scaling is turned on.
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 1
  selector:
    matchLabels:
      k8s-app: kube-dns
  template:
    metadata:
      labels:
        k8s-app: kube-dns
    spec:
      priorityClassName: system-cluster-critical
      serviceAccountName: coredns
      tolerations:
        - key: "CriticalAddonsOnly"
          operator: "Exists"
      nodeSelector:
        beta.kubernetes.io/os: linux
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
          - labelSelector:
              matchExpressions:
              - key: k8s-app
                operator: In
                values: ["kube-dns"]
            topologyKey: kubernetes.io/hostname
      containers:
      - name: coredns
        image: coredns/coredns:1.6.6
        imagePullPolicy: IfNotPresent
        resources:
          limits:
            memory: 170Mi
          requests:
            cpu: 100m
            memory: 70Mi
        args: [ "-conf", "/etc/coredns/Corefile" ]
        volumeMounts:
        - name: config-volume
          mountPath: /etc/coredns
          readOnly: true
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        - containerPort: 9153
          name: metrics
          protocol: TCP
        securityContext:
          allowPrivilegeEscalation: false
          capabilities:
            add:
            - NET_BIND_SERVICE
            drop:
            - all
          readOnlyRootFilesystem: true
        livenessProbe:
          httpGet:
            path: /health
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 60
          timeoutSeconds: 5
          successThreshold: 1
          failureThreshold: 5
        readinessProbe:
          httpGet:
            path: /ready
            port: 8181
            scheme: HTTP
      dnsPolicy: Default
      volumes:
        - name: config-volume
          configMap:
            name: coredns
            items:
            - key: Corefile
              path: Corefile
EOF

coredns/coredns:1.2.2 该镜像可以提前导入本地局域网中的私有 docker 仓库中
查看 k8s 对应的 coredns 版本，参考 coredns

生成 service 文件

创建 4.coredns-service.yml

cat > 4.coredns-service.yml <<EOF
apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  annotations:
    prometheus.io/port: "9153"
    prometheus.io/scrape: "true"
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "CoreDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP: 10.10.9.2
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP
  - name: metrics
    port: 9153
    protocol: TCP
EOF

这里的 clusterIP 需与 kubelet 配置文件中的 clusterDNS 一致

部署到 kubernetes 中

使用 kubectl 直接应用

kubectl apply -f 0.coredns-sa.yml
kubectl apply -f 1.coredns-rbac.yml
kubectl apply -f 2.coredns-configmap.yml
kubectl apply -f 3.coredns-deployment.yml
kubectl apply -f 4.coredns-service.yml

查看 coredns 状态

查看 service 状态