容器云部署運維規(guī)程一、概述

容器云部署運維規(guī)程旨在規(guī)范容器云環(huán)境的部署、配置、監(jiān)控和優(yōu)化流程，確保容器化應(yīng)用的高可用性、高性能和安全性。本規(guī)程適用于企業(yè)級容器云平臺的日常運維管理，涵蓋從環(huán)境準備到持續(xù)優(yōu)化的全生命周期操作。

二、部署準備

（一）環(huán)境檢查

1.網(wǎng)絡(luò)配置：確認網(wǎng)絡(luò)帶寬不低于1Gbps，IP地址池充足，VPC子網(wǎng)劃分合理。

2.存儲配置：確保分布式存儲系統(tǒng)（如Ceph）可用，存儲容量至少滿足預(yù)期應(yīng)用需求（例如，10TB起步）。

3.計算資源：檢查物理服務(wù)器或虛擬機資源（CPU≥4核，內(nèi)存≥8GB/節(jié)點），支持Kubernetes集群部署。

（二）依賴安裝

1.操作系統(tǒng)：推薦使用CentOS7.9或Ubuntu20.04，內(nèi)核版本需支持容器技術(shù)（如CRI-O或Docker）。

2.基礎(chǔ)組件：安裝Kubernetes客戶端工具（kubectl）、etcd客戶端及網(wǎng)絡(luò)插件（如Calico或Flannel）。

3.安全加固：配置防火墻規(guī)則，僅開放6443（APIServer）、2379/2380（etcd）等必要端口。

三、集群部署

（一）高可用集群配置

1.控制平面：部署3個Master節(jié)點，啟用etcd集群（可用區(qū)分散，如華北1a/1b/1c）。

2.工作節(jié)點：每區(qū)部署5-8個Worker節(jié)點，安裝Kubelet、CNI插件及DNS服務(wù)（CoreDNS）。

3.核心參數(shù)：配置Pod網(wǎng)絡(luò)CIDR（如/16），服務(wù)CIDR（如/12）。

（二）部署步驟

1.Master節(jié)點安裝：

(1)執(zhí)行`kubeadminit`命令，生成kubeadm配置文件。

(2)安裝kube-proxy及CoreDNS，配置`kubectl`訪問。

2.Worker節(jié)點加入：

(1)使用`kubeadmjoin`命令，輸入Master節(jié)點提供的token。

(2)驗證集群狀態(tài)：`kubectlgetnodes-owide`。

四、運維監(jiān)控

（一）性能監(jiān)控

1.監(jiān)控工具：集成Prometheus（采集節(jié)點指標）+Grafana（可視化）。

2.關(guān)鍵指標：采集CPU利用率（目標＜70%）、內(nèi)存使用率（＜80%）、磁盤IOPS（＜2000IOPS/GB）。

3.日志管理：配置Elasticsearch+Kibana（ESK），收集Pod日志及K8s事件。

（二）安全運維

1.訪問控制：啟用RBAC權(quán)限管理，限制服務(wù)賬戶權(quán)限（如只讀訪問特定Namespace）。

2.容器鏡像安全：定期掃描鏡像漏洞（如使用Trivy，檢測CVE≥2022.0），禁用不必要組件。

3.自動化巡檢：通過Ansible或Terraform執(zhí)行節(jié)點狀態(tài)檢查（如磁盤空間、內(nèi)核版本）。

五、優(yōu)化與維護

（一）擴縮容管理

1.水平擴容：通過`kubectlscaledeployment<name>--replicas=3`提升副本數(shù)。

2.垂直擴容：調(diào)整節(jié)點規(guī)格（如升級為16核32GB服務(wù)器），需重新執(zhí)行`kubeadmjoin`。

（二）資源調(diào)優(yōu)

1.QoS設(shè)置：為Pod設(shè)置優(yōu)先級（`kubectllabelpod<name>-lpriority=high`）。

2.資源限制：通過`kubectlsetresourcelimits`限制GPU/內(nèi)存使用（如GPU≤2核）。

（三）備份與恢復

1.備份方案：

(1)Master數(shù)據(jù)：備份etcd數(shù)據(jù)庫（文件或RDB）。

(2)Worker數(shù)據(jù)：定期快照存儲卷（如Ceph快照）。

2.恢復流程：

(1)重建Master集群，導入etcd備份。

(2)重新加入Worker節(jié)點，同步存儲卷狀態(tài)。

六、常見問題處理

（一）節(jié)點故障

1.節(jié)點不可用：檢查`kubectlgetnodes`狀態(tài)，修復網(wǎng)絡(luò)或內(nèi)核問題。

2.自動恢復：配置NodeManager自動重啟失敗Pod，或觸發(fā)節(jié)點重建。

（二）資源不足

1.CPU/內(nèi)存瓶頸：通過`kubectltoppod`定位高負載Pod，調(diào)整副本數(shù)或升級節(jié)點。

2.磁盤滿：清理無用日志，調(diào)整存儲卷配額（如PG數(shù)量）。

七、附錄

（一）推薦工具清單

1.網(wǎng)絡(luò)插件：Calico（支持BGP多租戶）、Cilium（性能優(yōu)先）。

2.自動化運維：Ansible（配置管理）、Argo（工作流編排）。

（二）版本對照表

|組件|建議版本|備注|

|------------|-------------------|--------------------|

|Kubernetes|v1.23.5|推薦奇數(shù)版本|

|etcd|3.4.13|與K8s版本兼容|

|Prometheus|v2.30.0|監(jiān)控組件核心|

一、概述

容器云部署運維規(guī)程旨在規(guī)范容器云環(huán)境的部署、配置、監(jiān)控和優(yōu)化流程，確保容器化應(yīng)用的高可用性、高性能和安全性。本規(guī)程適用于企業(yè)級容器云平臺的日常運維管理，涵蓋從環(huán)境準備到持續(xù)優(yōu)化的全生命周期操作。

二、部署準備

（一）環(huán)境檢查

1.網(wǎng)絡(luò)配置：確認網(wǎng)絡(luò)帶寬不低于1Gbps，IP地址池充足，VPC子網(wǎng)劃分合理。

-詳細說明：

-帶寬要求：評估核心集群節(jié)點間及與外部網(wǎng)絡(luò)交互的流量需求，預(yù)留冗余帶寬（建議總帶寬的20%）。

-IP規(guī)劃：采用私有IPv4地址段（如/16），劃分至少3個子網(wǎng)（控制平面、工作平面、服務(wù)平面）。

-路由優(yōu)化：配置策略路由，避免跨AZ（可用區(qū)）流量走公共網(wǎng)絡(luò)。

2.存儲配置：確保分布式存儲系統(tǒng)（如Ceph）可用，存儲容量至少滿足預(yù)期應(yīng)用需求（例如，10TB起步）。

-詳細說明：

-性能指標：IOPS需≥5000（隨機讀寫混合），延遲＜5ms（P99）。

-容量規(guī)劃：按Pod存儲需求（如數(shù)據(jù)庫需10GB/容器）估算，預(yù)留10%-15%冗余。

-存儲類型：配置SSD（高性能）和HDD（成本）分層存儲，RAID1冗余。

3.計算資源：檢查物理服務(wù)器或虛擬機資源（CPU≥4核，內(nèi)存≥8GB/節(jié)點），支持容器技術(shù)（如CRI-O或Docker）。

-詳細說明：

-硬件要求：

-CPU：核心數(shù)需滿足并發(fā)計算需求（如GPU應(yīng)用需≥8核/節(jié)點）。

-內(nèi)存：預(yù)留2GB系統(tǒng)內(nèi)存，剩余分配給容器（建議1:1內(nèi)存容器比例）。

-虛擬化支持：確認Hypervisor（如KVM）版本兼容性，開啟直通或虛擬化擴展。

（二）依賴安裝

1.操作系統(tǒng)：推薦使用CentOS7.9或Ubuntu20.04，內(nèi)核版本需支持容器技術(shù)（如CRI-O或Docker）。

-詳細說明：

-內(nèi)核要求：

-CentOS：需安裝`kernel-devel`和`kmod`，內(nèi)核版本≥4.18。

-Ubuntu：啟用`overlayfs`和`namespaces`內(nèi)核模塊。

-安全基線：執(zhí)行`yuminstall-ybash-completionsudo`，禁用不必要服務(wù)（如`bind`、`nfs`）。

2.基礎(chǔ)組件：安裝Kubernetes客戶端工具（kubectl）、etcd客戶端及網(wǎng)絡(luò)插件（如Calico或Flannel）。

-詳細說明：

-工具安裝：

```bash

CentOS

sudoyuminstall-ykubectletcd

Ubuntu

sudoapt-getinstall-ykubectletcd-client

```

-網(wǎng)絡(luò)插件：

-Calico：需安裝BGP控制器和IPAM組件。

-Flannel：配置etcd后執(zhí)行`flannel-ds`腳本自動部署。

3.安全加固：配置防火墻規(guī)則，僅開放6443（APIServer）、2379/2380（etcd）等必要端口。

-詳細說明：

-安全組策略：

-控制平面：入方向僅允許管理VPC內(nèi)安全組（端口6443/443）。

-Worker節(jié)點：入方向僅允許Master節(jié)點IP（端口2379/2380/10250）。

三、集群部署

（一）高可用集群配置

1.控制平面：部署3個Master節(jié)點，啟用etcd集群（可用區(qū)分散，如華北1a/1b/1c）。

-詳細說明：

-etcd配置：

-創(chuàng)建3個etcd實例，配置`initial-cluster`參數(shù)（如`etcd0=01:2379`）。

-啟用TLS加密，生成CA證書（`cfssl`工具生成）。

-APIServer優(yōu)化：

-限制客戶端請求速率（`--request-timeout=15s`）。

-啟用`--kubelet-client-certificate`認證。

2.工作節(jié)點：每區(qū)部署5-8個Worker節(jié)點，安裝Kubelet、CNI插件及DNS服務(wù)（CoreDNS）。

-詳細說明：

-節(jié)點初始化：

```bash

使用Master證書加入集群

sudokubeadmjoin00:6443--tokenabc123--discovery-token-ca-cert-hashsha256:abcde...

```

-插件安裝：

-Calico：執(zhí)行`kubectlapply-fhttps://docs.tigera.io/calico/v3.16/docs/install/kubeadm/rbac.yaml`。

-CoreDNS：創(chuàng)建ConfigMap定義域名解析規(guī)則。

3.核心參數(shù)：配置Pod網(wǎng)絡(luò)CIDR（如/16），服務(wù)CIDR（如/12）。

-詳細說明：

-網(wǎng)絡(luò)規(guī)劃：

-避免與現(xiàn)有VPC沖突，使用`kubeadminit`時指定參數(shù)。

-Flannel會自動創(chuàng)建Pod網(wǎng)絡(luò)路由表（`flannel-cfg.yaml`）。

（二）部署步驟

1.Master節(jié)點安裝：

-步驟1：環(huán)境準備

```bash

sudoswapoff-a&&sed-i'/swap/s/^//'/etc/fstab

sudoapt-getupdate&&install-yapt-transport-httpsca-certificatescurlgnupg2

```

-步驟2：加入etcd集群

```bash

生成證書

cfsslgencert-initcaca-csr.json|cfssljson-bareca

cfsslgencert\

-ca=ca.pem\

-ca-key=ca-key.pem\

-config=ca-config.json\

-hostname="01,02,03,kubernetes,kubernetes.default,kubernetes.default.svc,kubernetes.default.svc.cluster.local"\

-profile=default\

kubernetes.json|cfssljson-barekubernetes

```

-步驟3：初始化集群

```bash

sudokubeadminit--pod-network-cidr=/16

保存kubeadm配置到文件

sudomkdir-p/etc/kubernetes

sudokubeadminit--kubeadm-config=kubeadm-config.yaml

```

2.Worker節(jié)點加入：

-步驟1：配置kubectl訪問

```bash

在Master執(zhí)行

sudokubectlconfigset-clusterkubernetes--server=01:6443

sudokubectlconfigset-contextkubernetes-admin@kubernetes--cluster=kubernetes

sudokubectlconfiguse-contextkubernetes-admin@kubernetes

生成kubeconfig文件

sudokubectlconfigview--raw--export-to-stdout>kubeconfig

```

-步驟2：加入集群

```bash

節(jié)點執(zhí)行

sudomvkubeconfig/etc/kubernetes

sudokubeadmjoin01:6443--tokenabc123--kubeconfig=/etc/kubernetes/kubeconfig

```

-步驟3：驗證狀態(tài)

```bash

sudokubectlgetnodes-owide

```

四、運維監(jiān)控

（一）性能監(jiān)控

1.監(jiān)控工具：集成Prometheus（采集節(jié)點指標）+Grafana（可視化）。

-詳細說明：

-Prometheus部署：

-使用Operator安裝（`kubectlapply-f/prometheus-community/kube-prometheus/main/deployments/kube-prometheus-prometheus.yaml`）。

-配置節(jié)點Exporter（`node-exporter`），采集`/metrics`接口。

2.關(guān)鍵指標：采集CPU利用率（目標＜70%）、內(nèi)存使用率（＜80%）、磁盤IOPS（＜2000IOPS/GB）。

-詳細說明：

-自定義指標：

-使用`kube-state-metrics`采集K8s對象狀態(tài)（如Pod副本數(shù)）。

-通過`alertmanager`配置告警規(guī)則（如`Alert:HighCPUUsage`）。

3.日志管理：配置Elasticsearch+Kibana（ESK），收集Pod日志及K8s事件。

-詳細說明：

-ESK部署：

-使用Helm安裝（`helmrepoaddelastichttps://helm.elastic.co`）。

-配置Logstash或Filebeat轉(zhuǎn)發(fā)日志（`-f/var/log/kube-system.log`）。

（二）安全運維

1.訪問控制：啟用RBAC權(quán)限管理，限制服務(wù)賬戶權(quán)限（如只讀訪問特定Namespace）。

-詳細說明：

-權(quán)限配置：

```bash

創(chuàng)建限定角色

apiVersion:rbac.authorization.k8s.io/v1

kind:ClusterRole

metadata:

name:read-only

rules:

-apiGroups:[""]

resources:["pods","services","nodes"]

verbs:["get","watch","list"]

綁定到服務(wù)賬戶

apiVersion:rbac.authorization.k8s.io/v1

kind:ClusterRoleBinding

metadata:

name:read-only-binding

subjects:

-kind:ServiceAccount

name:read-only-sa

apiGroup:rbac.authorization.k8s.io

roleRef:

kind:ClusterRole

name:read-only

apiGroup:rbac.authorization.k8s.io

```

2.容器鏡像安全：定期掃描鏡像漏洞（如使用Trivy，檢測CVE≥2022.0），禁用不必要組件。

-詳細說明：

-掃描流程：

```bash

安裝Trivy

curl-sL/aquasecurity/trivy/releases/download/v0.22.1/trivy-linux-amd64-otrivy

chmod+xtrivy

掃描鏡像

./trivyimagedocker.io/library/nginx:latest--exit-code1--severityHIGH,Critical

```

-組件禁用：

-通過Dockerfile修改（如`FROMalpine:latestRUNapkdelgit`）。

3.自動化巡檢：通過Ansible或Terraform執(zhí)行節(jié)點狀態(tài)檢查（如磁盤空間、內(nèi)核版本）。

-詳細說明：

-Ansible模塊示例：

```yaml

-name:Checkdiskusage

command:df-h|grep'/dev/xvda'

register:disk_check

-name:Failifdisk>90%

fail:msg="Diskusageexceeds90%"whendisk_check.stdout_lines[0].endswith("90%")

```

五、優(yōu)化與維護

（一）擴縮容管理

1.水平擴容：通過`kubectlscaledeployment<name>--replicas=3`提升副本數(shù)。

-詳細說明：

-擴容步驟：

-驗證負載：`kubectltoppod--all-namespaces`。

-執(zhí)行擴容：`kubectlscaledeploymentmy-app--replicas=5`。

-監(jiān)控資源：觀察擴容后節(jié)點CPU/內(nèi)存利用率是否下降。

2.垂直擴容：調(diào)整節(jié)點規(guī)格（如升級為16核32GB服務(wù)器），需重新執(zhí)行`kubeadmjoin`。

-詳細說明：

-流程：

-升級服務(wù)器硬件。

-更新`kubelet`配置（`--kubelet-arg=cpu=16`）。

-重新加入集群（需提供舊證書）。

（二）資源調(diào)優(yōu)

1.QoS設(shè)置：為Pod設(shè)置優(yōu)先級（`kubectllabelpod<name>-lpriority=high`）。

-詳細說明：

-優(yōu)先級配置：

```bash

創(chuàng)建優(yōu)先級類

kind:PriorityClass

apiVersion:v1

metadata:

name:high-priority

value:1000000

標注Pod

kubectllabelpodmy-pod-lpriority=high

```

2.資源限制：通過`kubectlsetresourcelimits`限制GPU/內(nèi)存使用（如GPU≤2核）。

-詳細說明：

-資源文件示例：

```yaml

apiVersion:v1

kind:Pod

metadata:

name:gpu-pod

spec:

containers:

-name:gpu-container

image:nvidia/cuda:11.0-base

resources:

limits:

/gpu:2

memory:8Gi

requests:

/gpu:1

memory:4Gi

```

（三）備份與恢復

1.備份方案：

-Master數(shù)據(jù)：

-etcd備份：

-使用`etcdctlsnapshotsave/path/to/snapshot`。

-定期（如每日）備份到對象存儲（如S3）。

-Worker數(shù)據(jù)：

-存儲卷備份：

-Ceph：執(zhí)行`rbdsnapshot`對卷創(chuàng)建快照。

2.恢復流程：

-Master恢復：

```bash

重建集群

sudokubeadminit--control-plane-endpoint=01:6443

恢復etcd

sudoetcdctlsnapshotrestore/path/to/snapshot--data-dir=/var/lib/etcd--initial-advertise-peer-urls=01:2379

```

-Worker恢復：

```bash

重建節(jié)點

sudokubeadmjoin01:6443--tokenabc123

```

六、常見問題處理

（一）節(jié)點故障

1.節(jié)點不可用：檢查`kubectlgetnodes`狀態(tài)，修復網(wǎng)絡(luò)或內(nèi)核問題。

-詳細說明：

-排查步驟：

-網(wǎng)絡(luò)問題：`pingMaster節(jié)點`，檢查`kubelet`日志（`/var/log/kubelet.log`）。

-內(nèi)核問題：`dmesg|grep-ierror`，重啟節(jié)點或更換硬件。

2.自動恢復：配置NodeManager自動重啟失敗Pod，或觸發(fā)節(jié)點重建。

-詳細說明：

-高可用方案：

-使用Antrea網(wǎng)絡(luò)插件實現(xiàn)跨AZ自動故障轉(zhuǎn)移。

-設(shè)置`--cluster-init`參數(shù)在Master故障時自動選舉新Master。

（二）資源不足

1.CPU/內(nèi)存瓶頸：通過`kubectltoppod`定位高負載Pod，調(diào)整副本數(shù)或升級節(jié)點。

-詳細說明：

-優(yōu)化方法：

-副本數(shù)：`kubectlscaledeploymentmy-app--replicas=3`。

-資源限制：為Pod設(shè)置`requests`避免資源搶占。

2.磁盤滿：清理無用日志，調(diào)整存儲卷配額（如PG數(shù)量）。

-詳細說明：

-解決方案：

-清理日志：`kubectllogs-lapp=my-app--tail=1000`。

-存儲擴容：增加Ceph池容量或調(diào)整PG數(shù)量（如`cephosdpoolsetmypoolsize150`）。

七、附錄

（一）推薦工具清單

1.網(wǎng)絡(luò)插件：

-Calico（支持BGP多租戶、IPv6）。

-Cilium（性能優(yōu)先，eBPF內(nèi)核）。

2.自動化運維：

-Ansible（適用于配置管理，模塊：`kubernetes`、`community.general`）。

-Argo（工作流編排，支持GitOps）。

3.監(jiān)控工具：

-Prometheus（自定義指標支持，Grafana集成）。

-ElasticStack（Filebeat日志收集，Kibana可視化）。

（二）版本對照表

|組件|建議版本|備注|

|--------------|------------------|--------------------|

|Kubernetes|v1.23.5|推薦奇數(shù)版本|

|etcd|3.4.13|與K8s版本兼容|

|Prometheus|v2.30.0|監(jiān)控組件核心|

|Calico|v3.16.0|支持IPv6|

|Cilium|v1.11.0|eBPF內(nèi)核版本|

|Ansible|v9.1.0|模塊兼容性檢查|

一、概述

容器云部署運維規(guī)程旨在規(guī)范容器云環(huán)境的部署、配置、監(jiān)控和優(yōu)化流程，確保容器化應(yīng)用的高可用性、高性能和安全性。本規(guī)程適用于企業(yè)級容器云平臺的日常運維管理，涵蓋從環(huán)境準備到持續(xù)優(yōu)化的全生命周期操作。

二、部署準備

（一）環(huán)境檢查

1.網(wǎng)絡(luò)配置：確認網(wǎng)絡(luò)帶寬不低于1Gbps，IP地址池充足，VPC子網(wǎng)劃分合理。

2.存儲配置：確保分布式存儲系統(tǒng)（如Ceph）可用，存儲容量至少滿足預(yù)期應(yīng)用需求（例如，10TB起步）。

3.計算資源：檢查物理服務(wù)器或虛擬機資源（CPU≥4核，內(nèi)存≥8GB/節(jié)點），支持Kubernetes集群部署。

（二）依賴安裝

1.操作系統(tǒng)：推薦使用CentOS7.9或Ubuntu20.04，內(nèi)核版本需支持容器技術(shù)（如CRI-O或Docker）。

2.基礎(chǔ)組件：安裝Kubernetes客戶端工具（kubectl）、etcd客戶端及網(wǎng)絡(luò)插件（如Calico或Flannel）。

3.安全加固：配置防火墻規(guī)則，僅開放6443（APIServer）、2379/2380（etcd）等必要端口。

三、集群部署

（一）高可用集群配置

1.控制平面：部署3個Master節(jié)點，啟用etcd集群（可用區(qū)分散，如華北1a/1b/1c）。

2.工作節(jié)點：每區(qū)部署5-8個Worker節(jié)點，安裝Kubelet、CNI插件及DNS服務(wù)（CoreDNS）。

3.核心參數(shù)：配置Pod網(wǎng)絡(luò)CIDR（如/16），服務(wù)CIDR（如/12）。

（二）部署步驟

1.Master節(jié)點安裝：

(1)執(zhí)行`kubeadminit`命令，生成kubeadm配置文件。

(2)安裝kube-proxy及CoreDNS，配置`kubectl`訪問。

2.Worker節(jié)點加入：

(1)使用`kubeadmjoin`命令，輸入Master節(jié)點提供的token。

(2)驗證集群狀態(tài)：`kubectlgetnodes-owide`。

四、運維監(jiān)控

（一）性能監(jiān)控

1.監(jiān)控工具：集成Prometheus（采集節(jié)點指標）+Grafana（可視化）。

2.關(guān)鍵指標：采集CPU利用率（目標＜70%）、內(nèi)存使用率（＜80%）、磁盤IOPS（＜2000IOPS/GB）。

3.日志管理：配置Elasticsearch+Kibana（ESK），收集Pod日志及K8s事件。

（二）安全運維

1.訪問控制：啟用RBAC權(quán)限管理，限制服務(wù)賬戶權(quán)限（如只讀訪問特定Namespace）。

2.容器鏡像安全：定期掃描鏡像漏洞（如使用Trivy，檢測CVE≥2022.0），禁用不必要組件。

3.自動化巡檢：通過Ansible或Terraform執(zhí)行節(jié)點狀態(tài)檢查（如磁盤空間、內(nèi)核版本）。

五、優(yōu)化與維護

（一）擴縮容管理

1.水平擴容：通過`kubectlscaledeployment<name>--replicas=3`提升副本數(shù)。

2.垂直擴容：調(diào)整節(jié)點規(guī)格（如升級為16核32GB服務(wù)器），需重新執(zhí)行`kubeadmjoin`。

（二）資源調(diào)優(yōu)

1.QoS設(shè)置：為Pod設(shè)置優(yōu)先級（`kubectllabelpod<name>-lpriority=high`）。

2.資源限制：通過`kubectlsetresourcelimits`限制GPU/內(nèi)存使用（如GPU≤2核）。

（三）備份與恢復

1.備份方案：

(1)Master數(shù)據(jù)：備份etcd數(shù)據(jù)庫（文件或RDB）。

(2)Worker數(shù)據(jù)：定期快照存儲卷（如Ceph快照）。

2.恢復流程：

(1)重建Master集群，導入etcd備份。

(2)重新加入Worker節(jié)點，同步存儲卷狀態(tài)。

六、常見問題處理

（一）節(jié)點故障

1.節(jié)點不可用：檢查`kubectlgetnodes`狀態(tài)，修復網(wǎng)絡(luò)或內(nèi)核問題。

2.自動恢復：配置NodeManager自動重啟失敗Pod，或觸發(fā)節(jié)點重建。

（二）資源不足

1.CPU/內(nèi)存瓶頸：通過`kubectltoppod`定位高負載Pod，調(diào)整副本數(shù)或升級節(jié)點。

2.磁盤滿：清理無用日志，調(diào)整存儲卷配額（如PG數(shù)量）。

七、附錄

（一）推薦工具清單

1.網(wǎng)絡(luò)插件：Calico（支持BGP多租戶）、Cilium（性能優(yōu)先）。

2.自動化運維：Ansible（配置管理）、Argo（工作流編排）。

（二）版本對照表

|組件|建議版本|備注|

|------------|-------------------|--------------------|

|Kubernetes|v1.23.5|推薦奇數(shù)版本|

|etcd|3.4.13|與K8s版本兼容|

|Prometheus|v2.30.0|監(jiān)控組件核心|

一、概述

容器云部署運維規(guī)程旨在規(guī)范容器云環(huán)境的部署、配置、監(jiān)控和優(yōu)化流程，確保容器化應(yīng)用的高可用性、高性能和安全性。本規(guī)程適用于企業(yè)級容器云平臺的日常運維管理，涵蓋從環(huán)境準備到持續(xù)優(yōu)化的全生命周期操作。

二、部署準備

（一）環(huán)境檢查

1.網(wǎng)絡(luò)配置：確認網(wǎng)絡(luò)帶寬不低于1Gbps，IP地址池充足，VPC子網(wǎng)劃分合理。

-詳細說明：

-帶寬要求：評估核心集群節(jié)點間及與外部網(wǎng)絡(luò)交互的流量需求，預(yù)留冗余帶寬（建議總帶寬的20%）。

-IP規(guī)劃：采用私有IPv4地址段（如/16），劃分至少3個子網(wǎng)（控制平面、工作平面、服務(wù)平面）。

-路由優(yōu)化：配置策略路由，避免跨AZ（可用區(qū)）流量走公共網(wǎng)絡(luò)。

2.存儲配置：確保分布式存儲系統(tǒng)（如Ceph）可用，存儲容量至少滿足預(yù)期應(yīng)用需求（例如，10TB起步）。

-詳細說明：

-性能指標：IOPS需≥5000（隨機讀寫混合），延遲＜5ms（P99）。

-容量規(guī)劃：按Pod存儲需求（如數(shù)據(jù)庫需10GB/容器）估算，預(yù)留10%-15%冗余。

-存儲類型：配置SSD（高性能）和HDD（成本）分層存儲，RAID1冗余。

3.計算資源：檢查物理服務(wù)器或虛擬機資源（CPU≥4核，內(nèi)存≥8GB/節(jié)點），支持容器技術(shù)（如CRI-O或Docker）。

-詳細說明：

-硬件要求：

-CPU：核心數(shù)需滿足并發(fā)計算需求（如GPU應(yīng)用需≥8核/節(jié)點）。

-內(nèi)存：預(yù)留2GB系統(tǒng)內(nèi)存，剩余分配給容器（建議1:1內(nèi)存容器比例）。

-虛擬化支持：確認Hypervisor（如KVM）版本兼容性，開啟直通或虛擬化擴展。

（二）依賴安裝

1.操作系統(tǒng)：推薦使用CentOS7.9或Ubuntu20.04，內(nèi)核版本需支持容器技術(shù)（如CRI-O或Docker）。

-詳細說明：

-內(nèi)核要求：

-CentOS：需安裝`kernel-devel`和`kmod`，內(nèi)核版本≥4.18。

-Ubuntu：啟用`overlayfs`和`namespaces`內(nèi)核模塊。

-安全基線：執(zhí)行`yuminstall-ybash-completionsudo`，禁用不必要服務(wù)（如`bind`、`nfs`）。

2.基礎(chǔ)組件：安裝Kubernetes客戶端工具（kubectl）、etcd客戶端及網(wǎng)絡(luò)插件（如Calico或Flannel）。

-詳細說明：

-工具安裝：

```bash

CentOS

sudoyuminstall-ykubectletcd

Ubuntu

sudoapt-getinstall-ykubectletcd-client

```

-網(wǎng)絡(luò)插件：

-Calico：需安裝BGP控制器和IPAM組件。

-Flannel：配置etcd后執(zhí)行`flannel-ds`腳本自動部署。

3.安全加固：配置防火墻規(guī)則，僅開放6443（APIServer）、2379/2380（etcd）等必要端口。

-詳細說明：

-安全組策略：

-控制平面：入方向僅允許管理VPC內(nèi)安全組（端口6443/443）。

-Worker節(jié)點：入方向僅允許Master節(jié)點IP（端口2379/2380/10250）。

三、集群部署

（一）高可用集群配置

1.控制平面：部署3個Master節(jié)點，啟用etcd集群（可用區(qū)分散，如華北1a/1b/1c）。

-詳細說明：

-etcd配置：

-創(chuàng)建3個etcd實例，配置`initial-cluster`參數(shù)（如`etcd0=01:2379`）。

-啟用TLS加密，生成CA證書（`cfssl`工具生成）。

-APIServer優(yōu)化：

-限制客戶端請求速率（`--request-timeout=15s`）。

-啟用`--kubelet-client-certificate`認證。

2.工作節(jié)點：每區(qū)部署5-8個Worker節(jié)點，安裝Kubelet、CNI插件及DNS服務(wù)（CoreDNS）。

-詳細說明：

-節(jié)點初始化：

```bash

使用Master證書加入集群

sudokubeadmjoin00:6443--tokenabc123--discovery-token-ca-cert-hashsha256:abcde...

```

-插件安裝：

-Calico：執(zhí)行`kubectlapply-fhttps://docs.tigera.io/calico/v3.16/docs/install/kubeadm/rbac.yaml`。

-CoreDNS：創(chuàng)建ConfigMap定義域名解析規(guī)則。

3.核心參數(shù)：配置Pod網(wǎng)絡(luò)CIDR（如/16），服務(wù)CIDR（如/12）。

-詳細說明：

-網(wǎng)絡(luò)規(guī)劃：

-避免與現(xiàn)有VPC沖突，使用`kubeadminit`時指定參數(shù)。

-Flannel會自動創(chuàng)建Pod網(wǎng)絡(luò)路由表（`flannel-cfg.yaml`）。

（二）部署步驟

1.Master節(jié)點安裝：

-步驟1：環(huán)境準備

```bash

sudoswapoff-a&&sed-i'/swap/s/^//'/etc/fstab

sudoapt-getupdate&&install-yapt-transport-httpsca-certificatescurlgnupg2

```

-步驟2：加入etcd集群

```bash

生成證書

cfsslgencert-initcaca-csr.json|cfssljson-bareca

cfsslgencert\

-ca=ca.pem\

-ca-key=ca-key.pem\

-config=ca-config.json\

-hostname="01,02,03,kubernetes,kubernetes.default,kubernetes.default.svc,kubernetes.default.svc.cluster.local"\

-profile=default\

kubernetes.json|cfssljson-barekubernetes

```

-步驟3：初始化集群

```bash

sudokubeadminit--pod-network-cidr=/16

保存kubeadm配置到文件

sudomkdir-p/etc/kubernetes

sudokubeadminit--kubeadm-config=kubeadm-config.yaml

```

2.Worker節(jié)點加入：

-步驟1：配置kubectl訪問

```bash

在Master執(zhí)行

sudokubectlconfigset-clusterkubernetes--server=01:6443

sudokubectlconfigset-contextkubernetes-admin@kubernetes--cluster=kubernetes

sudokubectlconfiguse-contextkubernetes-admin@kubernetes

生成kubeconfig文件

sudokubectlconfigview--raw--export-to-stdout>kubeconfig

```

-步驟2：加入集群

```bash

節(jié)點執(zhí)行

sudomvkubeconfig/etc/kubernetes

sudokubeadmjoin01:6443--tokenabc123--kubeconfig=/etc/kubernetes/kubeconfig

```

-步驟3：驗證狀態(tài)

```bash

sudokubectlgetnodes-owide

```

四、運維監(jiān)控

（一）性能監(jiān)控

1.監(jiān)控工具：集成Prometheus（采集節(jié)點指標）+Grafana（可視化）。

-詳細說明：

-Prometheus部署：

-使用Operator安裝（`kubectlapply-f/prometheus-community/kube-prometheus/main/deployments/kube-prometheus-prometheus.yaml`）。

-配置節(jié)點Exporter（`node-exporter`），采集`/metrics`接口。

2.關(guān)鍵指標：采集CPU利用率（目標＜70%）、內(nèi)存使用率（＜80%）、磁盤IOPS（＜2000IOPS/GB）。

-詳細說明：

-自定義指標：

-使用`kube-state-metrics`采集K8s對象狀態(tài)（如Pod副本數(shù)）。

-通過`alertmanager`配置告警規(guī)則（如`Alert:HighCPUUsage`）。

3.日志管理：配置Elasticsearch+Kibana（ESK），收集Pod日志及K8s事件。

-詳細說明：

-ESK部署：

-使用Helm安裝（`helmrepoaddelastichttps://helm.elastic.co`）。

-配置Logstash或Filebeat轉(zhuǎn)發(fā)日志（`-f/var/log/kube-system.log`）。

（二）安全運維

1.訪問控制：啟用RBAC權(quán)限管理，限制服務(wù)賬戶權(quán)限（如只讀訪問特定Namespace）。

-詳細說明：

-權(quán)限配置：

```bash

創(chuàng)建限定角色

apiVersion:rbac.authorization.k8s.io/v1

kind:ClusterRole

metadata:

name:read-only

rules:

-apiGroups:[""]

resources:["pods","services","nodes"]

verbs:["get","watch","list"]

綁定到服務(wù)賬戶

apiVersion:rbac.authorization.k8s.io/v1

kind:ClusterRoleBinding

metadata:

name:read-only-binding

subjects:

-kind:ServiceAccount

name:read-only-sa

apiGroup:rbac.authorization.k8s.io

roleRef:

kind:ClusterRole

name:read-only

apiGroup:rbac.authorization.k8s.io

```

2.容器鏡像安全：定期掃描鏡像漏洞（如使用Trivy，檢測CVE≥2022.0），禁用不必要組件。

-詳細說明：

-掃描流程：

```bash

安裝Trivy

curl-sL/aquasecurity/trivy/releases/download/v0.22.1/trivy-linux-amd64-otrivy

chmod+xtrivy

掃描鏡像

./trivyimagedocker.io/library/nginx:latest--exit-code1--severityHIGH,Critical

```

-組件禁用：

-通過Dockerfile修改（如`FROMalpine:latestRUNapkdelgit`）。

3.自動化巡檢：通過Ansible或Terraform執(zhí)行節(jié)點狀態(tài)檢查（如磁盤空間、內(nèi)核版本）。

-詳細說明：

-Ansible模塊示例：

```yaml

-name:Checkdiskusage

command:df-h|grep'/dev/xvda'

register:disk_check

-name:Failifdisk>90%

fail:msg="Diskusageexceeds90%"whendisk_check.stdout_lines[0].endswith("90%")

```

五、優(yōu)化與維護

（一）擴縮容管理

1.水平擴容：通過`kubectlscaledeployment<name>--replicas=3`提升副本數(shù)。

-詳細說明：

-擴容步驟：

-驗證負載：`kubectltoppod--all-namespaces`。

-執(zhí)行擴容：`kubectlscaledeploymentmy-app--replicas=5`。

-監(jiān)控資源：觀察擴容后節(jié)點CPU/內(nèi)存利用率是否下降。

2.垂直擴容：調(diào)整節(jié)點規(guī)格（如升級為16核32GB服務(wù)器），需重新執(zhí)行`kubeadmjoin`。

-詳細說明：

-流程：

-升級服務(wù)器硬件。

-更新`kubelet`配置（`--kubelet-arg=cpu=16`）。

-重新加入集群（需提供舊證書）。

（二）資源調(diào)優(yōu)

1.QoS設(shè)置：為Pod設(shè)置優(yōu)先級（`kubectllabelpod<name>-lpriority=high`）。

-詳細說明：

-優(yōu)先級配置：

```bash

創(chuàng)建優(yōu)先級類

kind:PriorityClass

apiVersion:v1

metadata:

name:high-priority

value:1000000

標注Pod

kubectllabelpodmy-pod-lpriority=high

```

2.資源限制：通過`kubectlsetresourcelimits`限制GPU/內(nèi)存使用（如GPU≤2核）。