在Linux上配置高可用的容器网络

一、高可用容器网络概述

高可用容器网络需要满足以下要求： - 容器IP地址漂移能力 - 网络路径冗余 - 快速故障检测和恢复 - 负载均衡能力

二、主流解决方案

1. 使用Calico + BGP

配置步骤：

1. 安装Calico:

kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml

2. 配置BGP对等：

apiVersion: projectcalico.org/v3
kind: BGPPeer
metadata:
  name: peer-to-router
spec:
  peerIP: 192.168.1.1
  asNumber: 64512

3. 启用ECMP(等价多路径路由)：

apiVersion: projectcalico.org/v3
kind: BGPConfiguration
metadata:
  name: default
spec:
  logSeverityScreen: Info
  nodeToNodeMeshEnabled: true
  asNumber: 64512
  serviceClusterIPs:
  - cidr: 10.96.0.0/12

2. 使用Cilium + BGP

配置步骤：

1. 安装Cilium:

cilium install --version 1.11.0 \
  --set kubeProxyReplacement=strict \
  --set bgp.enabled=true \
  --set bgp.announce.loadbalancerIP=true

2. 配置BGP邻居：

cilium bgp peers add \
  --remote-address 192.168.1.1 \
  --remote-as 64512 \
  --local-as 64512

3. 使用Multus + Macvlan/IPVLAN

配置步骤：

1. 安装Multus CNI:

kubectl apply -f https://raw.githubusercontent.com/k8snetworkplumbingwg/multus-cni/master/deployments/multus-daemonset-thick.yml

2. 创建Macvlan配置:

{
  "name": "macvlan-network",
  "type": "macvlan",
  "master": "eth0",
  "mode": "bridge",
  "ipam": {
    "type": "host-local",
    "subnet": "192.168.1.0/24",
    "rangeStart": "192.168.1.100",
    "rangeEnd": "192.168.1.200",
    "routes": [{"dst": "0.0.0.0/0"}],
    "gateway": "192.168.1.1"
  }
}

三、高可用网络策略

1. 网络路径冗余

• 配置多个物理网卡绑定(bonding)

# 创建bonding接口
nmcli con add type bond ifname bond0 mode active-backup
nmcli con add type bond-slave ifname eth0 master bond0
nmcli con add type bond-slave ifname eth1 master bond0

2. 快速故障检测

• 使用BFD(Bidirectional Forwarding Detection)协议

# Calico BFD配置示例
apiVersion: projectcalico.org/v3
kind: BFDConfiguration
metadata:
  name: default
spec:
  detectMultiplier: 3
  receiveInterval: 300
  transmitInterval: 300

3. 负载均衡

• 使用IPVS进行服务负载均衡

# 启用IPVS
kubectl edit configmap kube-proxy -n kube-system
# 设置mode: "ipvs"

四、测试与验证

1. 网络连通性测试：

kubectl run -it --rm --restart=Never busybox --image=busybox -- ping 8.8.8.8

2. 故障转移测试：

# 模拟节点故障
kubectl drain <node-name> --ignore-daemonsets --delete-emptydir-data

3. 性能测试：

# 使用iperf3测试网络带宽
kubectl run -it --rm --restart=Never iperf-server --image=networkstatic/iperf3 -- iperf3 -s
kubectl run -it --rm --restart=Never iperf-client --image=networkstatic/iperf3 -- iperf3 -c <server-ip>

五、监控与维护

1. 网络监控：

# 安装Prometheus监控
kubectl apply -f https://github.com/prometheus-operator/kube-prometheus/tree/main/manifests

2. 日志收集：

# 安装EFK栈
kubectl apply -f https://raw.githubusercontent.com/kubernetes/kubernetes/master/cluster/addons/fluentd-elasticsearch/

3. 定期维护：

- 检查CNI插件版本更新 - 验证网络策略有效性 - 测试故障恢复流程

通过以上配置，您可以在Linux上建立一个高可用的容器网络环境，确保业务连续性和网络可靠性。