求教 k8s 中 service、kubeproxy ipvs、flannel 的关联问题

[main1234]

资源清单

    nodeA 192.168.1.1
    nodeB 192.168.1.2

    podA 在 nodeA 上 podIP 10.111.1.1
    podB 在 nodeB 上 podIP 10.111.2.2
    podC 在 nodeA 上 podIP 10.111.3.3

    svc 管理 podA podB ，svcIP 为 10.111.4.1
    svc endpoint 为 10.111.1.1 、10.111.2.2

疑问点在 podC 通过 svcIP 访问的流程，其中涉及了 flannel-UDP 、网桥、kubeproxy ipvs ，比较乱，想整体捋清下流程

以下是我认为的流程

发送
1.nodeA 上的 podC 发出向 svc 的流量，源地址 10.111.3.3 ，目标地址 10.111.4.1 ，根据容器内路由会走 cni0 网桥
2.cni0 和宿主机网卡建立 pair veth 关系，流量会出现在宿主机网卡
3.由于目的 ip 为一个 svc 地址，nodeA 上面的 kubeproxy 已经提前建立好的 iptables ，会做 DNAT 转换为 podA 、podB 的 IP
4.此时在 nodeA 上已经做了 DNAT ，相当于是 podC 请求 podB 的 IP(iptables 做负载均衡，假如负载到了 podB)
5.nodeA 根据路由将流量转到 flanned.0 ，TUN 到 flanned
6.flanned 通过 etcd 获取 podB IP 和 node 的关系，得到 podB 在 nodeB 上，封 UDP 包
7.此时 IP 包的源 IP 为 nodeA 、目的 IP 为 nodeB ，UDP 包的源 IP 为 podC 、目的 IP 为 podB ，用 nodeB 做 ARP ，经过内核将 UDP 发出

收包
1.流量到 nodeB 上的 flanne.0,TUN 到 flanned ，解包得出真正容器维度源 IP 、目的 IP
2.根据目的 IP 流转到 cni0
3.流到 podB

以上的流程有问题么？？？感觉 svc 经过 iptables 转换为 endpoint 中的 IP ，不太确定到底是发生在哪一步

[druggo]

第 3 步，既然用 ipvs 模式，cluster ip 都在 ipvs 的虚拟网卡上(kube-ipvs0) ，不会经过 iptables 的，直接 ipvs 转发到 endpoint ip

[main1234]

@druggo 哦对对，我忘了，ipvs 不会使用 iptables ，有疑问就是 ipvs 会获取到这个转发的 ip ，然后会做一次 DNAT 吧？？把 svc 的 clusterIP 换成 podIP ，然后走到 flanned.0 进而走到用户态的 flanned 对吧

[mayooot]

假如你的 kube-proxy 模块用的 iptables 模式，然后我尝试回答一下你的疑问。
假设现在一个 Service 下面有 2 个 Pod ，iptables 规则如下：
~~~
-A KUBE-SERVICES -d 10.111.4.1/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3
~~~

负载均衡规则和 DNAT 规则如下：
~~~
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ
-A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3


-A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.1.7:9376
-A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 10.244.2.3:9376
~~~

[mayooot]

@mayooot 我的回答是直接截取的一个 Service 下面 3 个 Pod 的 iptables 规则，可能和楼主说的对应不上。看个意思就行吧

[druggo]

@main1234 对

[guanzhangzhang]

在非容器环境上实现散装的 IPVS SVC
https://zhangguanzhang.github.io/2021/09/28/ipvs-svc/