电子发烧友App
VxLAN 数据面封装协议
? 2011 年 8 月，主要由 VMware 与 Cisco 公司草拟并由 IETF 发布了 RFC 7348 草案《Virtual eXtensible Local Area Network (VXLAN): A Framework for Overlaying Virtualized Layer 2 Networks over Layer 3 Networks》。 ? VxLAN（Virtual Extensible Local Area Network，虚拟扩展本地局域网）是 IETF 定义的 NVO3（Network Virtualization over Layer 3）标准技术之一，从名字可以看出，VxLAN 最初定位于对传统 VLAN 协议的一种增强替代方案。本质是一种 Tunneling（隧道）网络传输技术，又称为 Overlay 网络，特点是将 L2 Frame 封装到 UDPVxLAN Header 中，并在 L3 IP 网络中进行传输（L2 over L3）。 ? 通过 VxLAN 技术可以将处于不同 L3 Subnets 的 Underlay 网络设备整合到一个逻辑上的 Overlay 网络中。对于 Overlay 网络的终端用户而言，这些网络设备似乎 “真实” 地部署在了同一个 L2 数据链路层网络中，以此来适应大规模云计算多租户隔离网络的需求。
?
?VxLAN 组网拓扑介绍
? 如上图所示，首先介绍构建一个 VxLAN 网络所需要的组成部分，包括以下 3 组核心元素： ?
NVE / VTEP / VxLAN Tunnel
VxLAN L2 Gateway / L2 VNI / BD
VxLAN L3 Gateway / L3 VNI / VRF
NVE / VTEP / VxLAN Tunnel
在抽象的 Overlay 网络中，NVE（Network Virtualization Edge，网络虚拟边缘节点）是一个处于 Underlay 网络和 Overlay 网络交界处的边缘设备，提供网络虚拟化功能，用于衔接 2 个不同的网络类型。 ? 根据具体的组网环境，NVE 可以是主机中运行的一个虚拟网元，也可以是一个物理网元（e.g. Spine/Leaf 交换机）。在本文中主要讨论硬件 NVE 的情况。
? ??软件 NVE 常见的有 OvS Tun Bridge 和 Linux Bridge + Tun 虚拟隧道网卡设备。 ?
??硬件 NVE 常见的有 Spine-Leaf 交换机设备。 ? 在具体的 VxLAN Overlay 网络中，NVE 需要具备 VTEP（VxLAN Tunnel Endpoints，隧道端点）功能，用于完成 VxLAN 协议栈的封装/解封装。两个 VTEP（local-VTEP 和 remote-VTEP）之间具有 Underlay IP 路由可达性，继而可以构造一个 L3 之上的 VxLAN Tunnel。 ? 区别于 VLAN 使用 VLAN ID 来隔离二层网络，VxLAN 使用了 VNI（VXLAN Network Identifier，VXLAN 网络标识符）来作为隔离标记。在一个 VxLAN Tunnel 中，可用于传输若干个由 VNI 进行隔离的 VxLAN 虚拟网络。 ? 另外，与 VLAN 网络隔离需要通过 L3 Gateway 来互联互通类似，在 VxLAN 网络隔离中同样需要 VxLAN Gateway 来实现 VxLAN 虚拟网络与其他类型网络之间的互联互通，而且情况会更加复杂。根据用途的区别，VxLAN Gateway 大体上可以分为 VxLAN L2 Gateway 和 VxLAN L3 Gateway 这 2 种类型，对应的 VNI 也根据用途被细分为 L2 VNI 和 L3 VNI 这 2 种类型。 ?
VxLAN L2 Gateway / L2 VNI / BD
VxLAN L2 Gateway 用于实现 VxLAN 和 VLAN 之间的互联。 ? 在 Leaf NVE 中，为了实现 VxLAN L2 Gateway 的 L2 隔离和转发而引入了 BD（Bridge Domain）的概念，它是一个可配置的二层广播域，类似于一个虚拟网桥设备。在新建一个 BD Instance 时，通常会将 BD Instance、L2 VNI、Local VLAN ID 配置为一一对应，并且在一个 BD Instance 中会同时存在 2 种类型的接口： ?
Overlay 侧接口
是一个对内的二层接口设备，更准确的说是一个 Host 上联 Leaf Port 的二层子接口设备（e.g. CloudEngine VAP），具有同一个 VLAN ID 的下挂终端（VM/Host）的 Original L2 Frame 会从此接口进入到 VTEP 中进行后续的封装。 ?
Underlay 侧接口
是一个对外的三层接口设备，会被分配一个 Underlay IP，与物理网络相连。在 Underlay 网络中的多个 VTEP 之间具备 IP 路由可达性，用于构建 VxLAN Tunnel。被 VTEP 封装之后的 VxLAN 封装包会从此接口流出进入 VxLAN Tunnel 传输。 ? 另外，BD Instance 为了能够 “缝合“ Local VLAN 和 VxLAN Tunnel 这两段网络，维护了 VID-VNID 映射关系。通过这样的方式，VxLAN L2 Gateway 就将 Local VLAN 作为了 VxLAN Tunnel 的接入点，所有加入到 Local VLAN 中的终端（VM/Host）L2 流量，就会进入到对应的 VxLAN Tunnel 中。
VxLAN L3 Gateway / L3 VNI / VRF
VxLAN L3 Gateway 用于实现下列 2 种互联场景： ?
两个 VNI 不同的 VxLAN 虚拟网络之间的互联互通。
VxLAN 虚拟网络和外部 IP 网络之间的互联互通。
可见，VxLAN L3 Gateway 主要提供了 L3 隔离和转发功能，具体沿用了 L3 VPN Instance 中的 VRF 技术。每个 VRF 都具有自己的 Route Tables，类似于 Linux Network Namespace，同时维护了 VRF 和 L3 VNI 的映射关系，以此在 VxLAN L3 Gateway 层面实现了对不同租户之间的 L3 隔离。 ? 另外，在常见的 Spine-Leaf 数据中心网络架构中，根据将 VxLAN L3 Gateway 部署在 Spine 或者部署在 Leaf 上的不同，又可以再细分为 2 种不同的 VxLAN 组网方案： ?
集中式 VxLAN L3 Gateway 组网方案
分布式 VxLAN L3 Gateway 组网方案
下图中概述性的列举了这 2 种组网方案的异同。
集中式 VxLAN L3 Gateway 组网方案
在分布的 Leaf 上部署 VxLAN L2 Gateway 功能，在集中的 Spine 上部署 VxLAN L3 Gateway 功能。这意味着所有跨网络之间的流量都需要经过 Spine 进行转发，包括：VxLAN 虚拟网络之间，以及 VxLAN 虚拟网络与外部 IP 网络之间的流量。 ? 该方案的优点是跨网络流量集中管理，简化网关部署和管理。而缺点是： ?
转发路径并非最优
跨网络之间的流量都需要在 Spine 上进行 L3 绕行，这样就导致了 Leaf 与 Spine 之间的链路上存在冗余的报文，额外占用了大量的带宽。 ?
Spine 的 ARP 表项压力大
所有通过 L3 转发的 ARP 表项（MAC-IP）都存储在 Spine 上，当终端的数量越来越多时，Spine 就容易成为网络瓶颈。 ? 所以该方案适用于小型组网环境。
分布式 VxLAN L3 Gateway 组网方案
在分布的 Leaf 上同时部署了 VxLAN L2 和 L3 Gateway，而 Spine 只作为常规 L3 转发节点并不需要感知 VxLAN 隧道的存在。具有以下特性： ?
相同 VTEP 下跨网络之间的流量在 Leaf 上完成 L3 转发。
只有不同 VTEP 下跨网络之间的流量需要经过 Spine 完成 L3 转发。
另外，只要求 Leaf 学习下挂终端的 ARP 表项，从而解决了 Spine 规格带来的容量瓶颈问题。所以该方案适用于中大规模（5000 台服务器及以上）的高性能网络。 ? 而缺点是网关部署、故障定位及网络运维相对复杂，通常需要结合 EVPN Control Plane 来完成一系列的自动化配置工作，例如：基于 BGP Peer 的 VTEP 自动发现、VxLAN Tunnel 自动建立，ARP 表项自动生成等等。 ?
? VxLAN 协议栈解析
? VxLAN 的协议栈比较简单，定义了一种 MAC-in-IP 的报文封装格式。 ?
Original L2 Frame
一个原始且完整的 L2 数据帧，是业务层发出（通常是 VM）的实际 Payload 数据。 ?
VxLAN Header（8Bytes）
将 Original L2 Frame 封装到 VxLAN Header（8Bytes）成为 Overlay Segment。 ?
VxLAN Flags（8bits）：标记字段，如果 VNI 有效，则固定取值为 00001000。
Reserved（24bits）：保留字段，固定取值为全 0。
VNI（VxLAN Network Identifier，24bits）：最多支持 16777216（1600 万）个二层隔离网络。根据用途的不同可分为 L2 VNI 和 L3 VNI。
Reserved（8bits）：保留字段，固定取值为全 0。
UDP Header（8Bytes）
是 Overlay 和 Underlay 的分界线。UDP 协议由于其高效率、低占用的特性常被用作隧道封装协议的传输层。 ?
UDP srcPort（16bits）：由 local-VTEP 通过对 Original L2 Frame 进行 HASH 计算后得出，该特性使得 VxLAN 封装包在 Receive Site 具备了可行的 HASH-base 负载均衡处理能力（e.g. ECMP 等价路由）。
UDP dstPort / VxLAN Port（16bits）：缺省取值为 UDP 4789，根据具体设备型号可能支持配置更改。
UDP Length（16bits）：指示一个 UDP 数据报的总长度。
Checksum（16bits）：检验字段。
Outer IP Header（20Bytes）
是 Underlay 的 L3 IP Header 封装。 ?
srcIP 是 local-VTEP 的 IP 地址。
dstIP 可能是 remote-VTEP 的 IP 单播地址，也可能是用于 BUM 流量的多播/组播地址。
Outer MAC Header
是 Underlay 的 L2 Frame 封装。dstMAC 和 srcMAC 地址视乎于具体的 Underlay 网络拓扑。 ?
srcMAC 是 local-VTEP 的 MAC 地址；
dstMAC 视乎于具体的 Underlay 以太网络拓扑。
VxLAN 数据面转发原理
同 VNI 的 BUM 报文转发场景
BUM（Broadcast，Unknown-unicast，Multicast）是网络中常见的 3 种流量类型，分别表示： ?
广播流量（Broadcast）
指发送到网络中所有设备的流量，例如：ARP 报文、DHCP 报文等。 ?
未知单播流量（Unknown-unicast）
指发送给网络中不存在的设备的流量，例如：发往一个错误的 MAC 地址的报文等。当交换机收到一个未知目的 MAC 地址的报文时，它需要向除了源端口外的所有端口转发该报文，以便让目的主机能够收到该报文并发送响应。因此，未知单播报文也是广播报文的一种，也会对网络带宽造成浪费。 ?
组播流量（Multicast）
指发送给一组目标设备的流量，这些设备加入到了一个组播组，组播流量的目的地址也是特定的组播地址，因此对网络带宽的占用相较于广播更少一些。 ? 在网络中，对于不同类型的 BUM 报文，交换机的处理方式也不同，例如，对于 Broadcast 和 Multicast 报文，交换机会将它们转发到所有的端口，而对于 Unknown-unicast 报文，则只会将它们转发到除源端口外的所有端口。基于这样的特性，为了简单理解，我们可以将 BUM 报文统称为 Flooding 流量。 ? 在大规模的 VxLAN 场景中，由于多个 Overlay 虚拟网络共享 Underlay 物理网络，多租户情况下，这些 Flooding（洪泛）流量对物理带宽资源的占用尤为突出，需要特别的注意。 ? 物理网络设备对 BUM 的处理方式（数据包复制）大体上有 2 种： ?
头端复制（Head-End Replication，HER）
在源头（即发送端所在的端口）将 BUM 流量复制到多个目的地，每个目的地对应着一个收件人（e.g. 一个接收组播流的客户端）。这种方式需要在源端口上复制和转发每个数据包，因此可能会导致性能问题和链路拥塞。头端复制适用于小规模网络，常用于数据中心的二层网络中。 ?
核心复制（Core Replication，CR）
将 BUM 流量复制到一组专用的核心设备，这些设备负责将流量复制到所有需要它的接收方（e.g. 接收组播流的客户端）。这种方式通过在核心层进行复制，避免了在源端口上进行大量的复制和转发，因此对网络性能的影响更小。核心复制适用于大规模网络，常用于广域网环境中。 ? 对应的 VxLAN 硬件 NVE 同样有 2 种 BUM 报文处理方式： ?
VxLAN 头端复制 + Underlay 单播路由
由 local-VTEP（源头设备）负责对终端（VM/Host）发出的 BUM 报文进行复制，并采用 Underlay 单播路由的方式，经过 VxLAN Tunnels 将 BUM 传递到其他多个 remote-VTEPs 接收。remote-VTEP 接收到 BUM 报文之后，就不再 Flooding，避免了环路。
再展开一下 Local LAN 流量接入 VxLAN Tunnel 的流程细节。如下图所示，当 VTEP 接收到终端的携带 VLAN 的 BUM 之后，首先会通过 VLAN ID 匹配到对应的 BD，然后在该 BD 内查找 VNI-Tunnel List，最后为 BUM 封装上不同的 OverlayUnderlay Header 之后向 VNI-Tunnel List 指定的所有 VxLAN Tunnels 发出。
VxLAN 核心复制 + Underlay 组播路由
首先将网络中所有的 VTEPs 设备都加入到同一个组播组中，部署专门的核心层设备并通过组播路由协议（e.g. PIM）或 IPv6 多播路由协议（e.g. IGMP ）与 VTEPs 建立一个组播信道和相应的组播转发表项。当终端发出 BUM 报文后，local-VTEP 会为其封装好组播目的 IP 地址，然后进入核心层设备进行数据复制，并采用 Underlay 组播的方式，将 BUM 传递到同一个组播组内的其他 remote-VTEPs 接收。
同 VNI 的单播报文转发场景
同 VNI 的单播报文转发场景中，一个 IP 单播报文的发送实际上可以拆分为 3 次转发流程，分别是： ?
ARP Request 广播转发；
ARP Reply 单播转发；
IP 单播转发。
下面以较为简单的 “VxLAN 头端复制 + Underlay 单播路由“ 方式为例进行介绍：VM_A、VM_B、VM_C 同属于 VNI 5000，也同属于 10.1.1.0/24 子网。此时，VM_A 想与 VM_C 进行首次通信。
ARP Request 广播转发流程
首次通信，VM_A 没有 VM_C 的 MAC 地址，所以首先进行 ARP Request 广播转发流程，请求获取 VM_C 的 MAC 地址。 ?
VM_A 发送 srcMAC 为 MAC_A、dstMAC 为 “全 F（广播）”、srcIP 为 IP_A、dstIP 为 IP_C 的 ARP Request 广播报文，请求获取 VM_C 的 MAC 地址。
VTEP_1 收到 ARP Request 后，根据二层子接口上的 VLAN 和 DB 配置判断报文需要进入 VxLAN Tunnel。确定报文所属 VNID 后，VTEP_1 首先会自学习 MAC_A、VNID 和 Port_1（二层子接口对应的物理接口）的映射关系，并记录在本地 MAC Table 中。之后，VTEP_1 会根据头端复制列表对报文进行复制，并分别进行 OverlayUnderlay Header 封装。
封装的 Outer srcIP 地址为 VTEP_1 的 IP 地址，Outer dstIP 地址为 remote-VTEP（VTEP_2 或 VTEP_3）的 IP 地址；Outer srcMAC 地址为 VTEP_1 的 MAC 地址，而 Outer dstMAC 地址为去往目的 IP 的网络中下一跳设备的 MAC 地址。
根据 Outer MAC/IP 信息，在 Underlay IP 网络中进行传输，直至到达 remote-VTEP。
报文到达 remote-VTEP 后，对报文进行解封装，得到 VM_A 发送的 Original L2 Frame。同时，remote-VTEP 学习 VM_A 的 MAC 地址、VNID 和 VTEP_1 的 IP 地址的映射关系，并记录在本地 MAC Table 中。之后，remote-VTEP 根据二层子接口上 BD 和 VLAN 配置对报文在 Local LAN 二层域内进行广播。
VM_B 或 VM_C 接收到 ARP Request 后，比较报文中的 dstIP 地址是否为本机的 IP 地址。VM_B 发现 dstIP 不是本机 IP，故将报文丢弃；VM_C 发现 dstIP 是本机 IP，则对 ARP Request 做出应答。
ARP Reply 单播转发流程
VM_C 应答 ARP Reply 时，由于 VM_C 已经知道了 VM_A 的 MAC 地址，所以 ARP Reply 报文为单播报文。报文的 srcMAC 为 MAC_C，dstMAC 为 MAC_A， srcIP 为 IP_C、dstIP 为 IP_A。 ?
VTEP_3 接收到 VM_C 发送的 ARP Reply 报文后，同样先自学习 MAC_C、VNI 和 Port_3 的映射关系，并记录在本地 MAC Table 中。然后 VTEP_3 对报文进行封装。
封装的 Outer srcIP 地址为 VTEP_3 的 IP 地址，Outer dstIP 地址为 VTEP_1 的 IP 地址；Outer srcMAC 地址为 VTEP_3 的 MAC 地址，而 Outer dstMAC 地址为去往目的 IP 的网络中下一跳设备的 MAC 地址。
根据 Outer MAC/IP 信息，在 Underlay IP 网络中进行传输，直至到达 remote-VTEP。
报文到达 VTEP_1 后，VTEP_1 对报文进行解封装，得到 VM_C 发送的 Original L2 Frame。同时，VTEP_1 学习 VM_C 的 MAC 地址、VNI 和 VTEP_3 的 IP 地址的映射关系，并记录在本地 MAC Table 中。然后 VTEP_1 将解封装后的报文发送给 VM_A。
至此，VM_A 和 VM_C 均已学习到了对方的 MAC 地址。之后，VM_A 和 VM_C 将采用 IP 单播方式进行转发。转发流程类似，这里不再赘述。
不同 VNI 的单播报文转发场景
不同 VNI 的单播报文转发场景，又称为 “跨 VxLAN 子网的单播报文转发场景“，需要结合上文中提到的 VxlAN L3 Gateway 来共同完成。 ? 这里以较为简单的 “集中式 VxLAN L3 Gateway 组网方案“ 来进行介绍：Spine 提供 L3 Forwarding 功能，VM1 和 VM4 处于不同的 VxLAN 子网，VM1 的网关是 VSI-Interface10，VM4 的网关是 VSI-Interface20，并分别接入到不同的 VSI（Virtual Switching Instance，虚拟交换实例）中，VSI 具有传统以太网交换机的所有功能。 ? 假设现在已经不是首次通信，VM1、VM4、VSI-Interface10、VSI-Interface20 之间的 MAC 地址都已经互相学习到了。此时 VM1 向 VM4 发出跨子王的 IP 单播报文。 ?
VM1 先将报文发送给 VSI-Interface10。
Leaf-A 收到 VM1 发来的报文，识别此报文属于 VxLAN 10，查找 dstMAC G10 的表项，然后对报文进行 VxLAN 封装后从 Tunnel2 发送出去。
Spine-C 收到 Leaf-A 发来的报文，进行 L3 Forwarding 处理：
发现 Outer dstIP 是自己，于是对报文进行解封装。
解完封装后，Spine-C 发现 Original L2 Frame 的 dstMAC 是本机 VSI-interface10 的 MAC、dstIP 是 IP4，于是根据路由表查找 IP4 的下一跳；
发现一下跳为 Leaf-B、出接口为 VSI-Interface20，再查询 ARP 表项，并将 Original L2 Frame 的 srcMAC 修改为 VSI-interface20 的 MAC 地址，将 dstMAC 修改为 VM4 的 MAC 地址。
报文到达 VSI-interface20 接口时，识别到需要进入 VxLAN 20，所以根据 MAC 表对报文进行封装。
封装的 VNI 为 20，Outer srcIP 为 Spine-C 的 IP 地址，Outer dstIP 为 Leaf-B 的 IP 地址；Outer srcMAC 为 Spine-C 的 MAC 地址，Outer dstMAC 为去往目的 IP 的网络中下一跳设备的 MAC 地址。
封装后的报文，根据 Outer dstMAC/dstIP 信息，在 Underlay IP 网络中进行传输，直至到达 remote-VTEP。
Leaf-B 收到 Spine-C 发来的报文后，解封装，得到 Original L2 Frame。在 VxLAN 20 内找到 dstMAC 为 MAC4 的表项，并将报文从对应的接口和 VLAN 中发送出去。
最终 VM4 收到了来自 VM1 的报文。 ?
? VxLAN/UDP 的 MTU 问题 ? UDP（User Datagram Protocol，用户数据报协议），是一种无连接的、非可靠的传输层协议，常被应用于 Tunnel 协议的传输层。主要原因有以下几点： ?
速度快
只要应用进程将 Payload 传给 UDP，UDP 将此数据打包后就立刻传递给 IP 层，而无需作其他额外的机制处理。 ?
首部开销小
相较于 TCP Header 都有 20Bytes 的首部开销，UDP Header 只有 8Bytes。 ?
负载均衡特性
因为无连接，所以 UDP srcPort 可以使用 HASH 计算值，该特性能够在各个网络环节中进行负载均衡优化，例如：ECMP 传输环节，CPU 队列绑定收包环节等。 ? 但相对的，UDP 也存在一个关键的 MTU 分片问题，即：假如 UDP Datagram 进行分片，那么只有 First Fragment 是包含 UDP Header 的，一旦丢包就会导致 Receiver 无法重组出一个完整的 Datagram。如下图所示。
? 所以，当采用 UDP 作为传输层时，需要十分注意 MTU 的设置，才能带来更好的传输性能以及可靠性。根据 VXLAN RFC7348 中的建议，VxLAN 封装包不应该分片，否则在接收端 VTEP 上会丢弃分片的报文，导致无法正确解封装。
通常的，VM/Host 的默认 MTU 是 1500Bytes，即 Original L2 Frame 最大为 1500Bytes。在 VTEP 封装上 VxLAN Overhead 的 50Bytes（VxLAN header + UDP Header + Outer IP/MAC Header）之后，VxLAN 封装包的总长度就达到了 1550Bytes。 ? 如果希望不对 VxLAN 封装包进行分片，可以通过 2 种常规手段来实现： ?
减小 VM/Host 的 MTU。
加大 Underlay 网络的 MTU。
根据实际的场景，需要考虑采用不同的实现方式。
DCN 场景中的 VxLAN MTU
在 DCN 场景中，由于运营商对整网环境具有把控能力，所以通常会采用从 “业务需求出发“ 的原则，即：调整 Underlay MTU 以适应 VM/Host MTU 的需求。所以，极端情况下，Underlay MTU 可能被设置为 9000Bytes。
DCI 场景中的 VxLAN MTU
并跨越两个地理位置分离的 DC（数据中心），通过 L3 路由广域网（WAN）或其他数据中心互连（DCI）传输连接的场景中。因为 VxLAN 封装包需要经过并非完全可控的第三方承载网络，所以对 MTU 的规划需要更加严谨。所以通常采用 “从适配性出发“ 的原则，即：对 VM/Host MTU 进行控制，确保在整个端到端的承载网中均小于 Underlay MTU。 ? 以一个内层 ping 包（长度为 1422Bytes）为例，计算各层封装的长度如下表，发现最终的 VxLAN 封装包大于 1500Bytes，此时就需要修改 Inner MTU 以及 Inner App 的长度值，使其小于等于 1500Bytes。
?
? EVPN MP-BGP 控制面协议
? EVPN （Ethernet VPN）是一个 L2 VPN（L2-in-L3）协议，最初的设计目的是为了替换落后的 VPLS（Virtual Private LAN Service），号称为 Next Generation L2 VPN（下一代的 L2 VPN）。 ? 后来，EVPN 逐渐演进为一套通用的 Control Plane 协议，而不是具体为了承载业务的 Data Plane 协议。EVPN Control Plane 可以与多种不同的 Data Plane 技术（包括：MPLS、SRv6、VxLAN 等）结合使用实现一套完整的数控分离 SDN 方案。 ? EVPN Control Plane 的全称为 EVPN MP-BGP（Ethernet VPN base on Multi-Protocols BGP），是一种基于 MP-BGP 协议可扩展性的实现方式，增加新的协议类型和路由类型，包括： ?
L2 VPN AFI（Address Family Identifier，地址族标识）
EVPN SAFI（Subsequent Address Family Identifier，子地址族标识）
EVPN NLRI（Network Layer Reachability Information，网络层可达性信息）
??EVPN VxLAN SDN 方案
? 在引入 EVPN 作为 VxLAN 的 Control Plane 之前，需要通过手工的方式建立静态 VxLAN 隧道，即：手动指定 VxLAN Tunnel 的 local-VTEP 和remote-VTEP 的 IP 地址对，并构建 Tunnel。手工静态配置的方式在集中式 VxLAN L3 Gateway 组网方案中或许还能够勉强接受，但在大规模的分布式 VxLAN L3 Gateway 组网方案中会出现较为严峻的挑战，主要有 2 个方面： ?
网络扩展困难：网络变更需要手动修改集群配置，容易出现 “雪花设备“ 故障。
BUM 洪泛流量占比大：所有 VTEP 都需要通过 Flood and Learn（洪泛和自学习）来完成数据转发之前的 ARP 表项和主机路由表项学习。
为了解决这个问题，需要在 VxLAN 网络中引入 Control Plane 方案来提供灵活的运维管理支撑。目前最为流行和成熟的组合就是 EVPN VxLAN（RFC6624），依托于 BGP 在 E-BGP 和 I-BGP 场景中的适配性，也使得 VxLAN 不仅局限于 DCN（数据中心网络）场景，还能应用于 DCI（数据中心互联）场景。
? 相应的，采用 EVPN 作为 VxLAN 的 Control Plane 带来了 2 个核心优势： ?
EVPN 可实现 VTEP 自动发现、VxLAN Tunnel 的自动建立，从而降低网络运维的复杂度和提升了网络可扩展性。
EVPN 可实现 IP、MAC、VNI 等 ARP 和主机路由信息的自动宣告，从而有效减少了 BUM 泛洪流量。
? EVPN VxLAN 的路由类型
? EVPN 基于 MP-BGP NLRI 扩展引入了 5 种新的路由类型（Route Type），如下： ?
Type1. Ethernet Auto-Discovery Route（Ethernet 自动发现路由）
Type2. MAC/IP Advertisement Route（MAC/IP 通告路由）
Type3. Inclusive Multicast Ethernet Tag Route（集成多播 Ethernet Tag 路由）
Type4. Ethernet Segment Route（Ethernet 段路由）
Type5. IP Prefix Route（IP 前缀路由）
在 EVPN VxLAN 场景中，NVE（交换机）充当 PE 的角色，同时具备了 BGP Peer 和 VTEP 的功能，下文中统称为 VTEP Peer。其主要应用了 Type2、Type3、Type5 这 3 种路由类型，下面重点介绍这些路由类型的定义和作用。 ?
Type2：MAC/IP Advertisement Route（MAC/IP 通告路由）
Type2 Route 的 EVPN NLRI 字段如下： ? ??Route Distinguisher： 指示一个 EVPN Instance 的 RD 值，用于区分不同的 EVPN Instances。每个 EVPN Instance 都具有一个对应的 BD（二层广播域）。
? ??Ethernet Segment Identifier： EVPN 允许在同一物理网络上创建多个虚拟网络，这些虚拟网络被称为 Ethernet Segment。而 Ethernet Segment Identifier 就是该虚拟网络的唯一标识。在 VxLAN 场景中，ES 就是 VxLAN Tunnel，ESI 用于唯一标识一个 VxLAN Tunnel 的连接。
? ??Ethernet Tag ID 指示当前设备配置的以太网 VLAN ID。
? ??MAC Address Length 指示该 Route 携带的 host-MAC 地址的长度。
? ??MAC Address 指示该 Route 携带的 host-MAC 地址。 ?
??IP Address Length 指示该 Route 携带的 host-IP 地址的掩码长度，为 32bits（IPv4）或 128bits（IPv6）。
? ??IP Address 指示该 Route 携带的 host-IP 地址。 ?
??MPLS Label1 指示该 Route 携带的 L2 VNI，用于标识不同的 BD。 ?
??MPLS Label2 指示该 Route 携带的 L3 VNI，用于标识不同的 VRF（L3 VPN）。VxLAN 网络中为了实现不同租户之间的隔离，需要通过不同的 VRF 来隔离租户的路由表。 ? 从上述字段可见，Type2 Route 的关键特性就是支持对称 IRB（Integrated Bridging and Routing，集成的桥接和路由），能够同时发布 L2 MAC Switching 和 L3 IP Routing 信息，以此来支撑 VxLAN L2 和 L3 Gateway 应用场景。
? 基于这样的特性，Type2 Route 非常适用于云计算虚拟机迁移的场景（MAC Mobility，MAC 移动性），可以有效避免了虚拟机迁移期间所带来的 IP 地址更改，以及重新配置网络的问题。例如：当一台 VM 从 VTEP1 迁移到 VTEP2 时，VTEP2 会学习到该 VM 的 ARP 信息（通过 VM 发出的 gARP 实现），并生成 VM 对应的 Type2 Route，然后传递给 VTEP1。VTEP1 收到后，感知到 VM 的位置发生变化，触发 ARP 探测，当探测不到 VM 时，则会撤销 VM 在本地的 ARP 和主机路由信息。
VTEP 应用 Type2 通告 host-MAC 地址
当 VTEP 是 VxLAN L2 Gateway 时，VTEP Peer 之间可以通过 Type2 Route 来互相学习对方的 host-MAC Table，包括：host-MAC、BD、Interface 等信息。 ? 如下图所示，Leaf1、Leaf2 是 VxLAN L2 Gateway，Host1、Host2 属于同一个 VxLAN 子网，Leaf1 向 Leaf2 通告它的 host-MAC Table。 ?
Host1 通过特定的 Interface 和 BD 接入到 Leaf1 时，通常会触发 ARP、DHCP 等广播流量。Leaf1 以此来学习到 Host1 对应的 Host1-MAC 并记录在 BD 的 host-MAC Table 中。
随后 Leaf1 向 Leaf2 发送 Type2 Route，携带了 EVPN Instance RD、Host1-MAC、L2 VNI、VTEP IP 等信息。
Leaf2 收到 Type2 Route 后，根据 L2 VNI 匹配到相应的 BD，并将 Host1-MAC 保存在 BD 的 host-MAC Table 中。
VTEP 应用 Type2 通告 host-IP 精确路由
在 VxLAN 网络中，要想实现跨网络之间的三层互访，就需要在 VxLAN L3 Gateway 中应用 L3 VPN Instance 和隔离的 Route Table 来完成 IP Routing。 ? 当 VTEP 是 VxLAN L3 Gateway 时，VTEP Peer 之间可以通过 Type2 Route 来互相学习对方的 host-IP Table，包括：host-IPv4 /32 或 host-IPv6 /128 精确路由、Interface、L3 VNI 等信息。 ? 以较为复杂的 “分布式 VxLAN L3 Gateway 组网” 场景为例。如下图所示，Leaf1、Leaf2 同时作为 VxLAN L2/L3 Gateway，Host1、Host2 属于不同的 VxLAN 子网，Leaf1 向 Leaf2 通告它的 host-IP Table。 ? Host1 通过特定的 Interface 和 BD 接入到 Leaf1 时，通常会触发 ARP、DHCP 等广播流量。
L2 Gateway 特性：学习到 Host1 对应的 Host1-MAC 并记录在 BD 的 host-MAC Table 中。
L3 Gateway 特性：学习到 Host1 对应的 Host1-IP 并记录在 L3 VNI 对应的 VRF 的 host-IP Table 中。
随后 Leaf1 向 Leaf2 发送 Type2 Route，携带了 EVPN Instance RD、Host1-MAC、Host1-IP、L2 VNI、L3 VNI、VTEP IP 等信息。 ? Leaf2 收到 Type2 Route 后，根据 L2 VNI 匹配到相应的 BD，并将 Host1-MAC 保存在 BD 的 host-MAC Table 中。
L2 Gateway 特性：根据 L2 VNI 匹配到相应的 BD，并将 Host1-MAC 保存在 BD 的 host-MAC Table 中。
L3 Gateway 特性：根据 L3 VNI 匹配到相应的 VRF，并将 Host1-IP 保存在 VRF 的 host-IP Table 中。
VTEP 应用 Type2 实现 ARP 广播抑制
同一个 VxLAN 子网属于一个 “大二层“ 虚拟网络，子网内的主机要互相通信就需要知道对方的 MAC 地址，传统的方式是发出 ARP Request 广播报文。而在 EVPN 场景中，则可以应用 Type2 实现 ARP 广播抑制，能够有效减少 ARP 洪泛的流量。 ?
首先，VxLAN L3 Gateway 之间通过 Type2 Route 互相宣告 ARP 表项信息（host-MAC/IP）。
然后，VxLAN L3 Gateway 通过传递 ARP 类型路由，将 ARP 表项信息传递给 VxLAN L2 Gateway。
最后，VxLAN L2 Gateway 开启 ARP 代答功能后，就会根据 ARP 表项信息生成 ARP 广播抑制表，包括：host-IP、host-MAC、VTEP、VNI 等信息。
完成控制面的配置后，当 VxLAN L2 Gateway（e.g. Leaf1）再收到从 Host1 向 Host2 发出的 ARP Request 时，就会先查看自己的 ARP 广播抑制表，发现有 Host2 的 MAC-IP 记录，则直接将 ARP Request 报文中的广播 MAC 地址替换为目的单播 MAC 地址（广播变单播），然后原路 Reply，从而达到 ARP 广播抑制的目的。
但需要注意的是，Type2 Route 和 ARP 广播抑制只是减少了 ARP 洪泛流量，但不能完全避免，例如下面场景： ?
新上线的可能是 “静默主机“，它不会自动触发 ARP、DHCP 等广播流量，所以上挂 VTEP 不能被动学习其 MAC 地址。首次访问 “静默主机” 时，还是需要在 VxLAN 子网中广播 ARP Request 报文来获得对方的 MAC 地址。
在 VTEP 没来及的学习到 ARP 广播抑制表项的时候，也会按照正常的流程进行广播。
Type3：Inclusive Multicast Ethernet Tag Route（集成多播 Ethernet Tag 路由）
通过应用 Type3 Route 可以实现 VTEP Peers 的自动发现和认证，并在 VTEP Peer 之间互相传递 L2 VNI 和 VTEP IP 地址信息。 ? Type3 Route 的 EVPN NLRI 字段如下： ?
Route Distinguisher：指示 EVPN Instance 的 RD 值。
Ethernet Tag ID：指示当前设备配置的以太网 VLAN ID。在 Type3 Route 中为全 0。
IP Address Length：指示该 Route 携带的 local-VTEP IP 地址的掩码长度。
Originating Router's IP Address：指示该 Route 携带的 local-VTEP IP 地址。
Flags：在 VxLAN 场景中，该字段没有实际意义。
MPLS Label：指示该 Route 携带的 L2 VNI，用于标识不同的 BD。
Tunnel Type：指示该 Route 携带的隧道类型。在 VxLAN 场景中，该字段为 “6: Ingress Replication”，即头端复制类型。
Tunnel Identifier：指示该 Route 携带的隧道信息。在 VxLAN 场景中，该字段也是 local-VTEP IP 地址。
VTEP 应用 Type3 建立头端复制列表
前面提到 Type2 Route 只能 “抑制“ ARP 洪泛流量，但不能完全避免。这些不能避免的 BUM 流量，还是需要通过头端复制或核心复制方式来进行广播或组播。 ? 以头端复制为例，VTEP Peer 之间可以通过 Type3 Route 宣告来实现自动创建头端复制列表，包括：L2 VNI、src-VTEP IP、dst-VTEP IP 等信息。如下图所示，Leaf1、Leaf2、Leaf3 作为 VTEP，Leaf1 向 Leaf2、Leaf3 发送 Type3 Route。 ?
在 Leaf1 上完成 VTEP IP、L2 VNI、EVPN Instance 等相关配置后，Leaf1 会向 Leaf2、Leaf3 分别发送 Type3 Route，携带了 L2 VNI、local-VTEP IP、EVPN Instance RD 等信息。
Leaf2、Leaf3 收到来自 Leaf1 的 Type3 Route 后：
如果 Leaf1 VTEP IP 三层路由可达，则建立一条 VxLAN Tunnel。
如果如果 remote-VNI 与 local-VNI 相同，则新建一个头端复制表，用于后续 BUM 报文广播。
Type5：IP Prefix Route（IP 前缀路由）
Type3 Route 的 EVPN NLRI 字段如下： ?
Route Distinguisher
指示 EVPN Instance 的 RD 值。 ?
Ethernet Segment Identifier
用于唯一标识一个 VxLAN Tunnel 的连接。 ?
Ethernet Tag ID
指示当前设备配置的以太网 VLAN ID。 ?
IP Prefix Length
指示该 Route 携带的 IP Prefix 的掩码长度。 ?
IP Prefix
指示该 Route 携带的 IP Prefix，可以是精确路由（/32 或 /128），也可以网段地址（/0-32 或 /0-128），主要是传递网段路由。 ?
GW IP Address
指示默认网关地址。该字段在 VxLAN 场景中没有实际意义。 ?
MPLS Label
指示该 Route 携带的 L3 VNI，用于标识不同的 VRF。 ?
VTEP 应用 Type5 通告 host-IP 网段路由
Type5 Route 有 2 个主要的应用场景： ?
在没有 IP 地址重叠的网络规划中，可以配置 VTEP 通过 Type5 Route 宣告 host-IP 网段路由，而不是 host-IP 精确路由，以此来有效减少 VxLAN L3 Gateway 设备的路由表项。
在 VxLAN 网络和外部 IP 网络之间需要互联互通时，可以通过 Type5 Route 将外部 IP 网段宣告到 VxLAN L3 Gateway，继而实现 VxLAN 网络中的主机能够与外部网络之间进行 IP 访问。
如下图所示，Leaf1、Leaf2 作为 VxLAN L3 Gateway，其中 Leaf1 连接了一个外部网络的 192.168.1.0/24 网段。 ?
Leaf1 探测到 192.168.1.0/24 网段路由后，向 Leaf2 宣告 Type5 Route，包括：EVPN Instance RD、IP Prefix、L3 VNI、Leaf1 VTEP IP 地址等信息。
Leaf2 收到 Type5 Route 后，学习到 192.168.1.0/24 网段信息，并将其保存在相应的 Route Table 中，其下一跳为 Leaf1 VTEP IP 地址。
后续，Leaf2 就可以直接转发 dstIP 为 192.168.1.0/24 网段的 IP 报文了。
? ?
编辑：黄飞
?
工商网监
评论