OPPO云VPC网络实践

1 OPPO 云网络现状

随着OPPO业务的快速发展，OPPO云规模增长迅速。大规模虚拟实例的弹性伸缩、低延时需求对网络提出了诸多挑战。原有基于VLAN搭建的私有网络无法解决这些问题，给网络运维和业务的快速上线带来了挑战。

梳理存在的主要问题如下：

1. 网络缺乏集中的控制系统，业务开通以手工配置为主，自动开通能力几乎没有，为后期维护、升级埋下隐患。
2. 虚拟网络和物理网络耦合紧密，没有做到业务分离。虚拟网络的MAC或者路由会传递到物理设备上，对物理设备的二、三层表项的容量提出了很高的要求。虚拟实例大规模扩容后可能会使硬件设备上的路由表项耗尽，导致业务无法使用。
3. 虚拟网络缺乏安全策略，已有的安全策略不能很好的管控虚拟网络之间的互访互通，网络访问控制机制不健全。
4. 虚拟网卡带宽无法支持高性能业务。网络的虚拟网卡只支持veth/tap设备，网络带宽不高，满足不了网络数据密集型业务的需求。
5. 虚拟网络系统没有实现控制和转发分离，控制面故障或者升级会影响业务。

2 虚拟网络选型

分析上述问题的根本原因之后，决定选择目前业界主流的SDN网络技术来解决上述网络隔离和运维自动化能力不足的问题，选择智能网卡OFFLOAD功能来实现虚拟实例的网络加速，选用虚拟私有云(VPC)技术来治理不同用户的业务网络、提高系统的健壮性、安全性。

SDN的数据面采用开源的OVS来实现，主要原因是OVS已经在数据中心中大规模应用，其转发性能、稳定性和安全性已经得到实践证明，其维护成本也相对降低。

VPC 控制器、VPC 网络接口(CNI)插件、VPC网关、VPC 负载均衡(Load Balance)决定采用自研的方式实现，虽然社区已经有类似的方案(Neutron/OpenDaylight)，但是这些项目都比臃肿，侧重于电信业务场景，维护成本较高，不能直接应用于数据中心互联网业务场景，并且和已有的平台系统，集成开发工作也比较多。而自研也有很多优点，比如新功能开发快速不在依赖社区、定制开发方便、轻量化、性能高、稳定性强。

3 VPC网络方案

整个VPC网络系统架构如下图所示。

VPC控制台提供统一业务入口和便捷的界面操作，业务操作可视化，关键数据存于数据库中，便于维护和使用。

VPC SERVER 是整个系统的中心，对云平台提供高效，简洁的业务接口。是整个系统的消息转发枢纽。

FlowEngine 是位于计算节点的OVS 控制器，它采用规则推理的方式计算流表，指示OVS如何转发业务报文。FlowEngine与VPC Server一起称作网络的中央中枢。

VPC CNI Agent负责计算节点网卡资源的管理和分配，同时对云平台提供了创建、删除等业务接口。它采用智能网卡虚拟化(SR-IOV)技术实现虚拟实例的网络加速。

VPC网关分为东西向的分布式网关和南北向的集中网关，提供不同子网的通信，解决了集中网关的单点故障问题。南北向的集中网关支持VXLAN隧道，实现虚拟网络和物理网络的互通，并且支持横向扩展和DPDK加速技术。

VPC LB实现四层负载均衡，对外提供业务的高可用方案。

3.1 VPC网络类型

当前VPC网络支持租户网络、公共网络和弹性IP网络。租户网络中虚拟实例之间可以互相访问，只能通过VPC 网关访问外部网络，虚拟实例的IP地址不会发布出去，因而不能被外部主机访问。只有绑定上弹性IP才可以对外直接提供服务，这种网络特别适合于开发测试环境向生产环境的切换，有利于业务的快速发布。

租户网络也可以借助LB网关，发布虚拟IP(VIP)路由，对外提供业务。

公共网络类似于传统的VLAN网络，它的网段会被VPC网关发布到上联设备上，直接可以和IDC网络互通。方便部署基础虚拟云平台的监控服务以及公共服务。

3.2 租户隔离的隧道VXLAN

VPC 网络的类型为VXLAN隧道，每个子网分配唯一的VXLAN隧道ID，同安全组技术一起使用保证不同用户网络的完全隔离，解决了业务上云的安全风险。

OVS的数据面转发由本地控制器来控制，控制器故障不会影响其他节点的通信和已有隧道业务流的转发。

采用智能网卡的VXLAN 卸载功能，不会因为VXLAN的性能损耗影响业务转发，同时节省了主机的CPU资源。

3.3 VPC 隧道封装说明

3.3.1 VXLAN隧道隔离

VPC网络支持虚拟机和容器位于同一个二层网络，从网络角度看，他们都在同一个VPC子网内。不同节点虚拟实例互访，需要借助VXLAN隧道完成。同子网虚拟实例通信，报文的VXLAN ID是本子网的ID，异子网虚拟实例通信，报文的VXLAN ID是目的子网的ID。

虚拟实例访问VPC外部网络需要借助VPC网关，VPC网关采用软件实现，通过DPDK和高速网卡加速，运行在X86服务器上即可。当前也支持第三方VPC网关，VPC网关可以通过HTTP API或者BGP-EVPN接口与VPC SERVER 交互VXLAN的路由信息。

3.3.2 VPC 负载均衡

VPC 负载均衡采用全NAT方式实现，报文封装在VXLAN报文中进行转发。路由和隧道信息由VPC SERVER同步给LB控制器，LB 控制器负责将路由信息更新到对应的网元。

从上图可以清楚的看出报文的交互方案，LB网元会保持业务的会话session，支持轮巡、最小负载优先等调度算法。支持一致性哈希算法，无缝迁移业务功能。

LB网元采用DPDK和高速网卡实现，报文转发速率(PPS)可以达到800万以上 ，会话数目可以达到10万以上，时延小于1ms。满足互联网及IOT场景高并发业务要求。

3.4 VPC性能指标

VPC 虚拟实例透传VF网卡后，转发性能可以到 25000Gbit/s。PktGen 测试报文转发速率(PPS) 可以达到2400万，带宽可以达到25Gbps。带宽和PPS都可以达到虚拟的tap设备的两倍以上，同时降低了网络转发的CPU使用率。

VPC租户隔离的特性很好的解决多个租户内百万虚拟实例的快速互访问题。单实例和LB性能的提高了解决了现网中百万节点数据计算的带宽瓶颈。大大提高了系统的业务承载能力。VPC网络技术赋能AI和大数据计算平台。

4 收益与展望

上线运行后，VPC架构简化了网络架构，提高了网络的安全性、提高了系统的业务承载能力及运维效率，为用户带去良好的体验并得到客户的一致赞赏。

VPC版本仍在不断迭代中，即将发布的新功能有VPC统一管理容器、虚拟机、逻辑等多种类型的计算实例，数据面的高可用，OVS 流表计算引擎高可用，100G最新智能网卡等。

作者简介
Andy Wang OPPO高级后端工程师
主要负责VPC网络架构设计及实现。长期致力于SDN网络新技术实践。曾在中兴通讯、IBM、赛特斯担任高级网络工程师及架构师。

获取更多精彩内容，扫码关注[OPPO数智技术]公众号