作者簡介：劉倩，廈門大學碩士，工程師，現工作于中國聯通河南分公司云網運營中心，主要從事IP城域網及承載網的維護與優化工作。E-mail：liuq46@chinaunicom.cn。

0   引言

為進一步提升公司現有產業互聯網容量和綜合承載能力，降低網絡建設和運維成本，更好地支撐5G 和通信云化建設，中國聯通計劃對現存的2 張MPLS 骨干承載網絡（現有的CUII 和IP 承載B 網）進行融合，以統一界面的形式更好地為用戶服務。融合后的CUII 骨干網主要用于移動業務、大客戶MV 業務、云骨干網業務、云網協同業務、物聯網、聯通內部管理系統以及固網NGN等多業務綜合承載，并具備差異化服務的能力。

省際或省內移動業務均以MPLS VPN 方式接入移動業務IP 承載B 網，隨著業務的快速發展以及5G 和通信云化的建設，業務側開始采用IPv4/IPv6 雙棧地址接入，IPv6 地址空間巨大，同時B 網的VPN 數量及路由條目與日俱增，因此控制VPN 路由信息在全網VRR與AR，VRR 與VRR 之間按需路由反射尤為重要^[1]。為保證公司IP 承載網融合工作的順利開展，根據總部統一安排，河南鶴壁作為全國第一個試點開展了IP 承載B 網VPN RR（Route Reflector）按需路由特性優化部署實施，效果明顯，基于此集團進一步完善實施操作方案并啟動了其他各省B 網按需路由反射優化工作。

1   承載B網網絡發展現狀

1.1 網絡結構

中國聯通IP 承載B 網采用分層網絡結構設計，全網分為核心層、匯聚層和接入層，各網絡層次的路由器分別簡稱為CR、BR、AR/ER^[2]。核心層由北京、上海、沈陽、武漢、廣州、成都、西安7 個節點組成，整個核心層為全網狀結構^[3]。匯聚層由全國25 個節點城市組成，匯聚節點的兩臺BR 就近上聯至兩個不同核心節點的CR 設備上，以河南BR 節點為例，其上聯大區CR節點為北京/ 武漢。接入層由各省的地市節點組成，內部系統接入路由器AR 和外部系統接入路由器ER 均成對設置，并基于口字形結構與BR 連接，實現業務流量的接入匯聚。

1.2 自治域劃分及路由組織

B 網全網設置為一個統一的自治域，并分配公有的自治域號。全網域內采用ISIS 協議處于Level-2 區域，CR、BR 路由器的所有接口以及AR/ER 路由器的上行、橫聯、Loopback 接口都參與ISIS L2 路由。

1.3 MPLS/BGP路由策略

B 網上所有業務路由的承載均通過MP-iBGP 實現，通過MPLS 三層VPN 方式實現業務連通和彼此隔離^[4]。MP-BGP 采用扁平化層次結構，AR/ER 均與RR 建立對等體關系，所有MP-iBGP 路由均由RR 反射。

核心/ 匯聚層CR/BR 路由器僅承載IGP 路由（所有設備Loopback 與端口互聯地址），不與RR 建立鄰接關系。接入層AR/ER 路由器承載全部IGP 路由，作為Client 從RR 得到MP-iBGP 路由。

同一節點的2 臺AR/ER 向RR 宣告相同路由時，采用不同的RD 值（雙RD 組網）以便使RR 能夠選出不同方向的VPN 路由加快路由收斂。

1.4 VPN RR部署及結構現狀

承載B 網不設置普通IPv4 RR 設備，只設置VPNRR 設備，采用“一級RR+ 備份RR ＋異地分簇”方案，系統一級VRR分別設置在北京、上海、廣州、西安、沈陽、武漢、成都七個節點，各部署2 臺RR 設備。全網一級RR 之間建立FULLMESH MP-iBGP 鄰居關系，RR 兩兩異地成對，構成7 個簇，每個簇屬于一個片區^[5]。各省每臺AR/ER 路由器作為Client 跟大區一級RR 路由器和本省省會AR1（備份RR）建立MP-iBGP 鄰居關系，備份RR 作為所屬兩臺一級RR 的Client 同時和省內AR/ER 建立MP-iBGP 鄰居^[6]。河南所屬一級MPiBGP路由反射簇為武漢VRR1/ 上海VRR2。IP 承載B網VPN RR 結構如圖1 所示。

圖1 VPN RR結構示意圖

1.5 VPN路由現狀

隨著業務的不斷發展，IP 承載B 網內VPN 用戶越來越多，目前現網中部署的業務系統VPN 多達70 多個，VPN 路由條目與日俱增，當前業務路由總數達到了60多萬。由于AR 向RR 宣告相同路由時采用雙RD 設計以及VRR 間FullMesh 全互聯結構，VRR 上接收到的VPN 路由總數達到了200 多萬^[4]。

在IP 網中由于RR 默認不會過濾任何路由，其在接收到AR 通告的VPN 路由信息后，經過路由優選再反射給其他AR 和RR，IP 承載B 網中VPN 路由通告如圖2 所示。

圖2 B網VPN路由通告示意圖

2   承載B網VPN路由反射存在問題及優化方案

2.1 VPN路由反射處理機制問題

IP 網中由于RR 默認不會過濾任何路由，導致大量省內VPN 路由信息在全網RR 間進行反射通告，RR 處理大量的路由信息需要足夠的系統資源，這就容易造成RR 的資源過載。

同時，RR 也會反射所有VPN 路由信息給AR，這使得大量無用路由信息在網絡中傳播，造成帶寬資源浪費。AR 為了只接收本地期望的VPN 路由信息，需要配置本地路由策略進行過濾也消耗了AR處理策略的資源?，F網VRR 路由反射處理如圖3 所示。

2.2 VPN路由反射優化思路及建議

2.2.1 優化思路

通過對B 網內VPN 路由進行分析統計，發現省內VPN 路由數約占總路由數的87%，省內VPN 路由信息只需要在相應的RR 和AR 間進行反射通告即可，不需要在RR 集群間進行反射，外省省內VPN 路由也無需在本片區的路由反射簇和AR/ER 間進行反射通告。因此決定對全網VRR 與AR、VRR 與VRR 之間的VPN路由信息進行按需路由反射優化。

圖3 現網VRR路由反射示意圖

2.2.2 優化建議

通過引入VPN ORF 特性，RR 在向對端反射路由時，會根據該對端設備所捆綁的VPN 實例的VPN-Target 屬性對路由進行過濾^[7]。通過VPN ORF 使對端設備只接收本地期望的路由，減少接收壓力。

在全網RR 與AR，RR 與RR 之間部署VPN ORF特性，通過應用擴展的團體屬性值對路由信息進行區分，以決定路由是否傳遞，實現按需反射。據統計，目前省內VPN 路由數約占全網總路由數的87%，在按需路由反射優化完成后，將極大地減少RR 上的VPN 路由表，避免系統資源過載，加快路由收斂速度。優化后的VRR 路由反射如圖4 所示。RR 集群間僅反射通告省際VPN 路由信息，某省AR/ER 路由器與所屬一級RR之間僅反射通告省際及本省省內VPN 路由信息。

圖4 優化后的VRR路由反射示意圖

2.2.3 VPN ORF特性

VPN ORF (VPN Outbound Route Filtering) 是在基于BGP 多業務統一承載框架的基礎上，實現VPN ORF 路由指導VPNv4/VPNv6 鄰居路由發布。ORF 是通過將本地的路由策略應用到鄰居的出口，使鄰居在發布路由時過濾掉無用路由。

VPN 中的PE 設備將本地需要的路由IRT(import target) 和原始AS 號以VPN ORF 路由的形式發送給BGP 鄰居，鄰居根據此路由構造出口策略，使PE 只能收到本地期望的路由，減少PE 接收壓力。如圖5 所示，在使能VPN ORF 能力之前，路由反射器將接收到PE1 的VPN 實例的VPN 路由全部發布給PE3，但是對于PE3，只有ERT（export target）1:1 是匹配的；同樣，路由反射器從PE3 接收到VPN 實例的路由全部發布給PE1，其中只有ERT1:1 才是匹配的。對于路由PE1 與PE3 上的VPN 實例，只有ERT1:1 是互相匹配的。在使能VPN ORF 能力之后，即在VPN-Target 地址族視圖下使能了BGP 鄰居關系。如圖5 中，使能了路由反射器與PE1、路由反射器與PE3 的BGP 鄰居關系之后，各鄰居之間進行VPN ORF 能力協商，PE1 和PE3 將本地需要的路由IRT，以VPN ORF路由的形式發送給鄰居，鄰居根據此路由構造出口策略。也就是說，在PE1 在向外發布BGP VPN 路由時，會根據PE1 收到對應鄰居對等體的IRT 路由進行過濾發布^[8]。

圖5 VPN ORF基本應用場景

2.3 VPN路由反射優化方式

基于BGP/MPLS VPN 建立的VPNv4 連接在RR 和AR 之間創建BGP-VT 地址族，建立VPN ORF 路由鄰居關系，使能與指定對等體（組）之間交換VPN ORF路由信息。AR/ER 相對于RR 來說屬于pgAcessIn 對等體組，RR 相對于AR/ER 來說屬于pgVRR 對等體組。AR 將本地擴展團體屬性路由過濾列表以VPN ORF 路由的形式發送給RR，RR 根據此路由過濾列表構造出口策略作為本地出路由過濾。當RR 向AR 反射路由時，僅發送該AR 需要的VPN 路由。極大地減少了發送的路由數量，減少網絡帶寬占用并提高了路由收斂速度，具體的按需路由反射優化配置分別在RR 和AR 上部署。

1）RR 上執行如下配置優化，進入BGP 視圖后執行命令ipv4-family vpn-target 進入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關系，使能與pgAcessIn 對等組之間交換VPN ORF 路由信息，分別在BGP-VPNv4和BGP-VT 地址族視圖下執行命令peer pgAcessInreflect-client，配置將本機作為路由反射器，并將對等組pgAcessIn 作為路由反射器的客戶，將AR 地址加入pgAcessIn 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgAcessIn enable

peer pgAcessIn reflect-client

peer AR_address enable

peer AR_address group pgAcessIn

2）AR 上執行如下配置優化，進入BGP 視圖后執行命令ipv4-family vpn-target 進入BGP-VT 地址族視圖，建立VPN ORF 路由鄰居關系，使能與pgVRR 對等組之間交換VPN ORF 路由信息，將VRR 地址加入pgVRR 對等體組。

bgp 38XXX

ipv4-family vpn-target

peer pgVRR enable

peer VRR_address enable

peer VRR_address group pgVRR

在RR 和AR 間完成VPN ORF 使能后，可以使用

display bgp vpn-target routing-table 命令，查看BGP VPNTarget

地址族的路由信息；還可以使用display bgp vpnv4/vpnv6 all routing-table peer x.x.x.x advertised-routes/received-routes 命令，查看相應鄰居BGP VPNv4/ VPNv6路由和BGP 私網路由的信息收發情況。

3   B網VRR按需路由反射優化方案實施

3.1 實施步驟

IP 承載B 網全國14 臺RR 采用跨區覆蓋方式構成7 個一級MP-iBGP 路由反射簇（Route Reflector Cluster）。各省每臺AR 路由器作為Client 跟所屬兩臺一級RR 和本省省會備份RR 建立鄰居關系。為保證本次B 網VRR 按需路由反射優化工作順利開展，及時為CUII 與IP 承載B 網融合工程提供有效的實施方案支撐，根據總部統一安排，先期在河南鶴壁開展VRR 按需路由反射特性測試和實施試點，效果明顯。集團根據試點情況進一步完善了實施操作方案，并分階段批量啟動其他各省B 網按需路由反射優化部署工作。

首先，在全國7 個一級RR 集群中，先各選擇一臺RR，與其下聯的AR 逐步建立VPN ORF 鄰居關系，使能VPN ORF 功能。完成配置后，該RR 只向下聯AR通告其需要的VPN 路由信息，實現對AR 的按需路由反射。其次，在完成下聯配置的RR 之間，建立VPN ORF 路由鄰居關系，交換VPN ORF 路由信息。完成配置后，RR 只能接收到對方RR 反射的省際路由信息，實現相應RR 間的按需路由反射。之后對7 個RR 集群中的另外一臺進行部署，與其下聯的AR 逐步建立VPNORF 鄰居關系，使能VPN ORF 功能。最后，完成所有RR 之間的VPN ORF 路由鄰居關系建立，實現所有RR間的按需路由反射優化部署[5]。

3.2 河南聯通B網VRR按需路由反射優化完成情況

河南所屬一級MP-iBGP 路由反射簇為武漢VRR1/上海VRR2。河南鶴壁作為集團IP 承載B 網VPN ORF部署試點率先完成了至武漢VRR1 方向的按需路由反射優化實施工作，路由優化效果顯著，基于此集團完善實施方案進一步開展了全網批量優化實施。批量實施以RR 為準，因為每臺AR 與同一集群的兩臺RR 互聯，需要分批部署。河南聯通IP 承載B 網AR/ER 設備至所屬VRR 按需路由反射優化工作完成情況如表1 所示。

至此，河南聯通IP 承載B 網全網40 臺AR/ER 設備按照集團規劃已經全部完成了至武漢/ 上海一級VRR按需路由反射優化，并在優化操作完成后嚴格進行了全業務驗證工作保證本次優化方案順利實施。

3.3 優化效果

VRR 按需路由優化后，AR/ER 設備只從RR 接收到本地期望的路由，減少了路由接收壓力，同時RR 集群間僅反射通告省際VPN 路由信息減少了域內路由容量的壓力，同時也節約了骨干帶寬資源，提高了設備處理能力。

以河南鶴壁AR 節點至武漢VRR 間按需路由反射優化部署為例，優化前后路由條目對比：

1）按需路由優化前，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發布的VPNv4 路由條目約136 萬條，VPNv6 路由條目約13 萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 1360574

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtablepeer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 132676

2）按需路由優化后，在武漢VPN RR 設備上查看向鶴壁某臺AR 上發布的VPNv4 路由條目約為11.5 萬條，減少了約124.5 萬條；VPNv6 路由條目為0 條（鶴壁目前未有IPv6 VPN業務地址接入），減少了約13萬條：

<HBWH-GS-N40E-V1>dis bgp vpnv4 all routingtable peer 116.XX.16.160 advertised-routes statistics 

Advertised routes total: 115116

<HBWH-GS-N40E-V1>dis bgp vpnv6 all routingtable peer 116.XX.16.160 advertised-routes statistics

Advertised routes total: 0

河南聯通IP 承載B 網40 臺AR/ER 設備歸屬于武漢VPN_RR1和上海VPN_RR2構成的CLUSTER_6 地址簇。據統計，按需路由優化前，對于作為clicent 的AR/ER 設備來說，每臺AR 需要從兩個方向的VRR 接收約272 萬條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 接收合計約10 880 萬條vpnv4 路由；按需路由優化后，每臺AR 從兩方向的VRR 接收約24 萬條vpnv4 路由，全省40 臺AR/ER 設備從2 臺VRR 累計接收近960 萬條vpnv4 路由，優化減少了超過90% 的路由信息，極大地節約了帶寬、設備資源，加快了路由收斂速度。

4   結束語

為保證公司產業互聯網CUII 與B 網融合工作的順利開展，滿足通信云、5GC、云聯網等業務的綜合承載需求，本文通過對IP 承載B 網VPN 路由反射處理機制問題的研究，提出了在B 網進行VRR 按需路由反射優化的部署。通過在全網VRR 與AR、VRR 與VRR 之間部署ORF 特性實現了VPN 路由按需反射，避免了大量無用路由信息在網絡中傳播，大大節約了網絡資源，加快了路由收斂速度，為后期網絡融合降低了難度。

參考文獻：

[1] 朱智輝.福州電信城域網路由優化改造方案研究[D].南京:南京郵電大學,2011.

[2] 胡媛.基于集群路由技術的IP網的設計與實現[D].西安:西安電子科技大學,2010.

[3] 張奎.電信級IP承載網的研究與設計[D].成都:電子科技大學,2009.

[4] 聶亞南.基于MPLS的多業務承載研究[D].北京:北京郵電大學,2008.

[5] 徐亦璐,石永革,許小紅.路由反射技術應用于MPLS VPN的研究[J].微計算機信息,2008(18):96-98.

[6] 鄧麗云.淺析MPLS BGP VPN技術及應用網絡[J].中國新通信,2019,21(8):112-114.

[7] 陳軍華,王忠民.BGP/MPLS VPN實現原理[J].計算機工程,2006(23):124-126.

[8] 王琳.基于BGP和OSPF的VPN業務網接入優化[J].電信技術,2019(10):64-70,75.

（本文來源于《電子產品世界》雜志2021年10月期）