Homepage
 
查询
中国
成功案例 
新一代IP骨干网典范

――记爱立信承建中国电信CN2项目

        CN2作为中国电信新一代的IP骨干网,将为3G、NGN以及大企业客户服务,这个网络的意义及影响极其深远,已经成为“今年中国乃至整个亚太地区非常具有代表性的策略性项目”。
        在爱立信公司和Juniper公司的共同努力下,我们提供的IP骨干网解决方案终于赢得了CN2的青睐。在这个骨干网解决方案里面,通过T640、T320、M320、M20等路由设备的部署,为中国电信奉献了一个高速、可靠、无阻塞的高性能IP网络,也为整个数据通信业界展示一个完美的IP骨干网典范。

清晰的网络体系结构

        这个IP骨干网将是一个多业务网络,为了提高网络的高可靠性和可管理性,它分成网络承载层面和专门的业务层面。
        其中承载层面负责高速、无阻塞的MPLS/IP交换,承载层面由CN2所要求的C1、C2、C3路由器所组成,每台设备拥有1280G/640G/320G的系统容量和高密度的10Gbps、2.5Gbps端口,承载层面利用IP快速收敛和MPLS FRR快速重路由的功能,保证网络流量传送的高度可靠。
         业务层面负责接入用户,并向用户灵活、方便地提供所需业务,业务层由CN2所要求的PE设备组成。

       

 

                  

        承载层面对最终用户来说则是透明的,它由位于各个节点的核心路由器通过建网规则搭建起来的数据传送交换的骨架。从宏观的角度来看,整个承载层面,可以理解为一个虚拟的中心交叉设备,所有的业务接入路由器都接在这个虚拟中心交叉设备上。这个虚拟中心交叉设备的功能就是,将其所连接的业务接入路由器所送入的业务流,转发到其他地方的业务接入路由器。从微观的角度看,承载层面是由位于不同节点的不同级别的骨干路由器连接起来的网络。承载层面对于业务流的处理,是基于业务路由器上对业务流所打的标签进行。

先进的路由平台

        根据建设新一代基于IP/MPLS的网络基础设施的需求,在网络中部署业界最先进的T/M系列路由器:

  • 具有强大的QoS功能,基于硬件的MPLS,适用于ATM、帧中继以及IP服务
  • 无以伦比的2.5Gbps/10 Gbps密度
  • 丰富、可靠的业务应用
  • 统一的JUNOS软件,可以实现操作的简单性
  • 接口的可移植性很强,节约投资

        该系列平台全部使用具有界面统一、功能强大的JUNOS软件,同时结合硬件的各种密度、速度、性能和特性。这样,我们无需在各种功能和特性之间进行权衡取舍,就可以非常方便地满足骨干网络的苛刻要求。
同时,T系列路由平台还具有良好的扩展性,它们可以通过光交换矩阵TX互联,组成一个超过10Tbps容量的逻辑路由系统。这些交叉矩阵的性能及功能,都是业界独一无二的、在现实环境中经过验证的技术。

 

       

 

        T/M系列路由器,已经在世界各地的运营网络中,广泛提供高级 IP/MPLS 业务,并帮助服务供应商实现网络转型,增加收入。该路由器完全隔离了控制、转发和业务层面, 可在不影响性能的情况下,单一平台支持多种业务――最大程度增加收入并降低成本。这些业务包括各种 VPN、实时话音和视频应用、丰富的内容广播、IPv6业务、精确计费等等。由于体系结构的灵活性和性能优势, 其JUNOS 软件可以不断推出新特性,新的业务产品也将随之不断出现。

 

高可用性和路由快速收敛

        下一代IP网络的可用性是区分于传统IP骨干网的明显特征,。而路由的稳定性和高可用性要有一个明显的提高,需要方案设计、设备应用的多方面配合。这个也是CN2网络的一个亮点。
        在网络中引起通信中断和可用性降低的事件包括路由器故障、线路故障和维护操作等,我们在CN2中同时部署以下技术来解决这些问题:

    IGP /BGP 快速收敛
        该方案对路由器的接口卡、转发引擎的故障和线路故障作用明显,可以在sub-second 级别恢复通信;实施相对简单,且通用性、扩展性好。T/M-系列路由器采用了Indirect Next-hop (INH)的路由优化处理技术,所以,在中国电信广东研究院的测试中,不论是ISIS,还是BGP,其路由收敛时间都是非常理想的。
        Indirect Next-hop (INH)技术是JUNOS领先于其它竞争对手的优化的路由处理技术,也是在大型ISP网络快速收敛的重要保证。在CN2 这样的网络中,由于基本所有的业务路由BGP 承载,而且数量远大于IGP ,因此仅实现IGP/ISIS 的快速收敛是不够的。在某些情况下,虽然BGP 的下一条没有发生变化,但是由于IGP/ISIS的变化,BGP peer 的直接下一跳发生了变化;在另外一些情况下,虽然没有BGP route update 报文交换,由于BGP 的路径选择过程在多条路径中根据IGP cost 确定, BGP路由的下一跳随着IGP 的变化而变。T/M 路由器的 Indirect Next-hop(INH)可以使的仅修改BGP 路由的指针指向新的下一跳就可以了,从而大大加快了网络收敛的速度。
     MPLS FRR 快速重路由
该技术对故障进行重新路由的性能更加优异,可以在50ms内进行切换。在新的IP骨干网里,MPLS VPN是不可或缺的应用。因此,我们认为,MPLS FRR是骨干网必须实施的一项技术。在CN2里,核心层面将会启用这个技术,为数据传递提供一个可靠、通畅的平台。


          

        图三、MPLS FRR示意图(仅供示意参考,与实际拓扑有出入)

 

        在这个网络里,MPLS FRR在核心层面七大节点间采用的是Link Protection(链路保护)的功能。在任意两个核心间建立两条LSP,一条主用,另一条为备用;当主用LSP所在的链路中断后,MPLS FRR将在50ms内切换至备用LSP上,实现链路的保护,从而保证LSP承载的流量能够正常转发。
        为了实现这些目的,CN2将在这几大核心节点间启用RSVP TE(资源预留)的配置。同时考虑到MPLS VPN是这个网络的关键应用,而RSVP在几百个路由器间建立LSP,其工程浩大、配置复杂,所以在其它节点和PE上启用LDP(标签分发),来支持VPN业务的开通;LDP在核心层面采取LDP over RSVP的方式,这样,一方面确保VPN业务的灵活开展,另一方面还可以拥有RSVP TE带来的流量工程优势,这也是国际上部署MPLS网络一种理想的做法。
        无中断转发
        T/M-系列路由器的控制平面和转发平面完全分离,使得T/M-系列路由器能支持Graceful Restart功能,实现协议的无中断转发。当T/M-系列路由器重启或升级软件版本时,当控制平面的路由或信令协议重启时,由于转发平面并没有异常,同时网络结构也没有改变,因此在发送信息表(FIB)中的路由会保持一段时间,该路由器在一段时间内仍然能正常发送数据包。发生重启的路由器会通知相邻路由器,相邻的路由器仍然认为该路由器在设定的一段时间内仍然能正常发送数据包,同时相邻路由器不发送路由更新给其它路由器。
        对于CN2 这样大规模网络,需要BGP和ISIS 的Graceful Restart 协同工作,同时,为了不影响关键的MPLS VPN 业务,还需要和LDP 的Graceful Restart协同工作;在核心层面还需要和RSVP TE的Graceful Restart协同工作才能保证MPLS FRR 的功能不受RE(路由引擎)切换的影响,才能与MPLS FRR共同提高网络的可靠性。
        在中国电信北京研究院的MPLS测试中,只有T/M-系列路由器才能胜任上述环境下的零中断切换:在同时使用了BGP、ISIS、RSVP、LDP 的情况下,启用这些协议的Graceful Restart,测试结果表明,在路由引擎RE切换或其他故障期间,T/M-系列路由器零丢包,真正实现了无中断转发。

灵活实用的负载均衡和流量工程

        从全局看,CN2通过链路容量和业务的分布、路由平面的设计为负载均衡和流量工程打下了良好的基础,通过 IGP/BGP的调整可以达到很好的效果; 从局部的细节看,大部分通过等值路径的负载均衡来实现。

等值路径的负载均衡
        CN2的核心路由器支持IBGP/EBGP多路径负载分担,对于每一条路由,最多可支持16条equal cost path,并能在这16条path上进行负载分担。
        如果对某个目的路由,存在多条(可以多达16条)具有相等cost的路径时,核心的T640设备能够进行多路径负载分担。
        目前,基于流(per-flow)的负载分担是比较理想的方式。当存在多条相等cost的路径存在时,T/M-路由器检查IP包的下列参数,并根据下列参数把IP包分成不同的流。

  • Source IP address
  • Destination IP address
  • Protocol
  • Source port number
  • Destination port number
  • Source interface index
  • Type of service (ToS)
  • MPLS top level label
  • MPLS second level label

        例如,我们可以把从同一个源地址发往同一个目的地址的所有IP包分成一个flow。或者进行进一步更细致的分类,即把上述从同一个源地址发往同一个目的地址的所有IP包中端口号=23的分成一个flow,而把上述从同一个源地址发往同一个目的地址的所有IP包中端口号=80的分成另一个flow。
        然后把不同的flow按轮询的方式放置在不同的多路径中发送出去,每一个flow只通过一条路径发送,以保证分组的次序。
        T/M-系列路由器支持IPv4/IPv6的IBGP/EBGP多路径功能,还支持OSPF、BGP、MPLS、组播等的多路径功能。由于T/M-系列路由器能够把flow分的很细致,因此能根据CN2的要求,把业务量非常均匀地分布在相等cost的多路径上。

MPLS 核心等值路径的负载均衡
        当采用RSVP TE或MPLS FRR 时,需要注意MPLS tunnel 对负载均衡的影响。由于仅在核心层部署RSVP, RSVP tunnel 的数量不大,并且多是单跳或两跳LSP, 不适合于采用不同src-dest LSP 均分的方式,但非常适合于采用在同一src-dest pair 间建立多个等值LSP 的方式,分别穿越不同的Path。
        其次LDP协议同样支持等值负载均衡,当某台router 从多个peer 收到同一条路由的label mapping 请求时,应该能够同时使用IGP cost 等值的多个标签。
        最后,当路由器转发MPLS 数据并且存在多个路径时,HASH 的算法能够根据外层、内层标签和IP payload 进行计算,使得流量分布比较合理。

使用RR(路由反射器)中的IBGP 等值负载
        当使用RR 时,由于RR 会仅反射它认为的最优的路径,因此RR 的client 就只可以使用RR 认为最优的一条路径。
        CN2采用的解决方案是:

  • 同一POP 点的ASBR 发送EBGP 路由给IBGP peer(RR) 时,使用3rd party nexthop, 实际上是一个不存在的地址(虚拟地址);在ASBR 中设置静态路由,该虚拟地址的下一跳是分别是各自的EBGP的peer,并把这些静态路由导入到IGP。
  • RR 反射后的BGP route 的下一跳仍然为虚拟的地址,所有的RR client 根据IGP 选择IBGP nexthop就是同样的虚拟地址,并根据IGP 选择各自的实际的direct hop,在多路径的情况下实现负载均衡。

        这样操作还有个额外的好处是可以灵活地控制进入LDP LSP 的流量:保持缺省配置,只有ASBR 的loopback 地址被LDP分发, 只有ASBR 或其他VPN PE 的MPLS L2/L3 VPN 可以使用LSP ;如果在ASBR配置策略,ASBR 的loopback 地址和这些虚拟地址对应到同一个标签,则普通Internet 流量也可以使用LDP LSP。

        这些MPLS、IGP和BGP的策略结合在一起,将构成CN2网络的流量工程部署。

结束语

        目前,中国电信下一代IP骨干网(CN2)已经建成并投入现网测试,可以相信,在各种高可用性、快速收敛、QOS以及流量工程等技术的紧密配合下,结合我们T/M系列路由平台上的优异性能,一个高质量的精品网络将会很快呈现在我们面前。
        当然,IP网络的演变仍在继续,数据通信和话音通信的融合将无可避免,3G和NGN的出现也是指日可待了,这些变化都对网络提出了更苛刻的要求。我们仍然需要精雕细凿相关的技术应用和解决方案,使我们的产品和服务,不断与时俱进,在数据通信领域里继续发扬光大。