留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种大规模时间触发确定性网络

李吉良 张文 刘强 汪文勇

李吉良, 张文, 刘强, 汪文勇. 一种大规模时间触发确定性网络[J]. 电子科技大学学报, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
引用本文: 李吉良, 张文, 刘强, 汪文勇. 一种大规模时间触发确定性网络[J]. 电子科技大学学报, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
LI Ji-liang, ZHANG Wen, LIU Qiang, WANG Wen-yong. A Large-Scale Time-Triggered Deterministic Network[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
Citation: LI Ji-liang, ZHANG Wen, LIU Qiang, WANG Wen-yong. A Large-Scale Time-Triggered Deterministic Network[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003

一种大规模时间触发确定性网络

doi: 10.3969/j.issn.1001-0548.2019.06.003
基金项目: 

通信网信息传输与分发技术重点实验室开放课题 KX1626000261

详细信息
    作者简介:

    李吉良(1968-), 男, 研究员, 主要从事通信网络方面的研究

    通讯作者: 汪文勇, E-mail:wangwy@uestc.edu.cn
  • 中图分类号: TN393

A Large-Scale Time-Triggered Deterministic Network

图(9) / 表(3)
计量
  • 文章访问数:  4427
  • HTML全文浏览量:  1412
  • PDF下载量:  82
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-04-10
  • 修回日期:  2019-04-25
  • 刊出日期:  2019-11-30

一种大规模时间触发确定性网络

doi: 10.3969/j.issn.1001-0548.2019.06.003
    基金项目:

    通信网信息传输与分发技术重点实验室开放课题 KX1626000261

    作者简介:

    李吉良(1968-), 男, 研究员, 主要从事通信网络方面的研究

    通讯作者: 汪文勇, E-mail:wangwy@uestc.edu.cn
  • 中图分类号: TN393

摘要: 时间触发的确定性网络指能够满足高可靠性、低延迟、高实时性要求的网络。该文提出了一种改进的适用于大规模、高并发要求的确定性网络。在时间触发以太网(TTE)的基础上做了两点改进,首先增加了一种含有消息安全等级控制的分区策略,提出了安全中间件思想;其次鉴于时间触发消息离线调度的特点,提出了一种基于时间调度矩阵的传输策略。测试结果表明,本文提出的TTE网络改进方案能够满足高并发的网络需求,改变确定性网络规模小的局面。

English Abstract

李吉良, 张文, 刘强, 汪文勇. 一种大规模时间触发确定性网络[J]. 电子科技大学学报, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
引用本文: 李吉良, 张文, 刘强, 汪文勇. 一种大规模时间触发确定性网络[J]. 电子科技大学学报, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
LI Ji-liang, ZHANG Wen, LIU Qiang, WANG Wen-yong. A Large-Scale Time-Triggered Deterministic Network[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
Citation: LI Ji-liang, ZHANG Wen, LIU Qiang, WANG Wen-yong. A Large-Scale Time-Triggered Deterministic Network[J]. Journal of University of Electronic Science and Technology of China, 2019, 48(6): 815-822. doi: 10.3969/j.issn.1001-0548.2019.06.003
  • 航空电子系统、强实时性工业控制系统属于安全关键系统的应用,不仅对高可靠性、高精度等指标要求严格,还对高实时性、低延时、低抖动等性能提出了更高的要求。随着网络的发展和数据的多样性,数据量的不断增大使得应用对网络的带宽要求也越来越高。

    传统的网络采用事件触发的方式[1],端系统采用竞争访问的方式,使得网络的实时性和确定性较差。文献[2]提出了时间触发以太网(time-triggered ethernet, TTE),这是一种基于时间触发通信机制的新型网络技术。TTE网络在底层采用以太网协议,将时间触发传输的实时性、确定性、容错能力等特点与传统以太网“尽投递”的灵活性、动态性等特点相结合,可支持各种不同类型的应用业务。SAE AS6802标准[3]是美国机动车工程师学会于2011年制定的关于TTE的可容错时钟同步协议。目前TTE主要应用于工业控制领域[4]、航空电子领域[5]、运载火箭控制系统[6]中。美国已经成功将TTE应用于猎户座多用途载人飞船[7],作为航天器的主干网络。因为以太网的开放性和互联的优势,TTE也被考虑运用在下一代车载网络中[8]。而目前国内对TTE的研究尚处于起步阶段,主要集中在TTE的同步机制、通信机制和调度策略。

    文献[9]研究了时间上的分区技术,目的在于提高IMA体系网络的带宽利用率。文献[10]提出基于分区操作系统的权限控制的数据通信方式,但其共享内存空间并不位于内核空间中,可靠性无法保证,而且只能实现单向通信。文献[11]提出的AVLSP调度策略能够降低消息的延迟上界,但没有考虑消息在队列中的等待时间。文献[12]在OPNET上构建了TTE网络节点模型,完成了控制协议的设计,实现了TTE网络的仿真。文献[13-14]在OPNET网络仿真的基础上,采用网络演算理论,分析了TTE网络的性能。文献[15]采用了12个终端节点的测试用例。文献[16]在测试优化效果的拓扑结构中使用了45个节点。文献[17]中的网络拓扑结构最大节点数量为70个。文献[18]使用了多个拓扑结构,拓扑结构中的终端节点数量都在10个左右。与文献[15-18]相比,本文在TTE上使用了200个终端节点,在确定性网络中属于较大的网络规模。

    为了满足大规模网络的巨量流量,本文主要在TTE的基础上增加了流量隔离功能,提出了带有安全控制特性的分区策略,通过安全中间件,配置分区间的通信规则,控制端系统消息的接收。基于TTE时间触发的特点,提出了基于时间调度矩阵的传输调度策略,能够减少消息的冲突,有效地利用网络的带宽。

    通过实验结果表明,本文提出的策略,消息时延、抖动、时钟同步精度等指标能够达到TTE网络的性能要求,同时适应大规模网络并发程度高、业务量大的特点。

    • TTE网络中存在3种角色类型的节点,如图 1所示,分别是同步控制器SM、同步客户SC和集中控制器CM。TTE采用全局时钟协调同步的方式。由于同步过程中全局的所有节点参与同步,所以节点的修正偏差值抖动小,能够到达很高的时钟精度要求。

      图  1  TTE同步示意图

      全局时钟同步算法如图 2所示。算法包含3个子算法:消息时序保持算法(message permanence algorithm)、集中算法(compression algorithm)和时钟修正算法(clock correction algorithm)。消息时序保持算法在SM、CM、SC上运行,而集中算法只在CM上运行。

      图  2  同步算法步骤图

      图 3为时间同步在各类型节点上的流程详图,基本算法步骤简述如下:

      图  3  时钟同步各构件步骤图

      1) 当SM的local_clock=0,在该时刻sm_ dispatch_pit,SM就准备发送PCF帧。

      2) 在时刻sm_send_pit,SM成功发送PCF帧到信道上。

      3) 在时刻cm_receive_pit,CM接收到该PCF帧,并启动消息时序保持算法。该算法的作用,就是在已知receive_pit的情况下计算cm_permanence_pit,使得网络自身原因而失序的各个PCF帧,恢复其原始的发送时间顺序,即保证PCF帧的接收顺序与其发送顺序相同。

      4) 在CM上的时刻cm_permanence_pit,启动集中算法。集中算法的作用,是根据CM接收到的属于同一个整合周期(integration cycle)的所有PCF帧中的cm_permanence_pit值,计算出cm_compressed_pit和membership_new的和值。

      5) 根据第4)步算出的cm_compressed_pit值,经过一个延迟时间clock_corr_delay,CM时钟值到达cm_compressed_pit+clock_corr_delay时,CM进行时钟修。

      6) 经过延迟dispatch_delay时间后,在时刻cm_dispatch_pit, CM准备产生一个新的PCF (membership_new为整合后的和值)泛洪到SM和SC。

      7) 在cm_send_pit时CM成功将新PCF帧发送出去。

      8) 在时刻smc_receive_pit,SM/C接收到该PCF帧,并启动消息时序保持算法。完成时序保持算法后,恢复了PCF帧原始的发送顺序。

      9) 本地时钟到达smc_permanence_pit时,再经过延迟clock_corr_delay后,在时刻smc_clock_corr_ pit完成时钟纠正。

    • 在航空电子系统这样的大规模网络中,如果缺乏流量隔离的功能,同一时刻可能发生多个数据竞争信道的情况,冲突检测和回避会造成很大的开销,导致信道的利用率低下。更有甚者,如果出现广播流量,那么这些流量将会跨越整个网络,影响网络的整体性能,同时这些广播流量也存在着数据安全和隐私问题。

      虽然SAE AS6802协议规定了用于时间触发通信和分区管理的故障冗余同步的方法,但是协议本身更加注重系统的同步性和完整性,其中涉及的分区管理更多是基于时间上的分区,将关键信息(TT消息)和非关键消息(RC消息或BE消息)在时间上隔离,通过保证关键信息的确定性来应用于混合关键系统。为了在大规模确定性网络中满足网络的高并发特点,本文基于TTE的时间隔离分区提出了从业务角度出发的分区策略,同时保证网络中消息的安全控制,通过安全中间件机制,保障了关键系统应用的安全可靠。

      TTE原有体系中只涉及时钟同步管理、余度容错控制、数据传输控制和网络配置与管理,增加应用分区管理后的软件体系如图 4所示。

      图  4  增加应用分区管理后的软件体系结构

      该策略首先将网络划分成若干个逻辑分区和一个独立分区,如图 5所示,每个逻辑分区内有一个安全中间件,独立分区内的称为全局安全中间件。整个网络中存在多种不同安全级别的安全标签,根据每个分区内端系统的安全等级,唯一的安全标签由全局中间件分配到各个逻辑分区,再由分区的安全中间件分配到每个终端。在划分分区时,需要先对网络中的流量进行业务分析,将产生相近业务的端系统划分在一个逻辑分区内,保证产生的消息大部分在逻辑分区内部传输,减少消息的链路冲突,提高网络的并发程度,以适应大规模网络巨量消息的需求。分区内的终端将消息发送给安全中间件并进行安全标签的检查,符合区域内部通信规则的进行转发,否则丢弃该消息。跨越逻辑分区传输的消息还需要依靠独立分区的安全中间件中继传输并进行跨区通信规则检查,以避免高安全级别的分区将信息泄露给低安全级别的分区。

      图  5  分区管理内部结构图

      含有安全标签的网络通信规则如下:1)端系统发送消息;2)消息传输到逻辑分区内的安全中间件,检查消息是否跨越分区,如果消息跨区则转入步骤3),否则转入步骤4);3)全局安全中间件接收并检查该条消息是否符合跨区通信规则,如果符合通信规则,则转发给对应逻辑分区内的安全中间件并进入步骤4),否则丢弃该条消息;4)逻辑分区内的安全中间件检查消息是否符合内部安全通信规则,如果符合则发送给对应的终端,否则丢弃;5)接收终端收到消息。

      安全标签通信流程伪代码释义如表 1所示。上述规则能够将网络中的流量控制在对应的分区内传递,在同一时刻,每个分区内部能够独立地发送各自的消息,避免不同分区间数据流的冲突,最优化地使用网络的带宽。安全标签机制也保证了数据的安全性和隐私性,满足关键性系统应用的需求。

      表 1  含有安全标签通信流程伪代码

      伪代码 解释
      Init Labe1 () 初始化生成标签
      for n ←1 to number_of_partition
         send Labe1 (n)
      end for
      向各个逻辑分区分发标签
      A ← receive Message () 当全局安全中间件接收到安全中间件转发的消息,A为自定义四元组结构体,A中保存着源端系统编号、源端系统安全等级、目的端系统编号、目的端系统安全等级
      if i ←is_conform_to_rules (A)
         Then dispatch Message to Middle ware (i)
         Else discard Message
      end for
      判断这条通信路径是否满足通信安全控制规则,如果符合定义的规则,则可以将该消息转发给目的端系统所在分区的安全中间件,否则丢弃该条消息
    • 在TTE的基础上增加传输调度策略,能够保证网络承载巨量的消息,同时也可以扩大原有确定性网络的规模。即使应用于航空电子系统、运载火箭控制系统这类大规模的确定性网络中,也能满足高并发性、高实时性的要求。

      TTE的时钟服务维系了一个全局同步时钟,保证每个设备的时钟同步,TT消息采用时间触发的方式,只有在特定的时间点消息才被调度,避免出现争用链路的情况。

      基于TTE的这一特点,通过分析消息的传输链路,在同一时刻能够派遣大量的无链路碰撞的消息,充分利用网络的带宽资源。传输调度策略采取以下方法:首先,对网络中的流量任务进行优先级处理。优先级采用动静结合的方式,根据用户的需求,可以静态配置每个任务的优先级,也可以采用动态方式生成优先级。若采用动态方式,优先级生成算法动态确定任务的优先级,从而构造出任务集的优先级排序表,排序表中的任务优先级依次递减,例如通过输入任务的截止期、关键性(任务重要程度),用户设置系统需要的权重值,优先级生成算法会根据权重值的不同输出倾向截止期的任务优先级或者倾向关键性的任务优先级,如果两个任务具有相同的截止期和关键性,则先到达的任务具有更高的优先级。在优先级确定的基础上构造时间调度矩阵,时间调度矩阵由若干个时钟周期组成,每个时钟周期包含两个子周期,第一个称为同步周期,同步周期内发送实现同步功能的帧;第二个称为基本周期,基本周期又划分为两个区间,第一个区间用于发送关键信息流量(优先级1~5),第二个区间用于发送应用通信流量(优先级6~10)和非关键信息流量(优先级11~15),其中关键信息流量指系统的配置信息,或者是关键部件的通信信息,这类流量在系统中往往具有重要的作用。而应用通信流量和非关键信息流量是优先级低于关键信息流量的通信流量。

      将上述问题抽象为一个n行10列的矩阵模型,如式(1)所示,称之为时间-调度矩阵。其中${{\boldsymbol{\mathcal{M}}}_s} = {[{m_{{s_1}}},{m_{{s_2}}}, \cdots ,{m_{{s_n}}}]^{^{\rm{T}}}}$,${m_{{s_i}}}$表示第i个任务的源节点MAC地址。${{\boldsymbol{\mathcal{M}}}_d} = {[{m_{{d_1}}},{m_{{d_2}}}, \cdots ,{m_{{d_3}}}]^{\rm{T}}}$,${m_{{d_i}}}$表示第i个任务的目的节点MAC地址。${{\boldsymbol{\mathcal{T}}}_s} = {[{t_{{s_1}}},{t_{{s_2}}}, \cdots ,{t_{{s_n}}}]^{\rm{T}}}$,${t_{{s_i}}}$表示第i个任务的发送时间。${{\boldsymbol{\mathcal{T}}}_a} = {[{t_{{a_1}}},{t_{{a_2}}}, \cdots ,{t_{{a_n}}}]^{^{\rm{T}}}}$,由于网络中存在优化调度策略,为了充分使用带宽并减少冲突,一些任务将被提前执行或者推迟执行,而${t_{{a_i}}}$表示第i个任务的实际发送时间。${{\boldsymbol{\mathcal{P}}}_t} = {[{p_{{t_1}}},{p_{{t_2}}}, \cdots ,{p_{{t_n}}}]^{\rm{T}}}$, ${p_{{t_i}}}$表示第i个任务的优先级。${{\boldsymbol{\mathcal{F}}}_t} = {[{f_{{t_1}}},{f_{{t_2}}}, \cdots ,{f_{{t_n}}}]^{\rm{T}}}$, ${f_{{t_i}}}$表示第i个任务的类型,${f_{{t_i}}} \in \left\{ {0,1,2} \right\}$,其中0代表关键信息流量,1表示应用通信流量,2表示非关键信息流量。${{\boldsymbol{\mathcal{S}}}_{{t_t}}} = {[{s_{{t_1}}},{s_{{t_2}}}, \cdots ,{s_{{t_n}}}]^{\rm{T}}}$,${s_{{t_i}}}$表明任务的发送区间,${s_{{t_i}}} \in \left\{ {1,2} \right\}$,1表示在基本周期的第一个区间内发送,2表示在第二个区间内发送。${{\boldsymbol{\mathcal{E}}}_t} = {[{e_{{t_1}}},{e_{{t_2}}}, \cdots ,{e_{{t_n}}}]^{^{\rm{T}}}}$,${e_{{t_i}}}$表示第i个任务的截止期。${{\boldsymbol{\mathcal{K}}}_t} = {[{k_{{t_1}}},{k_{{t_2}}}, \cdots ,{k_{{t_n}}}]^{\rm{T}}}$,${k_{{t_i}}}$表示第i个任务的关键性。${{\boldsymbol{\mathcal{W}}}_t} = {[{w_{{t_1}}},{w_{{t_2}}}, \cdots ,{w_{{t_n}}}]^{^{\rm{T}}}}$,${w_{{t_i}}}$表明第i个任务的权重值。从行向量看,每一行表示了一个任务的完整属性。从列向量看,列向量的最大数量值表示网络中能够并发的最大消息数量:

      (1)

      基于时间调度矩阵的调度策略直观展示如图 6所示,在时间触发架构(TTA)体系中,所有节点需要周期性同步以减少时钟漂移,所以时间矩阵中的时钟周期也具有周期性的特点。每个基本周期内又划分许多个横向的小区间和纵向小区间。同一时刻,纵向区间内可以发送大量无冲突碰撞的消息,从横向区间看,每一个横向小区间表示一段时间间隔,随着时间的推移,端系统将在既定的时间点上派遣消息。

      图  6  TTE调度优化表和基本周期

      优先级动态生成算法、调度优化算法以及路由转发都可以在此矩阵上操作。例如,如果采用优先级动态生成算法,${{\boldsymbol{\mathcal{P}}}_t} = {f_p}({{\boldsymbol{\mathcal{F}}}_t},{{\boldsymbol{\mathcal{E}}}_t},{{\boldsymbol{\mathcal{K}}}_t},{{\boldsymbol{\mathcal{W}}}_t})$,其中${f_p}$为优先级动态生成函数。在调度优化算法中,$\left[ {{{\boldsymbol{\mathcal{T}}}_a},{{\boldsymbol{\mathcal{S}}}_t}} \right] = {f_o}({{\boldsymbol{\mathcal{M}}}_s},{{\boldsymbol{\mathcal{M}}}_d},{{\boldsymbol{\mathcal{T}}}_s},{{\boldsymbol{\mathcal{P}}}_t},{{\boldsymbol{\mathcal{F}}}_t})$,${f_o}$调度优化算法会根据${{\boldsymbol{\mathcal{M}}}_s},{{\boldsymbol{\mathcal{M}}}_d},{{\boldsymbol{\mathcal{T}}}_s},{{\boldsymbol{\mathcal{P}}}_t},{{\boldsymbol{\mathcal{F}}}_t}$给出任务的优化结果,确定任务的${{\boldsymbol{\mathcal{T}}}_a}$和${{\boldsymbol{\mathcal{S}}}_t}$,如果分配的第一个区间内没有要发送的关键信息流量,则将使用权交给应用通信流量或者非关键信息流量。通过对具体业务流量进行分析,结合优先级排序表,动态形成一个优化的调度策略,保证关键信息流量、应用通信流量、非关键信息流量填充满基本周期的每个区间,而且冲突最小,在这种调度优化算法下,同一时刻能够发送大量的消息,合理利用网络的带宽,达到高并发的效果。而在${f_r}({{\boldsymbol{\mathcal{M}}}_s},{{\boldsymbol{\mathcal{M}}}_d})$路由算法中,主要根据${{\boldsymbol{\mathcal{M}}}_s}$,${{\boldsymbol{\mathcal{M}}}_d}$确定消息的转发路径。本文将重点说明调度优化算法。调度优化算法如表 2所示。

      表 2  调度优化算法伪代码

      伪代码 解释
      由于TT消息的强实时性要求,所以对RC、BE消息优化标志位置0
      开始遍历每个区间,在每个区间内查找未使用的小区间
      如果当前链路无冲突继续查找下一个小区间

      如果当前纵向区间内存在冲突标志位置1结束此次查找,查找横向小区间
      若当前纵向小区域内无冲突,而且能够满足消息的截止期要求,将在该区间内派遣该消息
      结束此次查找
    • 为了测试本文提出的网络效果,在网络仿真软件opnet14.5做了仿真实例,构建了相应的节点模型和进程模型。网络拓扑采用星型结构,如图 7所示,网络中有200个终端节点和5个交换机。拓扑结构中间的交换机作为CM,连接4个SC交换机。每个SC交换机下连接50个终端节点,其中50个终端节点包含8个SM和42个SC。

      图  7  仿真拓扑结构

      仿真环境的参数如下:网络采用1 000 Mbit/s的链路模型,同步周期设置为50 ms。TT消息采用离线调度表驱动的方式发送,每个周期内总共发送200条TT消息。RC、BE消息的发送服从均匀分布。在节点模型上配置数据包的大小为1 024个字节。

      图 7的分区策略如下,独立分区仅包含拓扑结构中心的CM交换机,负责管理全局网络的安全标签。左上角的SC交换机连接的50个终端划分为第一逻辑分区,右上角SC交换机连接的50个终端划分为第二逻辑分区,左下角SC交换机连接的50个终端划分为第三逻辑分区,右下角SC交换机连接的50个终端划分为第四逻辑分区。每个分区内的SC交换机负责管理各逻辑分区内的安全标签。

      TT消息接收偏差指时间触发消息的接收时刻与该消息的预计到达时间的差值。图 8给出了TT消息的接收偏差,在200个端系统规模下,仿真0.5 s内总共派遣1 600条TT消息,TT消息接收偏差的绝对值最大在110 ns以内,有1 464条消息的接收偏差控制在50 ns以内,约占总消息的91%。

      图  8  TT消息接收偏差

      时钟同步精度指完成同步后,所有端系统的本地时钟误差最大值。从图 9能够看出,即使在200个端系统规模下,也能够将时钟同步精度保持在20 ns以内,时钟误差保持在纳秒级别,可以达到确定性网络的要求。

      图  9  时钟精度

      表 3给出了在本网络设计中,TT消息、RC消息和BE消息的延迟和抖动结果。从表中可以看出,TT消息的抖动为0,调度优化策略不会改变原有TT消息的优先级,能够保证TT消息在网络中的确定性,而TT消息的延迟也最小。可看出TT消息明显优于RC消息和BE消息,而RC消息的效果要好于BE消息。从延迟和抖动来看,TT消息能够达到确定性网络的要求,可以应用于大规模高并发的关键系统。

      表 3  3类消息的结果分析

      数据类型 平均值/us 最小值/us 最大值/us
      TT延迟 28. 7 17.0 377.7
      TT抖动 0.0 0.0 0.0
      RC延迟 707.5 17.2 14 437.5
      RC抖动 400.0 8.4 14 017.0
      BE延迟 715. 8 17.7 14 487.9
      BE抖动 799.0 14.0 14 034.0
    • 时间触发以太网是目前最具潜力的新型网络技术,TTE网络采用全局时钟同步技术,减少了时钟的漂移,能够满足高实时性应用的需求。本文主要在TTE的基础上提出了分区管理,对网络中的流量按照业务的类型做隔离处理,在此基础上同时增加了消息的安全控制,通过安全标签机制保证通信的安全性,做到低安全性的消息无法流向高安全等级的分区。除此之外,鉴于时间触发的特点,提出了基于TTE的传输调度策略,在减少消息碰撞的基础上优化通信链路的使用率,同一时刻派遣多条无冲突消息,达到高并发效果,满足大规模网络的通信需求。经实验验证,本文提出的传输调度策略和系统分区策略能够扩大原有的TTE网络规模,同时同步精度、时间触发消息的接收偏差等重要指标也能满足确定性网络的要求。

参考文献 (18)

目录

    /

    返回文章
    返回