ISSN 
-
机器人轴孔装配是一种经典的机器人装配操作任务[1-4]。机器人在进行轴孔装配操作的过程中，即装载在机器人末端的轴在孔中进行接触运动时，轴孔之间呈现出不同的相对位姿和相互接触力状态，即接触状态。它体现了轴孔之间的几何相对关系及接触中的力信息。
在装配过程中，轴孔之间一般存在多种接触状态类型。而在不同的接触状态类型下，其接触动力学模型是不同的，即接触状态不同，要控制的系统的状态方程也不同。因此，接触状态是一个典型的混合系统，而该交互过程所对应的控制系统是一个典型的切换系统。在装配过程中，通过对接触状态类型的实时监控与辨识，可以选择更有针对性的控制律，也可以增强针对装配事件的安全监控。因此，如何有效地利用接触过程中的信息对接触状态进行分类和辨识，是装配成功与否的关键。
文献[5]通过模糊集来建立力信息的不确定性，提出了基于神经网络来生成每一个接触形式的置信级别，实现对力传感器信号的分类，计算效率较高。文献[6]提出了使用隐马尔可夫模型进行接触状态的辨识。其中首先将力作为观测信号，通过训练隐马尔克夫模型使观测信号的出现概率最大，再使用该模型进行在线的接触状态辨识。该方法需要针对不同的基本接触，建立不同的隐马尔可夫模型。文献[7-8]使用基于定性的小波特征和支持向量机的方法，对接触状态进行了辨识。从力的准静态模型出发，使用离散的小波变换提取离线特征，然后使用支持向量机(support vector machines, SVM)方法进行在线分类。文献[9]进一步通过SVM分类构建了模糊推断机制，从而实现对接触状态的层次化分类。
另外，大量研究基于高斯混合模型(Gaussian mixture models, GMMs)，通过分布的角度认识信号数据。文献[10]使用基于期望最大化的高斯混合模型(GMMs)的方法监控装配任务的接触状态。采集的监督信号按照接触类别被分成多段，然后针对于每一接触状态建立不同的高斯混合模型。文献[11]提出一种基于分布相似性测量的高斯混合模型方法建模柔性零件在装配工程中的接触状态。该研究通过分布相似性测量优化高斯混合模型的组件个数来提高适应性。
文献[12]使用了支持向量回归(support vector Regression, SVR)算法对不同的装配运动行为下的接触状态进行了分类，并使用粒子蚁群算法(particle swarm optimization, PSO)优化了SVR中的一些参数，使得分类效果得到提升。
传统的接触状态辨识方法都是通过监督数据的方式对装配过程中所产生的接触信号特征和接触状态类别之间建立映射关系，从而对接触状态进行分类。这种方法的局限性是依赖监督数据的获取，且通常依赖于准静态接触模型，对于复杂形状的装配任务，模型分析的复杂度也会增加。此外，传统的几何接触状态方式，在轴孔间隙很小的情况下判定的接触状态比较单一，无法充分发现装配过程中的接触状态在复杂度上的不同。为了发现更多的隐藏接触类型，本文将对装配过程中的力或轴孔相对位姿信号构成的多变量时间序列，按时间步长等分成多段时间序列片段后，依据一定的度量，利用无监督的方式，给出这些时间片段对应的类别标签。
-
由于接触力的数据是易变的，且具有波动性，单纯地使用单个时刻的状态来进行判断是不鲁棒的。另一方面，该过程中的状态不仅和当前的状态有关，还和之前的多个时刻的状态有相关性，因此通过时间序列的方式能更准确地揭示这一时间段内所呈现的规律性。
本文通过多变量构成的时间序列数据进行分析，利用基于LSTM网络的深度时间聚类(deep temporal clustering, DTC)方法[13]对接触状态进行端到端的聚类，以给出接触状态数据构成的时间序列片段隐含的类型。
-
DTC网络是一种端到端的时间序列聚类模型，使用时间序列数据潜在的高级特征来对时间序列进行聚类。假设定义的装配过程中的接触状态特征为
$s \in {R^N}$ ，$N$ 是选择的接触状态特征的维数。考虑$n$ 个由接触状态构成的时间序列${x_1},{x_2}, \cdots ,{x_n}$ ，其中每个接触状态特征时间序列${x_i}$ 都由相同的固定时间步数的接触状态构成，即${x_i} = (s_1^i,s_2^i, \cdots ,s_T^i)$ ，$T$ 是每个时间序列的时间步数。使用DTC网络的目标是将这$n$ 个时间序列数据分配到不同的类别里，假设预定的类别数$k \leqslant n$ 。DTC网络框架如图1所示。
图 1 DTC网络架构
在该网络模型中，输入信号首先通过一个时间的自动编码器被编码到一个潜在的空间。这个时间的自动编码器，由卷积自动编码和一个Bi-LSTM的网络层构建形成，由于Bi-LSTM的使用，使得其能够更好地利用数据的时间连续性进行编码。Bi-LSTM输出的潜在表示将被输入给一个时间聚类层，该聚类层通过本文定义的相似性度量产生聚类的分配指标。通过将输入的序列分离到不同的聚类中心所展开的子空间内，从而实现对序列的聚类。
-
时间聚类层利用TAE层输出的潜在信号进行进一步的聚类，假设这一聚类层包含有
$k$ 个聚类中心，在潜在信号空间里利用这些聚类中心来进行层次聚类。本文在聚类层中对潜在空间使用的相似性度量是复杂度不变距离(complexity-invariant distance, CID)[14]。该复杂性不变相似性度量的引入使得很多方法在数据集的分类问题上获得了提升，是对时间序列的欧式空间的距离施加了一个复杂性估计的校正。其计算公式为：$$(x,y) = {\rm{ED}}(x,y){\rm{CF}}(x,y)$$ 式中，
${\rm{CF}}(x,y) = \dfrac{{\max ({\rm{CE}}(x),{\rm{CE}}(y))}}{{\min ({\rm{CE}}(x),{\rm{CE}}(y))}}$ ，${\rm{CE}}(x)$ 和${\rm{CE}}(y)$ 表示时间序列$x$ 和$y$ 的复杂性估计。$${\rm{CE}}(x) = \sqrt {\sum\limits_{i = 1}^{N - 1} {{{({x_{t + 1}} - {x_t})}^2}} } $$ 式中，N表示时间序列
$x$ 和$y$ 的时间步数。CID表示的意义是，当
$x$ 和$y$ 的复杂性差别较大的时候，该距离也更大。在聚类层，根据潜在空间的状态
${z_i}$ 与聚类中心${\omega _j}$ 的相似性度量${d_{ij}}$ 进行分类，第i个输入分配到第j个类的概率值通过下式计算：$${q_{ij}} = \dfrac{{{{\left(1 + \dfrac{{d({z_i},{\omega _j})}}{\alpha }\right)}^{ - \frac{{\alpha + 1}}{2}}}}}{{\displaystyle\sum\limits_{j = 1}^k {{{\left(1 + \dfrac{{d({z_i},{\omega _j})}}{\alpha }\right)}^{ - \frac{{\alpha + 1}}{2}}}} }}$$ 式中，
$\alpha $ 是分布核[15]的自由度数。通过比较属于不同类的概率值，取其中最大值的索引作为当前输入信号${x_i}$ 的分配类别。 -
对于编码和解码的网络层部分的损失函数使用均方差(MSE)。聚类层通过使用KL散度来进行优化网络权重参数。在该网络构架之中，聚类层参数的优化将会导致编码−解码网络中权重参数的变化。该机制使得DTC方法不同于传统的降维方法，因为传统的降维方法只优化状态重建的过程，而聚类仅优化分离类别的过程。这种设计的好处主要是为了使潜在空间的特征更容易被分离。
时间聚类层的优化目标是使用关于
${q_{ij}}$ 和其目标分布值${p_{ij}}$ 的KL散度损失函数。${p_{ij}}$ 的定义为：$${p_{ij}} = \frac{{q_{ij}^2 \Bigg/\left(\displaystyle\sum\limits_{i = 1}^n {{q_{ij}}} \right)}}{{\displaystyle\sum\limits_{j = 1}^k {q_{ij}^2} \Bigg/\left(\displaystyle\sum\limits_{i = 1}^n {{q_{ij}}} \right)}}$$ 相应的KL散度为：
$${\rm{KL}} = \sum\limits_{i = 1}^n {\sum\limits_{j = 1}^k {{p_{ij}}} } \log \frac{{{p_{ij}}}}{{{q_{ij}}}}$$ 由于聚类对初始化中心较敏感，DTC中首先预训练TAE层先获得有意义的潜在空间表示，然后通过层次聚类来获得可信的初始聚类中心。
-
在装配实验中，本文在KUKA机器人的重力补偿模式下，通过示教再现的方式进行插孔装配，收集了5条长时间轨迹的末端力传感器和位姿数据，每条轨迹包含的实际时间步数分别为1 079、1 265、1 562、1 129和959，按照不同的时间步长设置通过滑动窗口的方法划分出了多个时间序列片段构成的数据。在下面的说明中，只考虑时间步数为10、20和50时间序列片段的情况。
在网络参数优化的过程中，本文在卷积层使用50个滤波器，核大小为10。Bi-LSTM的滤波器为50和1。反卷积层使用的核大小为10。初始化权重参数为标准正态分布，方差为0.01。自动编码网络使用Adam优化器进行优化，重复进行10个epochs，对于端到端网络则重复优化100 epochs以保证最终的损失函数值小于设定的阈值。时间聚类层的中心则使用K-means算法进行初始化。对于预训练自动编码网络和端到端网络的最小的batch设置为32，网络训练的初始学习率设置为0.1。
在不同的时间步数下，本文使用了不同的池化层大小使潜在的表示层更紧凑，网络训练更快。对于时间步数为10、20和50的任务，设置的池化大小分别为2、4和5。
下面对接触状态变量以不同的信号组成的情形，给出相应的聚类分析结果。
-
力反馈信息是装配接触状态中重要的特征，通常使用力信息进行接触状态的辨识。本文首先采用直接的末端力和力矩反馈信息来作为输入特征，进行时间序列的聚类分析。
输入特征为力
$f = ({f_x},{f_y},{f_z},{t_x},{t_y},{t_z})$ ，共有6个维度，其中$({f_x},{f_y},{f_z})$ 表示不同方向上的接触力，$({t_x},{t_y},{t_z})$ 表示不同方向上的接触力矩。图2表示了时间步数分别为10、20、50，设定聚类数目为5，以力和力矩为输入特征在时间序列聚类时，测试轨迹的
$x$ 方向力${f_x}$ 上的聚类结果。其中，曲线中不同颜色部分代表其属于不同的接触状态类型。可以发现，相对时间步数为10的情况，时间步数为50时在测试轨迹上进行聚类所能体现出的类型略有减少，类型在测试轨迹上分布得不够细致，即在长时间内呈现出单一的类别。这说明若要呈现过程中细致的接触状态的复杂性变化，那么应选择相对较小的时间步数进行时间序列片段的聚类分析；如果要反映接触状态的长程关联性，则应选择较长的时间步数。
图 2 以力和力矩为输入特征，时间步数为10、20、50的时间序列聚类力fx的结果
-
实际的插孔的接触状态不仅与接触力有关，还和轴孔之间的相对位姿有关，特别是轴孔之间的摩擦特性与插孔深度相关的情况，相对位姿的不同将显著影响插孔接触情形的复杂程度。这里使用力信息和相对位姿作为输入特征，对由这些特征构成的时间序列进行聚类分析。
输入特征为
$f = ({f_x},{f_y},{f_z},{t_x},{t_y},{t_z},P,Q)$ ，其中，$P =$ $ ({p_x},{p_y},{p_z})$ 表示轴孔之间的相对位置，$Q = ({q_w},{q_x},{q_y},{q_z})$ 表示轴孔之间的相对姿态的四元数表示。在时间序列片段的时间步数都设为50时，通过对测试轨迹聚类后的
${f_x}$ 的聚类结果(图2c和图3)，可以发现，使用力和相对位姿信息为输入特征的情况，相比仅使用力信息作为输入特征的情况，得到的接触状态类别在测试轨迹上的分布更细致。即在力位混合信息作为输入特征的情况下，虽然时间步数变长了，但仍然有更细致的类别被辨识出来，并不会在较长时间段内呈现出单一的类别。这也在一定程度上印证了实际的接触情形和力与相对位姿都紧密关联的事实。
图 3 以力和力矩及相对位姿为输入特征，时间步数为50的fx聚类结果
通过力和相对位姿为输入特征的聚类结果，也说明DTC可以有效地利用力和位置的混合信息来进行接触状态的聚类分析。
-
在传统的接触状态辨识中，常常使用准静态特征
${f_1} ={{{f_x}}}/{{{f_z}}}$ 和${f_2} = {{{m_y}}}/{{{f_z}}}$ 为输入特征，其中${m_y}$ 为y方向的力矩。由于在准静态力特征下，其数值可能存在较大的突变，本文使用最大最小值归一化的方法对该输入特征先进行归一化处理。这将使得网络训练的收敛速度更快，同时保证最终权重参数能更准确地反映实际状态在数量上的关系。
使用准静态模型的力特征的聚类分析结果如图4所示，可以发现准静态模型中的特征在多维时间序列上的表现是较为单一的。这说明其很难反映简单的几何接触状态类型之外的接触类型。本文还分析了传统的使用准静态模型特征和相对位姿构成的输入特征的聚类情况，同样发现在时间序列的聚类结果中反映的接触状态类别也比较单一。
图 4 准静态特征输入下的第一个特征维度的聚类结果
-
在装配过程中，可以使用得到的辨识模型进行接触状态构成的事件的监测。本文定义状态的切换作为一个装配事件，那么装配过程就是由一系列这样的装配事件构成。本文通过对这些接触事件的探测来监控装配的过程[16]。假设接触状态的类别有
${s_1},{s_2}, \cdots ,{s_N}$ ，$N$ 为总的状态类别数，那么从${s_i}$ 转换到${s_j}$ 状态就构成装配事件${e_{ij}}$ ，其中，$i,j = 1,$ $2, \cdots ,5$ 。以使用六维力和相对位姿信息为输入特征，时间步数为50，预定聚类数目为5的力
${f_x}$ 上的聚类结果曲线为例，给出其装配事件的描述。在图3的曲线上，每种颜色按出现先后顺序依次标记为类别${s_1},{s_2},{s_3},{s_4},{s_5}$ 。其中，发生的接触状态转变事件序列为${e_{12}},{e_{21}},{e_{13}},{e_{31}},{e_{14}},{e_{43}},{e_{31}},{e_{12}}$ 。在测试样本轨迹上，不同的输入特征和不同的时间步数设置下所得到的聚类模型所检测到的装配事件个数的结果如表1所示。可以看出，原始的力和相对位姿的混合信息在监测到的接触事件数最多，其能表示的接触类型也更细致，这为监测过程的特征选择提供了参考依据。
表 1 不同的输入特征对应的在测试样本上检测到的装配事件数
特征类型 时间步数10 时间步数20 时间步数50 总计 原始力信息 23 3 4 30 原始力信息+相对位姿 20 11 8 39 准静态力信息 4 4 0 8 准静态力信息+相对位姿 10 5 2 17 -
本文利用一种端到端的深度时间聚类网络对装配过程中的接触状态信号构成的时间序列片段进行了聚类分析，使用复杂度不变度量来区分时间序列片段所反映的接触情形的复杂程度，并对不同的输入特征的聚类结果进行了研究。实验结果表明，本文的方法可以对接触状态构成的时间序列片段进行分类，且越短的时间步数得到的聚类结果越细致，而时间步数越长的情况则可以用接触状态之间随时间上的长程的相关性描述；并且对于不同的输入特征的聚类结果表明，使用力位混合信息的特征有助于给出更细致的接触状态类型描述。本文提出的方法是以数据驱动的方法对接触状态进行建模，不需要对接触过程进行准静态分析，具有一定的通用性，并且利用接触状态所构成的时间序列的方式有利于提取接触状态变量的时间关联特性，可以使聚类的结果更加鲁棒。值得注意的是，本文方法虽然可以对重复装配过程中的装配事件进行监测，但是该无监督方式所给出的接触状态类型目前还缺乏合适的物理描述，这将是下一步的研究工作。
Contact State Clustering Analysis Based on Multivariate Time Series
-
摘要: 针对机器人轴孔装配任务中接触状态的分类问题，该文提出了一种基于多变量时间序列的聚类方法。该方法利用深度时间聚类网络对装配过程中的接触状态变量进行编码，然后使用复杂度不变性度量对时间序列片段进行划分。该方法避免了对接触过程进行准静态分析，因此在实际中具有一定的通用性。并且利用时间序列的方式有利于提取接触状态变量的时间关联特性，从而使得聚类的结果更加鲁棒。实验结果和预期一致，验证了该算法的正确性和有效性。Abstract: Aiming at the classification problem of the contact state in the robot peg-in-hole task, this paper proposes a clustering method based on the multivariate time series. This method uses a deep temporal clustering network to encode the contact state variables in the assembly process, and then a complexity-invariant distance measure is used to classify the time series fragments. This method avoids the quasi-static analysis of the contact process and thus has a certain generality in practice. And the use of time series is beneficial to extract the time-related characteristics of contact state variables, which can make the clustering results more robust. The experimental results are consistent with expectations, indicating the theoretical correctness and effectiveness of the proposed algorithm.
-
Key words:
- cluster analysis /
- contact state /
- multivariate time series /
- robot assembly /
- unsupervised
-
表 1 不同的输入特征对应的在测试样本上检测到的装配事件数
特征类型 时间步数10 时间步数20 时间步数50 总计 原始力信息 23 3 4 30 原始力信息+相对位姿 20 11 8 39 准静态力信息 4 4 0 8 准静态力信息+相对位姿 10 5 2 17 
下载: 导出CSV
-
[1] 程艳花, 钱鲁泓, 徐升, 等. 机器人装配中孔位对准算法的研究与实现[J]. 上海交通大学学报, 2016(S1): 83-85, 89. CHENG Yan-hua, QIAN Lu-hong, XU Sheng, et al. Research and implementation of the hole alignmenta Algorithm for robot assembly[J]. Journal of Shanghai Jiaotong University, 2016(S1): 83-85, 89. [2] 叶鑫, 刘玉红, 张之敬, 等. 面向多种复杂零件的高精度人机协同装配系统[J]. 导航与控制, 2018, 17(3): 1-6. YE Xin, LIU Yu-hong, ZHANG Zhi-jing, et al. High precision man-machine collaborative assembly system for complex parts[J]. Navigation and Control, 2018, 17(3): 1-6. [3] 杨忠泮, 谢黎明. 销钉智能化装配——智能化全自动生产线设计研究[J]. 机械设计与制造工程, 2019, 48(10): 15-19. doi: 10.3969/j.issn.2095-509X.2019.10.004 YANG Zhong-xuan, XIE Li-ming. Development of the intelligent automatic pin assembly production line[J]. Machine Design and Manufacturing Engineering, 2019, 48(10): 15-19. doi: 10.3969/j.issn.2095-509X.2019.10.004 [4] 朱博文, 马立, 陈韦男, 等. 自动轴孔装配系统的现状与关键技术[J]. 现代制造工程, 2019(5): 156-161. ZHU Bo-wen, MA Li, CHEN Wei-nan, et al. Present situation and key technology of the automatic peg-in-hole assembly system[J]. Modern Manufacturing Engineering, 2019(5): 156-161. [5] SKUBIC M, VOLZ R A. Identifying single-ended contact formations from force sensor patterns[J]. IEEE Trans Robot Autom, 2000, 16(5): 597-603. doi: 10.1109/70.880810 [6] LAU H Y K. A hidden Markov model-based assembly contact recognition system[J]. Mechatronics, 2003, 13(8): 1001-1023. [7] JAKOVLJEVIC Z, PETROVIC P B. Recognition of contact states in robotized assembly using qualitative wavelet based features and support vector machines[C]//Proceedings of the 36th International MATADOR Conference. London: Springer, 2010: 305-308. [8] JAKOVLJEVIC Z, PETROVIC P B, HODOLIC J. Contact states recognition in robotic part mating based on support vector machines[J]. Int J Adv Manuf Technol, 2012, 59(1-4): 377-395. doi: 10.1007/s00170-011-3501-5 [9] JAKOVLJEVIC Z, PETROVIC P B, MIKOVIC V D, et al. Fuzzy inference mechanism for recognition of contact states in intelligent robotic assembly[J]. J Intell Manuf, 2014, 25(3): 571-587. doi: 10.1007/s10845-012-0706-x [10] JASIM I F, PLAPPER P W. Contact-state monitoring of force-guided robotic assembly tasks using expectation maximization-based Gaussian mixtures models[J]. Int J Adv Manuf Technol, 2014, 73(5-8): 623-633. doi: 10.1007/s00170-014-5803-x [11] JASIM I F, PLAPPER P W, VOOS H. Contact-state modelling in force-controlled robotic peg-in-hole assembly processes of flexible objects using optimised Gaussian mixtures[J]. Proc Inst Mech Eng, Part B J Eng Manuf, 2017, 231(8): 1448-1463. doi: 10.1177/0954405415598945 [12] LI Feng-ming, JIANG Qi, LI Yi-bin, et al. Modeling contact state of industrial robotic assembly using support vector regression[C]//2018 IEEE 8th Annual International Conference on CYBER Technology in Automation, Control, and Intelligent Systems(CYBER). Tianjin: IEEE, 2018: 646-651. [13] MADIRAJU N S, SADAT S M, FISHER D, et al. Deep temporal clustering: Fully unsupervised learning of time-domain features[EB/OL]. (2018-07-15). https://arxiv.org/abs/1807.05520. [14] BATISTA G E, WANG X, KEOGH E J. A complexity-invariant distance measure for time series[C]// Proceedings of the 2011 SIAM International Conference on Data Mining. [S.l.]: [s.n.], 2011: 699-710. [15] MAATEN L V D, HINTON G. Visualizing data using T-SNE[J]. J Mach Learn Res, 2008(9): 2579-2625. [16] HOVLAND G E, MCCARRAGHER B J. Hidden Markov models as a process monitor in robotic assembly[J]. Model Identify Control Nor Res Bull, 1999, 20(4): 201-223. doi: 10.4173/mic.1999.4.2 -
点击查看大图
图(4) / 表(1)
计量
- 文章访问数: 7431
- HTML全文浏览量: 1772
- PDF下载量: 95
- 被引次数: 0
