人类的听觉特征与触觉特征具有相似性，但也有差别。如皮肤的振动频率响应范围约为20～400 Hz，最大灵敏度出现在250 Hz左右^[10]。皮肤在频率分辨方面相对较差，缺乏人耳所具有的独特精致结构。声学振动频率响应范围为20 Hz～20 KHz，全身振动的频率域窄于声学振动频率域，在400 Hz以下的频段上重叠。由于听觉和触觉的感知差异，高质量的音频特征到振动刺激的映射将更好地帮助用户通过振动触觉感受音乐，有效提高交互体验。在进行音乐信息的振动触觉映射时，应考虑到听觉与触觉通道的相似性和差异性，因此将音乐信息转换为振动触觉刺激并非一项简单的任务，应根据要映射的音乐要素进行分类，可以归纳为：音高、旋律、音色、节奏与响度。

实现音乐信息的振动触觉映射需要音乐信息检索技术和音乐要素触觉映射技术支撑，主要经过两个环节：1) 采用音乐信息检索方法从音乐信号中提取音高、旋律等特征；2) 根据提取的听觉层面音乐信息特征设计其触觉映射。其中需要考虑人体振动触觉感知特性、人体不同部位感知触觉的差异性、使用群体的差异性、驱动器数量设计等。

因为人体感知振动频率的局限性，将音高映射到振动触觉刺激是一个复杂的任务。其中一种最简单的方法是使用扬声器或声音线圈作为振动触觉驱动器直接将纯音频信号的音高转换为振动频率^[11]。然而这些振动触觉驱动器的频率响应范围远大于人体振动感知范围，因此高频波段的信息可能会丢失。

考虑到人体触觉感知特性和人体不同身体部位的触觉感知差异^[12]，音高到振动触觉的映射一般可根据人体不同部位的触觉感知特性，改变振动触觉驱动器的频率，最终通过人体触觉感知实验和数学分析获得人体具体部位的音高振动触觉映射。指尖作为触觉感知的敏感部位，音高的指尖振动触觉映射被研究。通过指尖上感受振动触觉驱动器实现触觉反馈，产生清晰振动，让用户感知振动触觉音高模式^[13]。通过反复的实验，提取音乐波形并将其在频域内除以N转化为振动频率的方法将振动节点的频率设置为40～1280 Hz之间的整数，可表达一个八度的音高。背部作为人体触觉感知的大面积部位，有利于振动触觉驱动器的安放。文献[14]将低音炮作为驱动器放置于人体背部来传达音高信息。通过音乐信号分析工具提取音高特征发送到驱动器，改变驱动器频率，背部的振动触觉刺激可使用户可靠地区分频率相差1/3个八度的振动触觉刺激，振动频率可设置为65.41～1046.5 Hz之间的整数。文献[15]将钢琴频率范围内的8个八度音阶分别分配到所使用的振动触觉驱动器中，根据符合西方和声乐理的正态模型估计音符出现频率，将音符均匀地映射到每个驱动器通道上并作用于人体背部。相较于指尖，背部的区分度较低。使用人体不同身体部位表达更多八度音高的方法也被挖掘^[16]。基于人体对于音高感知的区分度不高的特点，结合作品中音调范围先验知识利用Max/MSP实现自定义基频估计器估计音高特征，每个提取的音高类被映射到一个单独的振动触觉驱动器上，12个音高类映射到12个驱动器组成的圆圈。不同八度区间被分别映射到腿前部，以腿部不同高度的振动位置提示不同八度区间。近年来，骨传导扬声器作为振动触觉驱动器也被运用于触觉音乐的音高映射^[17]。提取钢琴音符频率与振动频率之间使用对数映射，通过改变驱动器频率实现两个八度的音阶在小腿部的振动触觉音高显示。另外，对于听力受损群体来说，音高的振动触觉表达可能是一个完全不同的概念^[12]。因此听力受损群体的音高映射技术有待深入研究。

随着时间的推移，音高的变化形成合适的组合即为旋律。因此已有的振动音高策略可以结合起来呈现振动旋律，这其中一个难点是提取音频的旋律内容并进行信号处理。文献[18]给出了一个有效的方法来提取音乐的旋律内容并将其转换为振动触觉刺激。它包括使用音乐信息检索算法提取音频的旋律特征，并将它们转换为MIDI(乐器数字接口)表示，音频文件经提取后生成旋律特征，这些特征被发送到特制的振动触觉驱动器上产生旋律振动。此外，可以利用身体不同部位对振动频率感知的不同，随时间变化赋予不同部位不同的振动频率，并通过幻影运动等时空触觉错觉来实现振动触觉旋律^[16]。目前，由于提取音频旋律内容的算法瓶颈和人体触觉对于频率感知的限制，映射音高和旋律是一个挑战。

音色能让听者区分不同的演奏乐器。振动触觉的音色映射与振动波形、振幅、振动持续时间均密切相关。目前，音色到振动触觉映射主要是通过音频信号处理与振动波形处理技术来实现的。研究表明，个体仅通过振动触觉刺激就能识别来自不同乐器(如钢琴、大提琴或长号)的音频信号向人体皮肤表达的音色^[19]。通过人体机械感受器作为触觉过滤器来渲染声音的纹理(即音色)，一般需要特制的振动触觉驱动器作为音色映射的执行单元^[15]。研究人员对不同的乐器信号进行不同的波形、包络、基频、谐波、持续时间处理后作用于人体机械感受器，发现个体能够区分这些音色的表征，听力受损的参与者能表现出同样的能力。另一种具有创新性的方法是测量音频信号中的噪声量，并在500 Hz正弦信号和白噪声信号之间对其进行插值处理，得到一个表征音色的振动信号^[20]，不过在进行测试验证中发现被试者反馈的效果并不理想，该方法还有待进一步探索改进。

节拍是相同时值强拍和弱拍有规律的循环出现；节奏则是把间隔长短不同的音组织起来，形成有规律的强弱变化。节拍与节奏通常被定义为在时间上重复的听觉或视觉模式^[21]，同时节拍与节奏的触觉通道也被发现，已有的研究证明触觉通道能够轻松地识别节拍节奏^[22]。与其他音乐特征相比，振动音乐中的节拍与节奏模式对用户音乐体验的贡献更大^[23]。

目前从音乐信号中提取节拍节奏特征主要使用两种方法：滤波器技术和特征提取算法。根据音乐的种类，节奏模式可能在特定的频带中有更多的存在，所以可使用过滤器获得振动触觉节奏信息。如通过低通滤波器过滤，滤出的鼓点等高度节奏的乐器音轨可用来进行节奏的振动触觉渲染^[24-26]。或通过带通滤波器，只对所需部分频谱产生节奏映射^[27]。另一种方法是通过音乐节拍节奏特征提取产生短而强的脉冲，将这些脉冲进行排序，以产生振动触觉的节奏序列，可根据振动的人体感知阈值来设定振动振幅，并作用于人体皮肤^[28-29]。此外，研究表明，音频和触觉的同时节奏作用在沉浸感受效果方面和学习效率方面均好于单独使用一种感官通道^[30]。听力受损的使用者根据振动时间序列的变化同样能够识别振动触觉音乐的节奏模式^[31]。但还没有足够的心理物理证据证明听力受损和听力正常的使用者对振动触觉节拍与节奏的感知是相同的。

在传统乐谱中，响度是一个关键特征。音乐响度是一个变量，对应于皮肤被刺激所移动的位移。

响度映射的一种方法是将听觉响度直接映射成振动触觉驱动器的强度^[31]。考虑人体的触觉感知，由于弦乐器产生的振动振幅可在皮肤可感知范围(20 dB)以上，文献[23]将振动振幅归一化到该阈值内。此外，建模推导的方法也被运用于响度映射，文献[32]改进了听觉响度计算模型，提取音频响度特征并利用最佳子集算法生成听觉响度映射为振动强度的算法，该算法产生的振动获得了较好的用户评价。响度的映射还与振动触觉驱动器的数目有关。结合听觉响度特征和振动强度以及驱动器数目确定每一组驱动器的振幅^[16]，采用指数标度，可使响度特征与振动强度感受有很好的对应关系。然而听觉和触觉刺激若同时产生，则会出现叠加效应(感知到的响度增加)或抑制效应(感知到的响度降低)^[33]，这是在设计响度与振动触觉映射时需要考虑的问题。

信息传播的方式正在从“多媒体”时代走向“全媒体”时代，顺应音乐信息的振动触觉映射技术的浪潮，振动触觉音乐相关应用应运而生。

表1为振动触觉音乐应用研究中的典型设备总结。振动触觉音乐应用场景主要分为3类：音乐的触觉增强场景、乐器教学的场景以及面向舞蹈动作辅助的场景。音乐的触觉增强应用大多以椅凳的形式提供振动，应用于乐器舞蹈教学场景的振动触觉音乐设备大多数为可穿戴设备。通过音频直接产生振动的设备可通过声音线圈驱动器实现，目前多数设备采用脉冲宽度调制(PWM)信号控制的偏心转子马达(ERM Motor)作为驱动器。设备采用的音乐信息处理方法与映射的要素根据具体用途呈现出多样化。

本节按照振动触觉音乐应用的使用场景分类，主要讨论振动触觉音乐应用三大场景下典型设备的特征与设计方案。

近年来，多感官音乐体验的应用层出不穷，用户既可以通过听觉，也可以通过触觉来感知音乐。多感官音乐体验的设备提高了人们的生活品质。

一方面，这类应用集中于音乐触觉座椅。有一款名为“Emoti-Chair”的座椅^[34]，嵌入了产生振动触觉刺激的声音线圈。线圈直径为一寸，共16个，排成两列八行，拥有大幅度振动和小幅度振动两种模式。用户坐在椅子上时，这些驱动器与用户的左右背部和腰部相接触，由听觉信号驱动触觉振动同时播放声音。

除背部的振动之外，提供足部振动的座椅也被开发。8个振动触觉驱动器被嵌入到“Skin Music”椅子中^[35]，利用Max/MSP将PWM信号通过Arduino发送到6个电机驱动器使用户感受不同强度的振动，另外2个触觉传感器向足部和脊椎区传递有针对性的低频音频信号。此外，文献[36]利用自制的座椅进行振动模拟。座椅采用电动激振器作为振动触觉驱动器，该激振器连接到一块扁平、坚硬的木板(46 cm×46 cm)上。经过低通滤波、变换处理后的音频信号驱动电动激振器产生垂直振动。

另一方面，音乐的触觉增强可穿戴设备也被开发。文献[37]发明了一种感受曼陀铃演奏的音乐振动触觉马甲，在穿戴者的躯干上分布30个ERM电机作为振动驱动器，其中12个驱动器放置在躯干前，18个放置于驱干后。5个驱动板分布在服装上，每一个驱动板产生PWM控制信号驱动6个驱动器。将演奏者演奏的曼陀铃声音信号进行处理后映射为振动刺激，演奏的同时穿戴者可感受马甲振动，实验表明该马甲对于用户沉浸度和体验感都有一定的提高。此外，一款名为“Body:Suit”的触觉西装被用来给乐器演奏者提供演奏时的乐音反馈^[13]。共10个Arduino兼容的控制板，每个控制6个振动驱动器生成振动触觉反馈, 在演奏家群体中获得了实用性的评价。

本文团队也开发了一款柔性振动触觉低功耗智能背心^[38]，如图1所示。该背心采用Arduino控制扁平ERM电机驱动器构成的背部6×8 振动阵列，使用无线蓝牙进行上下位机通信。上位机发送的振动控制信号改变电机的振动强度，振动持续时间、振动间隔、驱动器工作个数映射乐曲中的鼓点或典型节奏、响度特征，在播放乐曲的同时产生振动，实现音乐的触觉增强。研究表明，用户对振动触觉映射的区分度明显，沉浸感得到提升。

图  1  柔性振动触觉低功耗智能背心

被动触觉学习(passive haptic learning, PHL)是指通过对身体重复的触觉刺激用户可以获得新的动作技能，而不需要主动注意学习^[39]。被动触觉学习帮助用户更加快速地获得相应技能，因此研究人员开始将振动触觉运用于乐器演奏的教学。研究表明，振动触觉对乐器演奏教学起到了促进作用，振动触觉教学设备在获得用户好评的同时与音频视频结合的教学方式也提高了学习者的学习效果。目前，该类应用已被运用于钢琴、吉他、打击乐等乐器的教学，所开发的设备多为可穿戴式的振动触觉设备。

在钢琴演奏教学方面，文献[40]开发了一款振动触觉手套，5个微型振动驱动器分别作用于五指关节，根据乐曲的演奏指法要求，手套按乐曲音符出现的时间顺序向演奏者给出振动触觉提示。研究表明，被动振动刺激对钢琴演奏的学习产生了有益的促进作用。类似地，文献[41]在手指关节上安装了微型振动驱动器，驱动器的振幅为1.34 G，振动频率约为200 Hz，驱动器由Arduino控制，根据乐曲的指法要求提示学习者抬起相应的手指进行钢琴演奏学习。文献[42]把振动触觉提示用于吉他节拍教学，由Arduino驱动扁平圆形振动驱动器传递节拍信号，驱动器被固定在左上臂。触觉节拍器可以提示表演者遵循给定的目标节拍进行演奏，其准确性可与听觉的节拍跟踪相媲美。振动触觉可穿戴装置也可用于打击乐器教学^[43-45]。使用快速、精确的驱动器产生振动触觉敲击提示同时给出音频鼓点提示，如使用两种不同的振动强度传递两级打击强度(弱或强)，将振动触觉提示与音频同步呈现给打击乐学习者。音频与振动提示的结合在可观察性、被试的敲击反应速度和被试的学习效果方面都有良好的表现。

舞蹈作为一种具有感情的有节拍节奏的动作表现，自然更加需要音乐的配合，提供音乐映射的振动触觉设备也开始应用于舞蹈动作辅助。

脚是人体中最直接参与舞蹈节奏表演的部位，文献[46]据此开发的音乐触觉舞蹈鞋底部有由3个扁平振动触觉驱动器组成的振动点，可根据用户选择的音乐节奏和节拍产生振动。通过振动的不同强度顺序来体现给予用户振动触觉刺激的节奏，如表2所示，该舞蹈鞋设定了两档振动强度，用户可以根据需求选择不同的节奏模式。文献[47]开发了支持初学者表演慢华尔兹与音乐同步的可穿戴设备。该设备使用了姿态捕捉技术，振动触觉反馈是通过放置在每个脚踝关节的前、后、左、右的小振动触觉驱动器来实现的，这些振动装置根据舞蹈动作编排指示舞者应该移动的方向。文献[48-49]设计了用于舞蹈节拍提示的名为“SwingBeats”的触觉反馈手环和踝镯，“SwingBeats”通过蓝牙低功耗模块与移动手机建立通信获取音乐节拍，振动触觉驱动器产生振动作用于学习者的手腕或脚踝，使他们能够学习舞蹈的步法，以配合舞蹈编排的节拍。

振动触觉舞蹈动作辅助装置的出现在一定程度上提高了舞者的学习效率和学习兴趣，但目前在振动触觉驱动器的最佳布置、科学的数量设计等交互设计方面仍缺乏深入研究。

文献[50]提出了9个基本舞蹈动作(右脚向前，右脚向后，左脚向前，左脚向后，侧左，侧右，完全左转，完全右转，合脚)的振动触觉动作编码方案，如表3所示，振动触觉驱动器被放置在肩膀附近，其中两个靠近锁骨，两个在后背靠近肩膀，利用吊具和皮带将驱动器固定在用户身上。每一个振动触觉提示线索使用最大的振动强度和0.5 s的振动持续时间，提示线索通过一个图形用户界面发送给振动触觉驱动器。目前，由于舞蹈动作复杂性和实时性的特点，很少有着眼于振动触觉舞蹈动作提示交互设计的研究，如何设计科学有效的振动触觉交互方案是亟待解决的一大难题。

利用视觉和听觉通道进行音乐传递的设计层出不穷，相反，触觉感知同样作为人的一种重要的交流通道，它的分量一直以来都被低估，也缺乏全面深入的研究。近年来，针对振动触觉感知的研究开始呈现上升趋势，音乐领域的振动触觉研究也开始被涉及。音乐是一个多维度的艺术形式，可以用不同的形式来展现，如声音、触觉或视觉显示。目前这种体验通常局限于听视觉，而音乐的触觉通道还未被充分开发利用。通过振动触觉表征音乐信息的一大难点在于音乐信息的振动触觉映射技术，该技术受到振动驱动器性能、音乐信号处理方法等多方面因素的影响，还处于不断迭代发展阶段。

触觉的音乐信息传递研究是很有价值的，触觉的音乐信息传递也可被应用于与音乐相关的活动中，在乐器教学、舞蹈动作辅助等应用方面都体现了重要作用。然而，在设计科学高效的振动触觉乐器教学、舞蹈动作辅助的交互模式上，仍需进一步的研究和探索。多数应用只针对指尖、手腕等单一部位进行研究，所设计的系统缺乏智能性和普遍应用性。在未来，设计聚合身体不同部位，结合具体场景下的触觉音乐应用将具有更大的意义和价值。

本文结合人体的振动触觉感知特性，根据不同的音乐要素分类，总结了通过振动触觉表征音乐信息的映射技术。分析了振动触觉音乐的不同应用方向，包括增强音乐体验应用、乐器教学应用以及舞蹈动作辅助应用。对振动触觉音乐的相关设备和交互设计方法进行了介绍。振动触觉音乐的开发具有巨大的实际价值和广阔的市场前景。

本文工作得到了中国石油大学(北京)克拉玛依校区联合基金(XQZX20220020)的资助，在此表示感谢。