云服务提供商如Amazon、Microsoft、Facebook、Google等已经在世界各地建立云数据中心，进行海量信息的存储，并为用户提供即席的云服务，这些商业模式取得了巨大的成功。阿里巴巴、百度、腾讯等也已构建自己的数据中心，并开始为用户提供云服务。云服务的应用及快速发展极大地改变了传统数据中心的运行模式，进而产生了一种新的服务模式——云数据中心^[1]。

云数据中心一般由大量物理机(physical machine, PM)组成。为提供多样化的服务，虚拟化技术得到大量应用。因此在物理机上布置虚拟机(virtual machine, VM)为用户提供各种类型的服务成为一种新的方式。云数据中心通过虚拟化技术将计算资源(CPU、内存、GPU、FPGA)、存储资源和网络资源(路由、带宽)构建成虚拟资源池；使用虚拟资源管理技术实现资源自动部署、动态扩展、按需分配；用户可以采用预留分配(reservation)，即需分配(on demand)，现货分配(spot markets)等方式获取所需资源^[2]。近年来，绿色计算(green computing)已成为研究热点之一^[3]，尤其是在云数据中心中，如何有效地管理数据中心的物理机和虚拟资源池，减少运维成本、提高数据中心资源利用率、降低能耗、有效整合软硬件资源等，都是云计算服务提供商需要重点考虑的问题。在一个绿色云的框架中，虚拟机的调度与管理是绿色云数据中心的重要组成部分^[3]。而物理机和虚拟机的管理维护、物理机的能耗成本控制等是云服务供应商非常关注的问题。本文对云数据中心的虚拟机管理进行综述，包括虚拟资源管理、虚拟机放置方法、虚拟机动态在线迁移、服务器整合等，并提出了展望及建议。

虚拟资源管理是云数据中心的关键技术，研究虚拟资源的高效管理方法能够设计高效可靠的云服务中心，提高资源综合利用效率，保障系统可靠性，降低云数据中心的运维成本，已成为当前业界和学术界研究的热点。

由于云数据中心的硬件差异性的存在，要部署大量的服务，就需要屏蔽这些硬件之间的差异，达到硬件资源的最大化使用和统一管理^[4]。针对云数据中心软硬件资源的多样性和自主性导致访问方式的不一致问题，文献[5]提出了基于环境动态感知和自主决策的资源抽象模型；文献[6]介绍了虚拟化集群系统的相关技术，通过对集群的软硬件进行虚拟化，实现了集群中软硬件耦合的隔离和软件的快速部署实施。

为了实现资源的统一调度管理，很多云服务供应商通过引入虚拟化技术将云数据中心的物理设备抽象为资源进行集中式管理。例如，IBM推出了TPM(tivoli provisioning manager)^[7]对服务器、操作系统、中间件、存储、网络等资源进行管理和部署配置。VMware的VMware Infrastructure^[8]提供虚拟化基础架构和应用程序的管理等服务。微软也推出了虚拟化管理软件System Center^[9]。OpenStack是一个由基础设施服务商 Rackspace公司和美国宇航局共同推出的一个开源云计算平台^[10]。OpenStack对云平台中服务器和虚拟机的性能提供可视化的管理，对CPU使用情况、内存使用、磁盘IO、网络流量等各种资源信息进行主动监控，提升了数据中心的管理效率。

云中心资源调度的目的是将用户的服务请求分配到合适的资源上，在满足用户需求(QoS或service-level-agreement, SLA)的前提下，尽可能地提高资源利用率。在实际应用场景中，由于云基础设施配置的不同，虚拟资源管理及调度并无统一的标准，因此出现了各种基于调度基础设施和模型的调度算法^[11]。

虚拟机的放置方法在相关文献中被分为3个基本方面^[12]：1) 用户预留(reservation)的虚拟机放置方法^{[13, 14]}；2) 即需(on-demand)的虚拟机放置方法^[14]；3) 现货市场(spot markets)的虚拟机放置方法^{[13, 14]}。

用户预留的虚拟机放置方法^{[13, 14]}根据用户所需要的虚拟机类型和时间要求用户支付服务费用。云服务中心为用户建立一个账号，用户使用该账户访问和使用虚拟机。即需模式的虚拟机放置方法则提供用户随时访问多个类型虚拟机的机制。

在即需云(on-demand cloud)中，有两类虚拟机放置策略：1) 初始放置；2) 虚拟机迁移(因为物理机的资源可用性随着时间推移发生了变化，需要对资源进行整合(consolidation)，以便节约能源并达到SLA的要求)。大部分关于虚拟机初始放置的研究主要考虑在一个云中心的物理机上虚拟机的放置方法，文献^[15]则考虑了在多个云上进行虚拟机放置的问题。文献^[16]将虚拟机的放置和迁移视为独立的问题进行处理。实际上，虚拟机的迁移和虚拟机的初始放置往往需要统一考虑，尤其需要在节能、SLA、资金的最大化利用和可靠性等方面进行折中处理。

对用户的虚拟机资源请求，以及对资源池里的物理机管理排序的算法有多种。文献[17]使用基于在线bin packing^[18]的启发式(heuristics)方法对物理机进行排序。其他方法则通过增加一些具体的属性(如CPU使用率、网络和磁盘控制器使用率、内存使用率等)来扩展启发式的排序方法。在一些方案中，用来对物理机排序的属性值是由单个的虚拟机用户决定的^[19]，但在一些排序方案中这些属性值却是由服务提供商确定的^[20]。

云服务中心要考虑的一个重要问题是如何高效地将一个运行的虚拟机从一个物理节点迁移到另一个物理节点^[21]。

目前，虚拟机迁移算法研究可以分为：基于虚拟机内存状态的迁移算法和基于虚拟机外设的迁移算法(包括磁盘和网络设备等)。

虚拟机迁移性能指标是停机时间(migration downtime)和迁移总时间/延迟(migration latency)。如果云服务数据中心使用共享存储(SAN或NAS)架构，虚拟机内存镜像的迁移算法将对停机时间和迁移总延时起主要作用。实际上，可以根据应用特征对这两项指标进行折中，设计出各种不同的虚拟机迁移算法。

虚拟机内存迁移可分为3个阶段：推送(push)阶段、停止-拷贝(stop-and-copy)阶段和会拉(pull)阶段。在推送阶段，源虚拟机在内存中某些页面被推送过网络到目的虚拟机时继续运行。如果某些页面在拷贝过程中被修改，则这些页面需要重新传送。在停止-拷贝阶段，原始虚拟机停止工作，相应的内存页面被拷贝至新的目标虚拟机，服务在新的虚拟机上开始运行。在回拉阶段，新的虚拟机开始运行，如果它访问一个还没拷贝完毕的内存页面，则该页面是一个错误页面。

停止-拷贝(stop-and-copy)算法并非在线(online)的虚拟机迁移方法。首先停止虚拟机操作系统的运行，当虚拟机的内存镜像完全迁移到目标主机后，重新恢复虚拟机的执行。停止-拷贝算法与其他算法在相同网络环境下所使用的停机时间最长，但该方法拷贝的数据量比其他迁移方法都少，因此虚拟机迁移的总时间反而最短。

目前最流行的是预拷贝(pre-copy)算法^[1]。预拷贝算法重点考虑如何有效降低迁移过程中的系统停机时间。实际上，预拷贝方法将内存拷贝中的推送和停止-拷贝阶段进行了综合利用。目前的主流虚拟化平台管理软件如VMware和Xen，都是基于预拷贝算法。该算法的迭代使用主要是因为“脏页面”(dirty page)，脏页面是指在页面拷贝前被修改过的内存页面，这些页面需要重新被传送，其原理是：当虚拟机CPU状态和任一未拷贝的不一致内存页面被复制到目标主机时，则运行停止-拷贝算法^[22]。估计预拷贝阶段的停止时间并不是一个平凡的工作，需要在停机时间和总的迁移时间之间进行平衡。如果停止过早，大部分数据必须通过网络传送，当源虚拟主机和目标主机都停机时，停机时间就会增大；如果停机过晚，一些时间会浪费在被频繁写的内存页面上，就抵消了预拷贝的效果。

预拷贝的可用性考虑。预拷贝算法主动地扫描内存页面，并将内存页面通过网络传送到目标主机。因此，影响服务可用性的主要指标就是CPU和带宽，这两项指标需要随时被监控，以达到对服务请求最小的性能影响。一个合理的启发式方法是在预拷贝开始时选取低使用率的带宽传送相对静态的内存页面，再使用更多的带宽和CPU对更新频繁的页面进行增量地传输。

虚拟机内存迁移的另一种方法称为后拷贝(post-copy)^[23]。后拷贝算法首先将原虚拟机的CPU状态和该虚拟机能够在目标主机上恢复运行的最小状态工作集进行拷贝。在目标主机上，通过该最小工作集重新开始运行原虚拟机。当在目标机上运行原虚拟机后，源主机开始将该虚拟机尚未被拷贝的其他内存页面推送到目标主机；如果虚拟机在运行时需访问的内存页面还在源主机，则会触发缺页中断，而目标主机上的迁移控制程序以同步方式请求源主机立即传输该缺页的内存页面(pull过程)。可以看到，该算法不用重复拷贝虚拟机的内存页面数据，所需的迁移总时间最短且传输数据总量最少^[23]。但在停机时，该方法要拷贝较大的虚拟机工作集，导致较长的虚拟机的停机时间，且在迁移过程中大量远程内存访问也可能影响程序执行的效率，产生较大的性能差异。

文献[24]指出，混合式(hybrid)的后拷贝方法的总迁移时间要比预拷贝的小，其原因在于可写的工作集(writable working set)问题得到排除。但是，由于错误页面的处理方式，停机时间会增加。因此，这种虚拟机内存迁移方式可能对于网络代价关键的应用环境是最优的方案。

虚拟机外围设备资源迁移是虚拟机迁移的重要组成部分，该部分迁移内容包括虚拟机文件系统迁移和网络设备重定向，是消除对源主机的遗留依赖关系、保证虚拟机迁移的透明性和迁移后运行性能的关键技术^[25]。

1) 文件系统的迁移。卡耐基梅隆大学(CMU)开发了一个网络挂起/恢复(internet suspend/resume, ISR)系统^[26]。通过将虚拟机布置在分布式存储器上，ISR系统可以将用户的操作状态封装在虚拟机中，存储在一组parcel文件单元中。用户可以由多个parcel组成，ISR使用分布式文件系统来存储管理这些parcel单元。在任意一个安装了ISR系统的客户机上，都可以从ISR的分布式存储系统获取挂起的parcel单元，并恢复挂起时刻的状态，这种模式保留了用户最后一次的工作状态。文献[27, 28]则提出使用数据块级别的写追踪机制，通过预拷贝算法来同步虚拟机的镜像数据，在局域网内对虚拟机实现透明的迁移。文献^[29]也实现了数据块级别的预拷贝算法，通过使用动态DNS及IP隧道策略确保网络连接，实现在广域网中的虚拟机迁移。文献^[30]提出了一种虚拟机磁盘镜像的迁移方法，在GlusterFS中增加心跳监测模块，对集群中的物理机节点的加入与退出进行在线监控，动态生成或修改分布式文件系统的配置文件，完成对文件存储结构的动态更新，不仅保障了虚拟机迁移的性能和可靠性，同时增强了系统的可扩展性。

文献[31]开发的Entropy整合管理器通过Java库Choco^[32]使用约束编程(constraint programming, CP)^[33]，在同构的集群环境中通过全局最优的视角对虚拟服务器进行整合，主要针对两类问题：1) 虚拟机装箱问题(virtual machine packing problem, VMPP)。该类问题的计算当前处理单元和内存需求，估计支持这些需求的虚拟机VM所需的最少物理节点数，该问题可以简化为NP-Hard的二维装箱问题。2) 虚拟机置换问题(virtual machine replacement problem, VMRP)。该问题从满足VMPP的方案中选择一个配置开销最低方案。目前，云服务数据中心一般在一台物理服务器上虚拟出多个虚拟机，通过动态规划解决虚拟机装箱和虚拟机置换问题，这种模式的时间开销巨大。

文献[34]的虚拟机整合技术则是基于“内存页的相似度”。通过对内存页赋予Hash值，计算虚拟机与主机之间的相似度，最后选取相似度最高的主机进行迁移。文献^[35]对虚拟服务器整合建立一个预测模型，通过虚拟机的历史请求信息预测它们的资源请求模式。该方案中的规则是启发式的，在一定时间间隔内选取能够支持虚拟机的主机进行迁移。

云计算使计算资源作为一种服务成为现实。随着云计算技术的发展和网络速度的提升，通过互联网远程提供计算能力的服务模式已逐渐成熟。因此，数据中心将越发多地出现，并成为计算服务主流。从这个层面上讲，高效的云数据中心虚拟资源管理是降低操作成本和低碳排放的关键问题^{[36, 37]}。

本文对云数据中心虚拟机资源管理的关键问题，包括虚拟机放置、虚拟机动态迁移及虚拟机整合进行了综述。虽然在虚拟机的管理方面已经取得了不少的研究，但还存在一些开放性问题和调整有待探索和解决。如：1) 先进的分布式虚拟机放置算法。虚拟机全局管理器的备份将导致虚拟机放置算法的多个实例并发地在多个控制节点上执行。这就需要研发先进的虚拟机放置算法，有效地在算法实例间交换信息，减少分布式通信的代价，将VM放置的质量控制在集中算法附件。例如，在当前OpenStack Neat实现的VM放置算法中，每个虚拟机放置请求接收至局部控制器，并被集中控制器单独处理。这种请求处理模式就是可优化的。2) 虚拟机网络拓扑结构。在虚拟化是数据中心，VM通常彼此通信，建立一个虚拟网络拓扑结构。但是，由于虚拟机的迁移和非最优化的分配方法，这些虚拟节点之间的通信将被停止(由于被迁移到距离很远的物理节点上)，它们之间要继续通信时，将耗费巨大的数据传输代价。如正在通信的VM被分配在不同机架或机柜(rack/enclosure)中的主机上，网络通信可能包含能量耗费巨大的网络交换机。为消除数据传输带来的代价，最小化能耗，监控点需要知道虚拟机之间的通信状况，将正在通信的VM节点尽量放在同一或紧邻的节点中。此外，由于虚拟机迁移会消耗额外的能量和系统资源，这就会给服务性能带来一定影响，因此在选择VM放置方法时要在收益和迁移代价之间进行折中。3) 探索虚拟机资源使用的模式。云计算的IaaS层允许用户即需的虚拟机服务，用户可以部署实施任何的应用在他申请的虚拟机资源上。因此，不同的应用(例如HPC应用、Web服务等)可能共享同一个物理节点。但是，这些应用在性能方面的相互影响并不明显，它们可以是数据密集型、网络密集型或计算密集型，体现出多样的活静态的资源负载模式。因此，问题在于如何判断哪些应用可以放置在一起，达到最有效的全局资源利用率。例如，可以将计算密集型的应用和Web应用(文件服务器)结合在一起，因为计算密集型应用对CPU耗费很多，而Web应用则对网络带宽要求较高。所以，对云数据中心应用的工作状态(行为、模式等)的统计分析和资源使用模式的预测就显得尤为重要。4) 热能敏感相关(Thermal-Aware)的动态虚拟机集成。数据中心的计算资源大部分的电能耗费都转化成了热能。高温导致了数据中心大量的问题，例如系统可靠性的降低、可用性的降低及硬件声明周期的缩短等。为使得系统部件在一个安全的运行温度环境中工作，防止部件失效和崩溃，必须对释放的热能进行吸收。冷却问题对现代的刀片服务器和1U的机架服务器就尤为重要。数据中心的物理冷却的代价达到百万美元一年^[38]。降低数据中心冷却代价的一个途径是持续地监控物理节点的发热状态，当它过热时，对虚拟机进行迁移，关闭掉过热的物理节点。因此，研究热能敏感的虚拟机集成(何时及怎样在分配虚拟机、减少虚拟机迁移开销和系统性能下降)，来减少冷却系统的能耗就显得非常必要。

本文的研究工作得到成都信息工程大学科研基金资助项目(J201211, KYTZ201313, KYTZ201323)的资助，在此表示感谢。