深度强化学习（云计算中作业与资源协同自适应调度的理论及应用）

作者简介

彭志平 博士，教授。广东石油化工学院副校长（2015-2021年），江门职业技术学院校长（2021-今）。中国系统仿真学会智能仿真优化与调度专委会常务委员，广东省高等学校“千百十工程”省级培养对象。目前主要从事人工智能、智能系统等方向的科研与教学研究工作。作为负责人先后主持2项国家自然科学基金面上项目、1项广东省应用型科技研发专项重点项目及20多项企业技术攻关委托项目。先后获得广东省南粤优秀教师、师德标兵、广东省精神文明建设先进个人等荣誉称号，获得中国石油和化工自动化应用行业科技进步一等奖、省部级科技进步奖二等奖、吴文俊人工智能科技进步奖各1项。在国内外学术期刊上发表30余篇SCI检索论文，30余篇EI检索论文， 15项发明专利获得授权。

内容简介

第3章 CHAPTER 3 随机作业优化调度策略 合理有效的作业调度是云计算系统性能优化和资源 管理的前提。本章结合队列理论设计了一种细粒度的云 计算系统模型。该模型由相互作用并协同工作的多个子 模型构成，能够准确分析动态变化的云计算环境性能。 本章提出了一种基于强化学习的用户作业调度算法，算 法在各虚拟机资源占有量不变的约束下，以作业响应时 间最小化为优化目标，通过作业的合理调度，提高了资 源利用率和服务质量。实验结果不仅证明了该作业调度 算法的有效性，而且深刻揭示了云计算环境中各性能指 标，如达到率、服务率、虚拟机数量、队列长度等之间 的关系。 3.1引言 云计算是分布式计算、并行计算、效用计算、网络 存储、虚拟化、负载均衡、热备份冗余等传统计算机和 网络技术发展融合的产物。区别于传统的网络服务平台 ，云计算提供一种按使用量付费的服务模式，这种模式 提供可用的、便捷的、按需的网络访问，进入可配置的 计算资源共享池(资源包括网络、服务器、存储、应用 软件、服务)，这些资源能够被快速提供，只需投入很 少的管理工作，或与服务供应商进行很少的交互。云计 算的应用服务主要包括以下3种： 基础设施即服务 (InfrastructureasaService，IaaS)、平台即 服务(PlatformasaService，PaaS)和软件即服 务(SoftwareasaService，SaaS)。 如何在动态变化的云计算环境下合理有效地调度用 户作业，提高资源利用率成为云计算服务必须解决的关 键问题。虚拟化技术支持多个逻辑上独立的应用共享同 一节点的物理资源，为提高节点利用率提供了可行的解 决方案。但是，当前大多数数据中心往往根据虚拟机对 资源的峰值需求来决定集群的配置方案，而峰值需求远 大于常态需求，所以仍难以有效提高资源利用率。 虚拟化技术将云计算物理资源等底层架构进行抽象 ，使得设备的差异和兼容性对上层应用透明，从而允许 对云底层千差万别的硬件资源进行统一管理。此外，虚 拟化技术简化了应用编写工作，使得开发人员可以仅关 注业务逻辑，而无须考虑底层资源的供给与调度。通过 虚拟化技术，单台物理服务器可以支持多个虚拟机运行 多个操作系统和应用，这些应用服务驻留在各自的虚拟 机上，形成一定的隔离，一个应用的崩溃不至于影响到 其他应用的运行。最后，虚拟机的易于创建使得应用可 以拥有更多的虚拟机来进行容错和灾难恢复，从而提高 了自身的可靠性和应用性。但是，虚拟化技术的引入并 没有减少云计算相关配置管理的复杂性。事实上，多虚 拟机运行在同一物理计算基础设施上，增加了管理的难 度。最终虚拟化技术仍然不能担保系统资源利用率，同 时绝大部分现有工作仅能应用在小规模环境中而且难以 扩展。 本书围绕两个云工作流执行过程中的关键步骤——云工作流任务分配和虚拟化资源供给，介绍了今年来在云计算中用户作业分配和虚拟化资源调度的一些基本原料和主要方法。本书可作为计算机专业研究生的教学参考书，同时对从事云计算中作业与资源协同自适应调度的理论及应用技术研究、开发和应用的科技人员也具有一定的参考价值。