CMP环境下教育数据库高性能查询优化算法的研究

作者简介

陈永恒，男，1979年生，黑龙江哈尔滨人，吉林大学计算机应用专业博士毕业，现为岭南师范学院计算机与智能教育学院大数据与人工智能系副教授，硕士研究生导师，主讲课程有“Python语言”“自然语言处理”“深度学习”“Linux操作系统”等。主要研究方向为：教育信息化、智慧教育等。近几年来主持福建省自然科学基金1项、福建省教学改革项目1项、广东省哲社项目1项、市厅级项目5项、校级项目多项，发表论文30余篇。曾先后获得岭南师范学院暑期社会实践优秀指导老师、优秀实习指导教师等荣誉称号。 尹春艳，女，1976年生，黑龙江哈尔滨人，哈尔滨师范学院硕士毕业，现为岭南师范学院商学院实验员，主讲课程有“数据库原理”“模式识别”“大数据技术”等。主要研究方向为：教育信息化、智慧教育、舆情分析等。近几年来主持市厅级项目6项、校级项目多项，发表论文10余篇。

内容简介

“三通两平台”建设和应用深化，产生了大量数据，我们称为教育大数据。教育大数据包括学习过程之中师生方面的行为记录、学生学习结果的综合评定数据以及师生学习行为构成的学习关系型网络等。随着数据量的增大，传统数据库系统的处理能力已满足不了现在需求，如何能够准确有效地获取复杂的信息，提高数据库查询处理能力，成为当下急需解决的问题。片上多核处理器提升了片上计算能力和存储空间，提高了片上通信的速度和带宽，为高性能并行计算的应用提供了基础设施，其成本和功耗也为其普及提供了条件，片上多核处理器已成为未来较长一段时间内的发展趋势。多核处理器的这场硬件的革命自然也带动了软件的革命，大量的软件设计人员将多核处理器作为并行化程序设计的实现平台，多核平台与并行计算理论相结合，以多线程并行的方式提升应用程序的性能。 随着信息技术在教育领域的高速推进和深入应用，每时每刻都有大量且种类繁多的教育数据产生。如何能够在大规模数据库中及时获取有效且准确的信息，成为数据库管理技术研究的一个重要方向。鉴于此，笔者在参阅大量相关文献和经验总结的基础上，撰写了《CMP环境下教育数据库高性能查询优化算法的研究》一书。基于多核平台，研究利用并行计算技术，实现教育数据的高性能查询，是本书的研究目标。本书从传统的问题入手，选择典型算法进行分析，对教育数据库查询过程中涉及的查询计划构建模型、查询计划执行策略以及数据操作算法三个主要方面展开研究。 本书共由四个章节组成。第一章主要对高性能数据库查询优化算法的研究背景、研究现状和研究意义等做了系统阐述，以便读者对高性能数据库查询优化的应用研究有一个基本认识。第二章对查询计划的构建进行了优化，提出了基于逻辑转换优化的自底向上连接枚举并行算法和基于逻辑转换优化的自顶向下连接枚举并行算法。通过连接子集对优化构建算法实现高效的连接子集对构建，并对其合理性进行了证明。依托构建的有效连接子集对集合，对基于多核的自底向上连接枚举并行算法进行了研究，避免了线程执行的连接子集与其他线程运行的连接子集之间的依赖关系，实现了最优查询计划的并行构建。通过构建谓词扩展相称表，提出了可以支持多种连接的基于逻辑转换优化的自顶向下连接枚举并行算法。第三章对查询计划的构建进行了优化，提出基于查询子图相似性优化的查询计划构建算法。为了缓解搜索空间对于动态规划枚举算法的限制，通过基于查询子图相似性优化的查询计划构建算法，减少了构建的局部最优查询计划的数量，避免大量逻辑表达式的构建，一定程度上减少搜索空间。第四章首先提出基于多核硬件体系结构的查询计划并行执行框架，并给出了该框架相关的执行算法，然后以连接算法为重点，提出基于基值多路分解的并行哈希连接算法。针对如何实现查询计划的多线程执行，获得最大的资源利用率，本书依据查询计划的执行粒度，提出了两个层次的新型优化方法，即最优查询计划的执行策略和操作算法的执行策略。这些执行策略在一定程度上避免了查询计划在执行过程中Cache访问缺失以及Cache访问冲突的发生，提高了查询计划的执行性能。 本书在吸收国内外相关研究成果和实践经验的基础上，阐述了高性能数据库查询优化算法的相关理论，全面系统地对查询优化算法的相关问题进行了论述。在本书的撰写过程中，笔者参考、借鉴了国内外相关文献资料，也得到了亲朋的支持，特此致以衷心的感谢。但由于时间紧迫和笔者水平有限，书中难免存在不足，希望同行和广大读者批评指正。 著者 2023年1月 第一，本书涉及内容较为全面，同类书通常只针对个别数据库优化技术展开论述，本书则分析了多种技术，更具代表性与指导意义。第二，本书与时代发展结合密切，涉及的信息技术涵盖了当下前沿性的技术，一些同类书阐述的内容则停留于一些陈旧的信息技术的层面，没有跟上时代的步伐。