多模态大模型：技术原理与实战

作者简介

彭勇，国家公派留法博士，全球金融专业人士协会（GIFP协会）特聘专家，2020年欧耕互联网保险十大风云人物，《数据中台建设：从方法论到落地实战》作者。从事大数据和人工智能在金融行业的研究与应用工作约18年，负责相关的落地项目超过100个，在金融行业数据中台建设、数字化营销和运营体系建设、大数据和人工智能赋能、大模型研发和应用、风险管理、数智化转型等方面经验丰富。现就职于苏州数擎智技术有限公司和北京长正咨询有限公司，担任两个公司的总经理。彭旋，本科和硕士毕业于中国石油大学（华东）数学与应用数学专业，从事多模态大模型、知识图谱、信息抽取、自然语言处理等方面的研发工作，具备丰富的多模态大模型训练、研发和企业落地经验。《知识图谱与大模型融合实践研究报告》《知识图谱互联互通白皮书》的主要作者之一。郑志军。研究领域主要包括文本理解、自然语言生成等。从事自然语言处理研究7年有余，其中有近4年大模型使用、研发经验。现担任公司AIGC组组长，所研发的大模型在公共评测和客户应用上均取得了优异的成绩，在大模型研发领域具有丰富的理论和实践经验。茹炳晟，腾讯Tech Lead，腾讯研究院特约研究员，中国计算机学会(CCF)TF研发效能SIG主席，“软件研发效能度量规范”标准核心编写专家，中国商业联合会互联网应用工作委员会智库入库专家，中国通信标准化协会TC608云计算标准和开源推进委员会云上软件工程工作组副组长，腾讯云、阿里云、华为云最具价值专家，国内外很多技术峰会的联席主席、出品人和演讲嘉宾。公众号“茹炳晟聊软件研发”主理人。多本技术畅销书作者，著作有软件研发行业创新实战案例解析《测试工程师全栈技术进阶与实践》《软件研发效能提升之美》《高效自动化测试平台:设计与开发实战》《软件研发效能提升实践》《软件研发效能权威指南》，译作有《持续架构实践：敏捷和DevOps时代下的软件架构》和《现代软件工程：如何高效构建软件》等。

内容简介

（1）单模态大模型ChatGPT只是过渡产品，多模态大模型（类似于GPT-4）才是AI 的未来。掌握了多模态大模型技术就等于先人一步打开了通往AGI的大门。 （2）详述ChatGPT的核心技术，以及GPT的进化史和创新点，让你全面了解大模型技术的演化过程和未来的发展趋势。 （3）详细介绍了大语言模型和多模态大模型的发展历史、技术原理和亮点、主要的开源框架、配套工具、部署细则和实战案例。 （4）多模态大模型的费用昂贵是很多公司的痛点。通过微调和量化压缩，让中小公司也能用得起多模态大模型，并介绍了从0到1部署多模态大模型。 （5）实战性强，详细介绍了使用大模型为商业赋能的3个应用案例。