2023 年 Google I/O 大会上，Google 向全球开发者发布了 PaLM2 大语言模型，并介绍了最新的研究进展，同时发布了基于 Google Cloud 和 Workspace 的多个创新应用和服务。本讲座会进一步介绍 Google 最新的大语言模型、多模态模型，以及微调的能力，同时通过实际应用场景来介绍大语言模型的实际落地。

自从 ChatGPT 上线以来，在全球范围内瞬间就掀起了大模型的热潮，我们团队也是第一时间开始关注。我们一边在感叹它的“聪明”，一边在思考如何合理的“应用”它，基于当时对它的理解和海外的一些开源项目，我们决定通过智能客服的形式来验证它的应用性。在整个实践过程中，随着对它理解的深入，我们的项目迭代方向也在不断的调整。本文通过介绍基于 GPT 实现智能客服的实践过程，讲解如何让 GPT 链接企业的知识库，以及知识库的搭建，最终完成 1.0 版本上线。根据 1.0 版本设计的一些缺点和弊端，引出 2.0 版本的设计，2.0 版本的核心思路是，大模型和业务 API 接口打通，如用户输入“课程”相关文字，智能客服可以直接调用业务的接口，给出体验课的课程卡片。为了实现和 API 联动的效果，我们参考了 AutoGPT 的设计思想，通过介绍 AutoGPT 的实现原理，讲解我们如何和业务 API 打通。最后会介绍对于大模型应用的一些心得和理解。

文档问答系统的任务是从文档数据中查找与用户问题相关的答案。由于文档数量不断增加，传统的搜索已经不能满足人们的需求。随着深度学习模型的发展，文档问答系统从基于字符匹配的方法迁移到基于向量表示的方法，大规模语言模型更为文档问答系统的答案生成问题提供了解决方案。新一代的文档问答系统将传统模型、深度学习问答模型和大规模语言模型技术融合在一起，为用户提供更完善的文档问答服务。本次演讲将介绍如何使用 Langchain 开发框架和 Langchain-serve 部署工具来开发智能文档问答系统。

对于构建专有大型语言模型的组织而言，向量数据库至关重要。向量数据库的一个新型重要用例是 LLM，在文本生成过程中可用于检索领域特定事实或专有事实，用以存储、索引、搜索和检索非结构化数据的大型数据集。本次分享将重点介绍 AI 基础设施的开源向量数据库 Milvus 以及对应的云服务 Zilliz Cloud 是如何知识增强和赋能 LLM，并进而引出大模型与向量数据库的关系、生态集成、工具与应用等。

本次分享会将剖析 ChatGPT 中提及的 RLHF 流程，包括数据收集、数据质量优化、SFT、Reward 模型，以及最终的 PPO 优化。内容将基于 WebGPT 系列已公开的论文和已知的数据收集方案，进行数据质量的验证和提升。考虑到当前存在很多开源模型并未公开详尽的 RLHF 流程和实现方案，我们将在此进行详细展开，相关代码也会开源。