ChatGPT能否成为下一代搜索引擎

209254 2023-02-10 | pdf | 1.44 MB | 次下载 | 免费

资料介绍

前言 OpenAI这家公司又放大招了，继发布GPT、GPT2和GPT3模型后，本月初发布了ChatGPT模型【也被称为GPT3.5】，结合大家的测试效果来看，该模型效果确实很震撼，在人工智能圈子引起了不小的轰动。在AI发展相对处于低谷期的今天，如此震撼的模型发布出来，确实为该行业带来一阵暖风，本文就详细解读一下该模型。

　　在“人工标注数据+强化学习”框架下，具体而言，InstructGPT的训练过程分为以下三个阶段：

　　第一阶段：冷启动阶段的监督策略模型

　　靠GPT 3本身，尽管它很强，但是它很难理解人类不同类型指令中蕴含的不同意图，也很难判断生成内容是否是高质量的结果。为了让GPT 3初步具备理解指令中蕴含的意图，首先会从测试用户提交的prompt（就是指令或问题）中随机抽取一批，靠专业的标注人员，给出指定prompt的高质量答案，然后用这些人工标注好的数据来Fine-tune GPT 3模型。经过这个过程，我们可以认为 GPT 3初步具备了理解人类prompt中所包含意图，并根据这个意图给出相对高质量回答的能力，但是很明显，仅仅这样做是不够的。

　　第二阶段：训练回报模型（RewardModel，RM）

　　这个阶段的主要目的是通过人工标注训练数据，来训练回报模型。具体而言，随机抽样一批用户提交的prompt（大部分和第一阶段的相同），使用第一阶段Fine-tune好的冷启动模型，对于每个prompt，由冷启动模型生成K个不同的回答，于是模型产生出了，…。数据。之后，标注人员对K个结果按照很多标准（上面提到的相关性、富含信息性、有害信息等诸多标准）综合考虑进行排序，给出K个结果的排名顺序，这就是此阶段人工标注的数据。接下来，我们准备利用这个排序结果数据来训练回报模型，采取的训练模式其实就是平常经常用到的pair-wiselearning to rank。对于K个排序结果，两两组合，形成（ k 2 ） \binom{k}{2} （2k）个训练数据对，ChatGPT采取pair-wiseloss来训练Reward Model。RM模型接受一个输入，给出评价回答质量高低的回报分数Score。对于一对训练数据，我们假设人工排序中answer1排在answer2前面，那么Loss函数则鼓励RM模型对的打分要比的打分要高。归纳下：在这个阶段里，首先由冷启动后的监督策略模型为每个prompt产生K个结果，人工根据结果质量由高到低排序，以此作为训练数据，通过pair-wiselearning to rank模式来训练回报模型。对于学好的RM模型来说，输入，输出结果的质量得分，得分越高说明产生的回答质量越高。