1、ChatGPT林惠真格基体验 ChatGPT与 GPT-3 的对与 GPT-3 的对与 GPT-3 的对强烈建议体验https:/mirror.xyz/0 x6E12A28086548B11dfcc20c75440E0B3c10721f5/9O9CSqyKDj4BKUIil7NC1Sa1LJM-3hsPqaeW_QjfFBcChatGPT 提升的核点 敢于质疑不正确的前提 主动承认错误和法回答的问题 幅提升了对户意图的理解 幅提升了结果的准确性提升类意图的致性连续多轮对话能提升的原因加了基于类的反馈系统丛问题库抽取问题什么是蕉？蕉是种果，从蕉树.标记者（Labeler）书写期待的回复被标记的数
2、据来调优GPT-3.5什么是蕉？蕉是种果，从蕉树.蕉是芭蕉科、芭蕉属植物.蕉为芭蕉科植物蕉的果实。原产亚洲东南部蕉，从属性来说，与草莓、葡萄、猕猴桃是亲标记者（Labeler）排序所有标记着答案排序答案训练奖励模型采样问题，并列出所有模型和标记者的回答写个獭的故事输奖励模型得到分数和优化参数通过模型成初步回答持续优化参数迭代很久很久以前.Reinforcement Learning from Human Feedback往前捋捋GPT-1GPT-2GPT-3InstructGPTchatGPT20182019202020221500w 美1750 亿参数15 亿参数1.17 亿参数再往前捋捋G
3、PT-1GPT-2GPT-3InstructGPTchatGPTTransformerBERTRoBERTaXLMALBERTELECTRAT5BARTM2m-100BigBird2017DecoderEncoderAttention is All You Need继续再往前捋捋GPT-1GPT-2TransformerBERTRoBERTaT5BART2017 开始CNN 卷积神经络RNN 循环神经络1990开始-2006突破-2015繁荣继续再往前捋捋机器学习GPT-1TransformerBERTT52017 开始CNN 卷积神经络RNN 循环神经络1990 开始-2006 突破1980
4、 开始基于规则1950 开始发展趋势机器学习Transformer优化脑学习过程关注重点全部神经络基于规则写规则，简单粗暴只能处理常少量数据找到些函数或参数分类固定量数据像脑样学习开始尝试量数据提前标记些数据根据量数据分类学习个复杂的参数集合分类和绿发展趋势Transformer优化脑学习过程关注重点全部神经络像脑样学习提前标记些数据根据量数据分类学习个复杂的参数集合GPT3投喂海量的学习数据ChatGPT对结果的反馈成为学习过程的部分1200 万美需分类数据算法数据量+既要聪明，要努算法数据量+ChatGPT：每步都观察类反馈朝着类期望的向进发脑洞思考GPT3海量的学习数据漫的学习过程Cha
5、tGPT对结果的反馈成为学习过程的部分1500 万美？更遥远的未来有没有算法能突破脑结构限制？基于类反馈的训练法能否拓展到更多领域？如情感？投资度应层：出现新的 AI+创业机会1.更好的客服机器、机器翻译等2.更垂直的专业化 AI（户反馈系统定向训练）3.AI 基础设施（模型运维，管理，训练等）需要考虑：1.模型开始流（创业初始成本上升，团队融资能）2.训练成本持续上升（团队商业能）OpenAI 发展史OpenAI 发展历史2015 年 12：OpenAI 由群包括 Elon Musk 和 Sam Altman 等个和组织创建，旨在推进和促进智能领域的研究。2016 年：OpenAI 开发了第
6、个智能系统，击败了职业玩家在Dota 2游戏中。2017 年：OpenAI 发布了 GPT-1，这是个能够成类本的语处理模型。2018 年：OpenAI 与 Microsoft 合作，推出了 Azure AI Platform，这是个新的项，旨在让开发员更容易构建和部署 AI 应程序。2019 年：OpenAI 发布了 GPT-2，这是个 GPT-1 功能更强的语处理模型。2020 年：OpenAI 发布了 DALL-E，这是个能够根据本描述成原始图像的创意 AI 系统。2021 年：OpenAI 发布了 GPT-3，这是前为最最强的语处理模型。OpenAI 主要向语处理：OpenAI 开发了
7、款度先进的语处理模型，其中包括GPT-3，这是前为最最强的语处理模型。这些模型能够成类本，并在然语理解取得了显著的进展。计算机视觉：OpenAI 也在计算机视觉领域开展了量研究，并开发了些先进的 AI 系统，能够像类样识别和理解图像。深度强化学习：OpenAI 还在深度强化学习领域开展了量研究，并开发了些于游戏和其他应的 AI 系统。OpenAI：“以上都是我总结的”https:/ https:/ https:/ https:/easyai.tech/ai-definition/nlp/https:/ https:/ https:/xiaosheng.run/2022/04/04/transformers-biography.html https:/ https:/ https:/easyai.tech/ai-definition/attention/https:/
