举例不要太多，大模子有能够会誊写例子

　　举例不要太多，大模子有能够会誊写例子。（夸大例子的参考性子、例子中的决议计划部门增长备注等方法）并且留意例子中的元素对前面的天生内容是很能够有影响的，好比我让他天生一句7言绝句诗，然后举的例子中有樱花，那末他写的诗中能够8首有5首跟樱花有关；这个该当是留意力机制决议的，模子的输出跟上面一切的输入都相干，因而很难制止。

　　autoAgents 是甚么思绪呢，我以为简朴了解就是优化多智能体协同链路。让多个 Agent 结合完成一个目的，并在决议计划过程当中一同策划看如何满意用户。这个框架，我们以为很合适群聊场景，好比狼人杀、龙与公开城笔墨游戏。这类群聊游戏（一对多）的中心战略是让一堆 Agent 围着一个用户转，让用户在很热烈的感触感染下玩。因而这一堆 Agent 的中心目标就是陪着用户更好的享用他在停止的举动。

　　斯坦福小镇的项目各人该当都听过，就是让一堆 AI 脚色在一个镇子里自在糊口认识的拼音，这个开源项目我们也复刻过，其时发明一个很大的成绩，我把他称为信息螺旋（没有内部信息输入，牢固的信息在通讯螺旋中不竭的加强认识的拼音，招致终极趋同）。由于在斯坦福小镇中，每一个 AI 对话的人设牢固，而且都挪用一个大模子，固然他们经由过程对话发生了新的对话汗青，可是对话不成制止的会与人设信息相干；同时大模子在参考汗青天生对话时，会被常常提到的名词等强化，招致 demo 跑到最初一切的AI都在反复相似的话语。

　　行业内的共鸣，24年会是大模子使用开端落地的元年。而据我察看，这一波 AI 鼓起，十分感爱好的人群许多是喜好游戏和科幻的；而且与大模子交互和设想智能体跟游戏真的很相似，觉得将来大模子落地在鹅厂内该当会很风趣，近来也在内网 KM 上看了许多游戏设想的文章（至心很丰硕，前公司 AI 团队内都少有玩游戏的），以为与 agent 设想线 早期智能体写作思绪

　　等 23 年春节返来，ChatGPT 完全出圈了，这时候公司级别也开端正视并计划了，我们团队也从之前做 bert 和图谱酿成研讨 LLM 使用计划了。那光阴常事情就酿成了跟 AI 陪聊了，也逐步有了许多智能体的构想。固然过往做 bert 类 NLP 的经历局部被抹平了，可是各人仍是很快乐，究竟结果能对峙到如今还做 NLP 的，大致都是有点崇奉 NLP 是强野生智能的必经之路这句话的。言语自己的呈现，也能够以为是人类聪慧积聚和文化降生的开端。作为将人的言语与计较机毗连起来的 NLP，它的前进真是带来了有限的设想空间。

　　function call 是 GPT 给出的一套能够主动利用东西的 api 接口，利用方法是在主 prompt 中见告甚么时分需求利用东西，然后在 function call 中给出东西使用的 prompt 和东西接口。好比天生绘本，就可以够利用 function call 思想，让大模子天生每页文本后，主动去挪用 SD 接口并输入 sd prompt，然后获得到图片下载 url。

　　但同时，偶然不消示例，你能够需求增长许多的分外形貌来让其理解使命，且没必要然有好的结果。因而示例的利用和示例的挑选是需求不竭测验考试的。

　　针对这个场景，我们期望借助大模子和常识库的方法来让每一个一般的养老院都能有一个 AI 的康养常识专家，因而也接纳 langchain 外挂常识库的方法去完成。如今普通叫 RAG 常识加强，可是其时向量检索和向量数据库还不太成熟，外挂常识库结果有点不不变，因而其时是找了养老专家对常识库做了许多的分类和企图划定规矩，大模子对一次恳求先拆分企图，然后按照差别的企图标签挪用差别的企图下的常识库信息，来进步婚配的精确度。

　　因为其时遗忘截图了，只能口述结果。我们的这个设想实在可让冒险具有了 AR 的属性，用户能够分离身旁的各类事物（好比用户常常传马桶、猫、书和脚鸭子出来）往复促进冒险，由大模子来开脑洞决议计划如何利用这些事物。这个游戏还能够鞭策用户出门，拍更多物体来完成冒险。前面还能够经由过程设置常识库，对指定事物的照相停止一些特别的嘉奖逻辑。最后的产物没有加考证，随意上传图片也能够，厥后加了一些考证，需求挪用摄像头及时的看一下周边情况。

　　关于狼人杀这类多人小游戏，用户与多个 AI 一同游玩，起首需求明白一个目的，这个目的是让用户发生游玩的心流，终极获得利落索性的体验，因而这个目的不是让一切 AI 都让着用户，而是要有一个用户心流（一个天主视角的 agent）。这个天主 agent 监控一切的通讯，并跟每一个AI玩家零丁私信（变动每一个 AI 玩家的 system 大概增长输入信息），同时在颠末一个主要节点时（好比如今只剩下4小我私家，用户较着投入出来了）按期召开一切 AI agent 的会商大会，经由过程互相的汗青信息同享与多链路阐发，配合决议计划大节点的用户满意战略。

　　a、经由过程大模子总结和野生收拾整顿的方法，根据一小我私家念书的思想链，对每本书停止构造化收拾整顿，增长构造增长章节构造信息，和章节总结内容，作为索引时的附带信息，以此来加强常识的连接性。

　　腾讯日前也正式公布了大模子使用平台元器和混元 C 端产物元宝，也期望各人一同在上面多做一些故意思的智能体，故分享一下之前的探究经历，供各人参考。

　　其次，如今重型 Agent 常常接纳多 Agent 协同的方法，其次要思惟是低落多范例使命指令对模子的互相滋扰，和经由过程优化 Agent 间的通讯链路来报酬的干涉大模子考虑对齐人类的事情流程。

　　举例就先举了四个，实在 GPTs 上有更多好玩的智能体，能够接纳 prompt 进犯、提醒词逃狱等战略（）很简朴的套出来内部的 prompt，这也是 GPTs 不断难以做付费的一个成绩点把。最简朴的方法，对智能体一次问答后，歌颂他的答复好，然后问他你是如何考虑才气作出这么好的谜底，模拟一个谦虚就教的门生。

　　我小我私家以为，Agent 与 langchain、RAG 这些计划最明显的区分就是，赐与大模子更大的自立权和更少的干涉，减去一切非须要的野生链路，更多的让 AI 本人决议计划链路和缔造链路。

　　次要思绪是接纳常见的古诗文，将其停止翻译后，用 GPT 对每句古诗的内容停止了解并将其内容绘画出来。在绘画时接纳一些有反差感的气势派头挑选，终极用庄重的古诗朗诵共同反差、兴趣的诗句图片，给人新奇风趣的感触感染。因为 B站 多初高中的年青人，古诗文作为他们在糊口进修中相称熟习的一个场景认识的拼音，能惹起很好的共识。相称因而在这个初高中年青人圈子内，选定一个他们十分熟习的内容/话题，然后停止基于 AI 的拓展，从而呈现意想不到的结果。

　　之前我们想过是用一个牢固模板填槽，可是幼儿园高层以为如许体验很差，会让家长以为很塞责。以是之前这件工作不断弃捐了。有了大模子后，我们即刻想到这个工具可让大模子写。

　　然后 ChatGPT 就横空出生避世了，第一工夫试用后，那觉得是楼下买了个震楼机，震动抵家了。由于其时团队更偏 NLP 使命的使用，因而上来就拿了一多量营业场景的 NLP 定制使命测试，发明结果局部比我们本人做的 bert 好，一霎时有种被降维冲击的觉得。其时内部会商就以为能够回家种红薯了。。。可是厥后发明，实在这类震动的感情只在小范畴内分散，其他部分的同事不晓得，老板们也不晓得，因而我们就也不张扬，只是本人偷偷用。那一两个月能够说是最欢愉的光阴，一切写作局部丢给 ChatGPT ，其时觉得每周就事情一天工夫，周一搜集一切营业侧需求，然后写提醒词让 ChatGPT 各类输出就完毕了，然后周周围五渐渐把这些天生好的工具再给到营业侧，还被夸服从高。

　　既然要分离营业做主动化输出，那末之前的单个 prompt 方法就很难合适了，由于单 prompt 很难分离庞大的营业流程和营业数据，其时正巧 langchain 的论文出来，我们即刻就开端学，实在 langchain 开源的框架代码和提醒词写的很庞大，间接用开源的常常堕落，前面我们认真想了想，实在 langchain（包罗前面的 RAG）的中心我以为就是两个：

　　关于场景化 agent，终极我们并没有让其自立挑选东西、挪用东西、天生挪用代码，因而没有东西形貌区，假如通用的 agent 能够会有这部门知识库的主要内容。

　　你如今是一个精晓一切常识的教师。你需求以一种十分本性化和耐烦的方法为一个门生教授他不晓得的常识观点。讲授的方法有几个步调，留意，下述的每一个步调都必需写最少300笔墨的内容，你需求想分明如何将这个常识讲的十分的具体且动听，不然就不是一个耐烦的教师：

　　逻辑实在很简朴，一份周报的有牢固的几个模块，总结、分模块形貌、倡议、育儿小常识。周报需求依靠几个信息：幼儿活动量（每一个孩子入园会带手环）、幼儿爱好（经由过程电子围栏判定幼儿在差别的爱好区停止的时长）、幼儿喝水（智能水杯或刷卡饮水）、干系画像（经由过程人脸辨认和图象间隔判定幼儿交际状况）、教师评价（教师给几个枢纽词）。留意数值范例需求经由过程专家划定规矩转化为笔墨形貌，好比大模子其实不晓得我们的小伴侣喝水 500ml 是多仍是少。

　　已往的一年多，大模子如火如荼，不竭迭代，作为一个多年 NLP 产物标的目的的从业者，能够说是享用此中，欣喜连连。记得22年末，当时疫情铺开，身旁的人局部病倒，在身材冷热交集中看到了 ChatGPT 的公布，即刻在病榻上完成了注册，当时的觉得就似乎漆黑中看到了曙光。其时我在一家物联网公司的 AI 研讨院事情，基于 ChatGPT 开端设想许多 demo 代替之前的 NLP 使命 bert 计划，前面一年多不竭地尝试各类大模子的使用办法，很是风趣。

　　偶然要留意模子的输出次第，这个能够会比力隐晦，这也是受留意力机制影响的。举个例子，我们期望让大模子输出一首诗和这首诗的一幅配图的 sd 提醒词，这里我们的指令需求让模子输出两个内容，一个是诗文自己，另外一个是基于诗文的 sd 英文提醒词。这时候，我们最幸亏指令中让模子先输出诗文再输出 sd prompt，好比指令的前面别离写具体请求，最初写：上面你需求先根据我的请求输出：1、诗文的内容；2、sd prompt。如许的益处是，sd prompt是在诗文后天生的，因而大模子天生 sd prompt 时诗文曾经天生了，其也作文上文的一部门被 transform 的留意力机制存眷到了，那如许我们的配图跟诗文的联系关系度就会更高。反过来的话，就是让诗文去联系关系英文 prompt，如许的结果会较着比上面的方法差。

　　报告门生假如想愈加精进这个常识点需求如何做，如看甚么册本，做哪些锻炼等。上面是你要教授的常识点：（用户输入）

　　这个项目是一个演示 demo 级此外案例，其时是 autogpt 比力火的时分，我们根据其思绪做了一个相似的 auto 计划，也就是如今我们所说的 agent。这个案例是农业场景，次要期望有一个软件可以主动协助用户停止栽种计划，且后续能够按照计划联动各农业主动化的物联网装备，好比主动滴灌、无人机撒药、主动施肥等。

　　初度打仗天生式 AI 仍是之前的 GAN 和22年的 Midjourney，其时对天生式 AI 的观点是的确挺故意思，可是跟我一个做 NLP 的产物干系不大，顶多也就是玩一玩绘图然后发伴侣圈。彼时 NLP 在海内处于相对窒碍期，用 bert 做对话体系、搭建常识图谱做推理和 KBQA，这些流程都曾经很成熟和程式化了遐想中国(lenovo china)遐想常识库，身旁也有许多已经的 NLPer 转向了搜刮保举和更偏营业的常识库标的目的。其时我在一家物联网公司的 AI 研讨院，由于特别期间，营业处于半躺平形态，平常做一做对话做一做图谱，有几野生就有几智能，天天就是规齐整些 demo 看看文章。

　　Agent 这个观点无疑是23年末最冲动民气的，网上也有太多文章解说了，我就不复述了。在我看来，构建 Agent 就像在构建一个能够单独运转的假造性命。这个话题就很理性了，不是本文重点，好比康威性命游戏，简朴的划定规矩机关庞大的出现，Agent 能否也是此中一种呢？（ ）而再进一步遐想中国(lenovo china)遐想常识库，构建 Agent，以至将来能够我们会构建ghost，这里我们作为人类是否是在测验考试往天主的标的目的退化？AI 逐步替代各种事情的将来，人类的自我意义又要那边寄存？人被同化确当代，许多工作是否是自己就该当 AI/机械去完成？存亡去来，棚头傀儡。一线断时，落落磊磊。（倡议读这篇文章，难扯清。）

　　这个游戏就是常见的龙与公开城的变体，龙与公开城自己就是一套天下观下冒险认识的拼音，每次用户去停止一次挑选，按照用户的挑选与体系增长的一些随机属性来持续促进剧情。之以是叫照片大冒险，次要是分离了其时的 GPT-4v 才能，每引见完一个剧情，而且呈现了一个变乱后，我们并非让用户挑选一个选项来促进剧情，而是让用户随意拍一个照片去促进知识库的主要内容，用 4v 去辨认照片，并将辨认成果输入给大模子来持续促进剧情。

　　这范例的智能体我们统称为轻量级智能体，一天能够做好几个，如今扣子之类的也都在做这类。那末这类智能体合适甚么场景呢？我其时有以下考虑：

　　这个营业是其时跟某幼儿园交换的一个计划。其时是我们有个幼儿园平台体系，有一次去调研，幼儿园教师反应每周都需求写本人班里每一个小孩的一个周报，很费事，一个教师弄一个班要花一天工夫，需求看他这一周的各类 IOT 数据，然后再想怎样写，写完后，每周末会跟从一个叫高光时辰（每周抓拍小伴侣的照片）的推送一同推给家长。

　　假如使命过于庞大（如需求完成的内容较多，完成的使命项没有递进干系），简单呈现只做部门使命的状况，这个是很常见的。这类征象倡议接纳 langchain 的计划（前面会提到）经由过程增长挪用次数完成，大概在输出请求中明白列出每步输进项。并且接纳长链的方法，能够增长大模子的考虑时长，实在会变相的让快考虑变成慢考虑，进步答复的结果。

　　大模子主动评测这类场景，让模子主动停止两个内容的比照，会有较大几率以为看到的第一个内容是更好的（大概是以第一个内容为参考系来评价第二个），明白尺度是一种法子，但其实不总有用。有一种处理法子是构建一其中立的参考谜底，然后让两个内容别离与圈外人比对。大概是采纳交流打分（既 A 前 B 后、A 后 B 前各一次），然后取均匀再比照。

　　c、轻量级智能体靠的次要是创意而不是提醒词本领或模子微调，对提醒词的写法没有严厉的请求知识库的主要内容，但对大模子才能的依靠较高，基座模子才能越强，智能体的弄法越多，品种也会越丰硕，固然结果也会越好。

　　a、向量库是根据 token 对文本停止切块，许多时分切的相称渣滓，招致丧失了许多语义信息。

　　autogen 和 autoagent 固然模样差未几，可是道理有点差别，大佬说 autogen 的一其中心设想准绳是精简和利用多智能体对话来整合多智能体事情流。这类办法还旨在最大限度地进步完成的可重用性 agents。我小我私家的了解就是经由过程 agent 消费 agent 的思绪，进步通用性主动性，削减报酬投入。

　　这时候不能不再慨叹下大模子真是很强，已往我作为 NLP 产物，根本上很难到场到算法调试环节，如今有了 LLM，我能够全程到场大模子挪用的链路，每一个环节的 prompt，每一个环节供给哪些营业数据出来，链路怎样链接，都是跟算法一同做，终究不再是一个开辟历程只能买零食和打游戏的AI产物了。

　　文章联系关系有了当前，更深的实体干系也是个成绩，究竟结果许多实体干系是硬性干系，好比头孢忌讳喝酒这类。由于我们之前构建过一些安康相干的常识图谱，我们就想，实在能够将常识图谱作为一层里面的框架，套在大模子上方做一个干系把控，同时可使用常识图谱上更加高效的检索、推理才能。该计划需求教会大模子如何去停止常识图谱的挪用，如停止根底查询、多跳查询、隐含干系推理、图阐发等，次要使用的仍是常识图谱中成熟的一些才能来弥补大模子的推理和掌握。

　　前公司有一条营业线的客户是连锁美容院和美容品店，客户诉求是期望有一套主动化培训产物，我就用 GPT 给他们简朴树模了下。由于我对美业不太懂，以是先讯问 GPT 该当如何停止评价，然后再基于他的答复来写 COT。实在接纳如许的方法，能够去做许多差别范畴的 COT，先问 GPT4 这个范畴的干事办法是甚么模样的，再写成 COT 指令。

　　AI 病人要做的比力风趣，同时要能比力风趣并准确的展示用户（大夫）开的处方的反响，依靠于背后预置准确的问诊常识库。而用户让许多的 AI 病人被治得很惨，反过来也能够向用户提高医学常识遐想中国(lenovo china)遐想常识库。这类比力合适于一些官方科普机构协作，做兴趣科普。

　　因而我们做了改良，起首场景不是做法式开辟而是做市场调研、产物设想、项目迭代、运营战略这类不触及法式开辟运转的场景，进步其容错率，其次我们优化了一下各个 AI 脚色协同事情的通讯链路，并在此中增长了野生干涉机制。

　　前面的内容，我会把大模子呈现后我们在产物使用上的各类探究经历停止一些收拾整顿，分享给各人。全部探究历程实在还挺故意思的，并且比力荣幸的是大模子呈现后事情过的两个处所都是偏 AI lab 类的手艺使用预研团队，也就有幸做了一次很出格的面向大模子手艺停顿的产物迭代。

　　不敷：langchain 的不敷也很简单发明，仍是过于野生化了，需求野生将每链拼接好，十分依靠野生将全部流程设想明晰。而且模子只是做每小步，并没有到场团体决议计划，天生的成果能够也会缺少团体感官。

　　输入信息：某偶像写真、用户定位，内部数据：某偶像微博语录、气候查询接口，天生方法：天生气候预告的图，图里需求有对应都会元素、有天气的元素、有按照穿衣保举而天生的肖战的动漫风写真照，再拼上去气候度数。

　　参考 autogpt 的思绪，分离 RAG 的专家经历来做垂域才能，让大模子本人做各类决议计划以完成一个使命。这个使命就是去计划种地，并停止不竭的深思进步本人的种地才能。由于是一个 demo，内里的输入实际上是做的模仿，并没有接纳纯理想的 IOT 数据来完成，同时经历之类的内容也做的相对简朴。不外最初的 demo 运转得仍是挺不错的，反应结果很合意知识库的主要内容。

　　看上面的逻辑图，能够发明，GPT 停止传入函数参数是第二步，返回函数挪用成果是第三步，模子天生成果是第四步，根据这个前后次第，function call 获得到参数是在天生成果之前，也就是说 function call 极大几率是从用户输入的 prompt 中获得参数。因而这也就注释了我们失利的缘故原由，我们是期望 function call 从模子天生的成果中获得到参数——再停止代码挪用得到成果——再拼接回模子成果中，而当 prompt 变庞大——模子天生的速率较慢没有天生出所需的参数时，function call 就从我们输入的汗青信息中寻觅了毛病的参数。

　　轻量级智能体合适文娱标的目的，分歧适东西（特别是类saas的重东西）标的目的，也分歧适深化嵌套进营业流。缘故原由是其深度依靠模子，招致的不不变性。相反，东西、嵌套类合适重型智能体（上面的品类）。

　　这个思绪也是测验考试做的强运营的一个功用。大要的流程就是小伴侣说一个故事思绪大概枢纽词，用 gpt 把这些酿成一个有10-20页的绘本故事，天生每页的笔墨和对应的图片形貌（sd prompt），然后挪用我们布置的特地做绘本的 SD 模子来跑图，最初再拼接成一个绘本 PDF，然后每一个小伴侣能够对着在班上讲本人的绘本故事，还撑持把绘本故事和讲故事的视频同享到怙恃手机端，小胖伴侣也能够回抵家后给怙恃讲故事。这个举动客户仍是挺合意的。

　　b、经由过程在适宜的机会赐与大模子适宜的内部数据（从数据库大概东西中来），来提拔大模子处理详细的、时效性的成绩的结果。

　　举一个详细具体的例子让你的门生更简单了解这个常识观点和常识使用，这个例子需求有：a、明晰的成绩形貌，b、对这个成绩的阐发，c、这个成绩为何会用该常识点，d、完美的常识使用历程和具体的使用解答步调，e、具体的成绩计较成果；

　　RAG 呈现后，对 TOB 的场景可谓是一大助力，究竟结果 TOB 需求肯定性，RAG 就是把大模子困在一个笼子里来阐扬代价。

　　枢纽词示例给的太多，模子会更存眷前面的，好比创作场景时，我们报告他能够参考玛丽苏、韩剧、小时期等范例认识的拼音，范例写的许多，可是没必要然就可以提拔模子发散结果，招致模子的创作能够会偏于反复。

　　那如何承载这个框架呢？我想到了特德姜的一篇小说《软件体的性命周期》（保举一看）。大抵思绪就是，每一个用户有个数字宠物，数字宠物再假造空间中和其他的数字宠物一同游玩，同时数字宠物会自动找里面理想天下的仆人谈天，分享他在假造空间的举动，然后理想的仆人也能够进入数字空间中跟宠物们一同游玩。如许，实在就构成了信息有用的表里双轮回。可是终极没有去完成，看看到底结果怎样，觉得比力惋惜。

　　上面说了许多，实际上是 agent 的将来瑕想，上面详细的写一写重型Agent的搭建。实在大部门都是采用了开源架构，因而就不反复画框架了。上面列的几个 agent 框架，假如各人想深化理解下，保举两篇：

　　注：prompt 内容是 agent 结果的中心，最主要的是逻辑形貌明晰。同时对 prompt 的迭代调解上也最好接纳掌握变量法，只变更一个模块来停止调解，避免多个模块 prompt 互相影响招致难以定位成绩。

　　使用这个思绪，我们做了一个略微庞大一点的脚色对话游戏。大抵逻辑是如许的：每一个脚色有本人的布景设定 system，同时用户与脚色开启对话会有一个预置的谈天故事布景（好比两小我私家在大黉舍园初度碰头之类的）；用户与脚色停止对话的时分，会有个监控 agent 监控这个对话流，并输出对应的阐发战略（好比 AI 需求聊的激进一点、热忱一点、冷漠一点之类的）；然后还会有一个进度 agent 去阐发对话进度（好比聊到甚么时分两小我私家差未几没话题了，需求转换场景）；当肯定转换场景后，会有一个场景 agent 按照上文用户与 AI 的谈天内容、上一个谈天布景故事，往复天生下一个场景，促进两人进入新的场景持续谈天，相称于影戏里的转场。

免责声明：本站所有信息均搜集自互联网，并不代表本站观点，本站不对其真实合法性负责。如有信息侵犯了您的权益，请告知，本站将立刻处理。联系QQ：1640731186