返回
繁体
首页

首富从看见信息面板开始

视觉:
关灯
护眼
字体:
大
中
小

第二百八十五章 喵~(3 / 4)
屏幕上写着这一节的标题:【长时记忆】。

    「现在汤圆很强,但是它的工作是响应式的。」姜亦心说道,「我问一个问题,它回答一个问题;我追问下一个问题,它回答下一个问题。等到我问的问题太多了,超出了上下文窗口,整个对话就没法用了,然後打开下一个问题,一切从头开始。我们做御风的时候就对这个问题特意做了优化,然後在做这个成长助手的时候,我们遇到了同样的问题。」

    这确实是在一线应用开发中才会遇到的痛点。

    韩路一回头看了看苏念念,她最近做经营管理比较多,已经脱离产品一线一段时间了。

    韩路一怕苏念念听不懂,停下来做了一些讲解—当然,他是对着姜亦心说的,只是让苏总顺便听一下。

    「大模型进行生成的时候,就是把所有的上下文都放进模型里跑一遍,最後得出答案,所以上下文给的越多,占用的内存就越多,这个量有个极限大小,就是上下文窗口。」韩路一说道,「现在汤圆的上下文窗口是二十万个词元,这个量不算小,如果只是日常问答是够用的,但是在工程中使用的话就捉襟见肘了。」

    「超出上下文窗口之後,大模型还能继续工作,但是它就会默默地忘记用户最一开始说的话,给出的答案很多时候都驴唇不对马嘴了,而用户还不知道是哪里出了问题。」

    为了形象说明,韩路一讲了个网上的段子。

    「有人说,你在和大模型聊天的时候,可以在最一开始加一个要求,让他在每一个回答最後都加一个「喵」,等他什麽时候大模型突然回答不带喵」字了,你就知道他已经超出上下文窗口了,需要换一个新的聊天进程了。」

    苏念念确实不知道这些,尤其是最後的那个段子,她轻轻点了点头。

    「所以在汤圆的上下文窗口有无限大之前,我们只能让它回答窗口里能撑得下的回答」姜亦心总结道。

    这个总结很到位。

    把问题分析完之後,姜亦心终於翻到了她的提案。

    AI技能。

    「这是什麽?」韩路一开口问道。

    姜亦心想了想,说道:「可以理解成一种可复用的行动脚本。」

    她怕这个解释太虚,又换了个说法。

    「比如说,我想要一个运营复盘的技能,模型知道怎麽写复盘,但每次都要从头思考,像一个很聪明但没受过公司培训的新人。AI技能就是把公司里成熟员工的做法沉淀成一套固定动作,什麽时候触发,先看哪些数据,怎麽判断异常,怎麽拉取用户反馈,最後输出什麽格式,全都写清楚。」

    「类似SOP(Standard OperatingProcedure,标准操作步骤)啊。」苏念念说。

    乍一看,这个概念和御风很像。

    御风也是把编程拆解成了不同的步骤,其中的每一步都由大模型来进行规划和判断,然後御风的工具再在代码库中进行执行。

    但是韩路一和苏念念都很快地意识到,这是同一个理念在不同场景下的应用。

    AI技能是把一套提示词给大模型,让它根据提示词记录的方式去行动,但具体的行动还是因时而异。

    真的就像把一个技能做成了一个插件,让大模型即插即用。

    在大模型还不能真的做到AGI的时候,这是一个通过工程方案来突破模型能力限制的技术。

    韩路一听了点了点头,表示认可。

    当然了,这只是一个大方向,真的想要落地,其中要攻克的技术难关不知道还有多少。

    但是至少这个方向听起来是可行的。

    现在AI这个行业,模型层在卷,应用层在卷,在模型和应用之间的工程层也在卷。

    只有一直卷下去,才能卷出一条最终通往AGI的道路来。

    韩路一拍了一下手掌,做了最後的总结。

    「想法不错,是个值得试试的方向。这些应用层的设计,很大程度上依赖於汤圆的能力,汤圆越强,应用就越强。」韩路一说道,「小姜,你开始写产品说明的时候和赵总详细对一下汤圆的能力边界。」

    「好的,韩总。」姜亦心接受命令。

    果然,韩总知道该怎麽办。

    「关於这个AI技能的开发优先级,让苏总来给你排吧。」韩路一又给源码科技的CE0

    下了任务,公司方向、资源调配,这些都是CE0的工作。

    苏念念点了点头:「小姜你最近探索的方向越来越多,我得给你多招几个人了,记得和沈丛云排面试的时间。」

    姜亦心吓了一跳。

    我也要去面试别人了吗?

    现在她手底下的产品经理都是苏念念招进来的,真要去面试别人,姜亦心还没做好准备。

    苏念念看出她的不安,安慰道:「没关系,谁都有第一次的,我面试你的时候也很紧张呢。」

    姜亦心回想了一下,有吗?

    我