这半年来无论是工作所需、还是个人兴趣、或者是好奇心驱动，LLM成了我这半年的精力重心，从FunctionCalling、模型能力表现、Prompt优化、RAG到Agent设计，让我一次次的感受到自身能力的欠缺，模型在Fine-Tune，我也在”Fine-Tune“。
团队背景
两位女生、一位男生；两位ENTP、一位INFJ；两位巨蟹座、一位狮子座；三位配合默契的草台班子。
虽然我们三个都不算是特别专业参赛选手，虽然后来才知道曾经我们都偷偷想过”要不就这样吧？“、”可以放弃吗？“，但是肩负着彼此的责任感，我们撑了下来。
使用背景
12月初内测时就成为Coze使用者了，几个月的感受下来，Coze的版本迭代速度异常之快，但是在丰富产品功能的同时也注重用户体验，新手友好度拉满。
不管是在飞书还是在DC中，都有使用反馈建议入口，debug也相当及时。
创意背景
1.开场Greeting2.生图Generategeneral1.宠物肖像照生成GenerateArtisticPhotosworkflow（keywords-plugin-database-picture）2.图片无损放大ImageEnlargementpartworkflow（keywords-plugin-database-picture）3.抠图Cutoutworkflow（keywords-plugin-database-picture）3.定制Customizedgeneral1.定制方式Customizedway1.官方定制2.三方定制2.定制产品类型Customizedtypeknowledge3.执行定制Performcustomization1.官方定制/表单信息收集lark2.三方定制（淘宝/拼多多）searchurltop34.咨询Customergeneral1.养宠知识pet2.订单咨询Oder3.服务咨询consultingservice4.指令slashworkflow-card2.能力设计及实现Agent的主要能力与其提供的服务流程一致：分为以下3个部分：
2.2.1.核心生图服务——宠物肖像照生成
在生图模块，在保障基础使用的准则上，也尝试了个性化生图的进阶拓展，我们除过使用平台提供的官方插件外，创建了三个自定义插件。
（1）基础生图
这一部分由于涉及调用指令较多，为避免模型产生幻觉，所以采用workflow来实现，具体流程设计如下：
LLM提取参数-->condition判断使用模型-->DataBase保存-->赋值返回用户
技术实现过程中的难点与亮点：
（2）进阶生图——自定义插件（针对宠物换装的微调小模型）
1）提供自定义指令生成图片
考虑到仅基础生图，一方面内容过于单薄，另一方面很难满足用于个性化创作的需求，于是引入三方模型来创建自定义插件，实现自定义指令生图的功能。
其实这一环节需要再琢磨和优化的地方还很多，对于小白用户可能还需要更多的操作指引，对于高玩用户，这种形式是否可以满足他们的需求？我们引入的模型是否够丰富？这些都是我们在之后需要去完善的点。
2）衍生需求——自定义插件实现
用户在图片创作过程中，除了创意性需求，自然也会伴随着衍生需求，同时这也是大众客群的需求。
如果我们引入了非目标客群，但因为提供了良好的基础能力，在一定程度上也可以为产品带来口碑效应进行传播。
这一部分也是我们在尝试做商业化落地的探索，在马斯洛需求层次中，满足了安全需求，自然化追逐情感需求，宠物是养宠人的情感寄托。而提供定制化服务可以将承载着无形的爱转化成有形的纪念品。
对于一个提供多元能力的机器人，在操作过程中，难免用户会有使用障碍，应对用户咨询这种场景，我们将高频问题整理成FQA在对话过程中，通过recallKnowledge来处理日常疑问。
精准指令：“LLM理解能力很差”、“LLM听不懂我的话”、“LLM表现能力不好”…….其实很多差强人意的背后，是使用者对于模型掌控能力的匮乏。
用嘴说的需求肯定不能开发出一个好的产品，同样，一句话的prompt也无法让AI为你创建一个月盈利百万的企业。
我们无法要求每一个用户都掌握一套标准的指令体系，我们可以做的便是为用户提供更加快捷简单的指令，来大程度上避免因用户表示不清导致模型呈现效果差的场景。
于是，我参考discord、telegram机器人的设计方式使用slash指令，帮助用户在快速体验的同时，也可以触发更加准确的指令。
对此，在设计slash指令时，除过常规指令，也会设置一些兜底处理规则，让LLM辅助解决状况之外的突发事件。
很苦恼，尽管在Prompt里反复约束了不可以暴露自己的执行指令，但是机器人还是知无不言
最开始是在，保存宠物信息到DB时会出现这个问题，于是我使用workflow来约束这个现象，所以才会出现一个这么简单的工作流。
但是多次调试之后，指令暴露的事情愈演愈烈，甚至会把整个推理步骤也告诉用户
今天问过kimi官方员工，是模型Bug，51之后就会优化，期待～～
赛后被问到最多的就是控制机器人的Prompt，这里记录一下两个高频问题：
20240420我们在iamp的manner组队成功，开了第一场团队会议。
因为都是初学小白，我们第一次会议便是科普扣子、讨论报名Bot以及参赛Bot（因为前车之鉴，我们一度认为报名审核很严格，报名和参赛需要分两个机器人）
会后初步分工（其实就是先自学怎样使用扣子）这也为我们接下来一周的会议奠定了基础
各自研究扣子使用（休息一天），思考报名机器人
想到了做旅程规划机器人，提完想法后又开始忙碌于工作，这是的我们还在执着于三个人做3个不同的机器人，以致于顺利通过报名。
再次阅读报名信息时，恍然大悟，原来报名Bot就是参赛Bot
拿出了去年的Idea，去年实现它需要依赖思维缜密的产品设计、需要依赖多个模型引入、需要依赖程序开发，现在用扣子，我只要轻松拖拉拽就可以实现80%的功能。
熟读赛事规则，我们还在思考应该怎样抓住考点，试图找出更好的点子
制定机器人操作主流程及技能，着手于报名！我们最在意也最重要的报名！
还是考虑到报名审核问题，我们仨花了很大精力在报名机器人身上，计划比赛时机器人三合一。
在备赛过程中甚至拉来了外援队友（CozeBot），创建很多小Bot们来辅助我们，比如，代码翻译Bot、话术修改Bot、DeBugBot……感谢任劳任怨的小Bot们～
成功进入了参赛群，悬着的心刚放下，又悬起来了，甚至悬得更高了。
基本主流程prompt框架设计完成啦，在plugin、knowledge和Workflow还没有引入的情况，使用较为流畅，算个脑袋比较灵光的机器人。
但是由于我们都并非全职投入所有精力来做这件事，所以任务完成度30%，所以计划苦战一宿。
用上了GPT帮忙想的名字，敲定团队名称及汇报幻灯片结构（虽然最终没用上）
因为在月初约了朋友看演出，所以在上海出现了一个这样奇怪的人——她在地铁上、在Neo里居然抱着电脑劈啦啪啦敲敲敲～
越着急越出错，这次错是坐过站，不过碰巧来到了字节楼下，也算是提前踩点了
到家凌晨了，我们又开了一场赛前会议，主要解决目前的难点问题，核心问题就是自定义插件的创建。
解决无果，休整之后准备和它硬碰硬！
看来睡觉做梦还是有用的，朋友睡了一觉，梦见了问题出在了哪里，于是我们顺利的创建出来自己的插件，开心～
准备前往会场比赛啦，虽然我12点钟还在企图做汇报的keynote，折腾了一小时差点比赛迟到。
接下来，我们就开始如火如荼的比赛啦，需要在扣子xMoonshotx掘金动手实验室的公共空间里创建自己的机器人～
鏖战两小时，分工明确：
Siin：Prompt、Agent设计、调试
Tammy：Knowledge
瓜瓜：创建三个自定义生图插件，还有帮我copy另一个空间创建的workflow～
两小时嗖嗖嗖嗖～～～
开始执着于录制demo视频，结果汇报前发现内部指令暴露情况严重，呈现效果大打折扣，于是索性介绍了自己的Agent设计，形式也是超级直白的飞书文档，并没有用上计划中炫酷好看的keynote
轮到我上台时，链接失效，重开权限依旧失效，原来上传了我们的会议链接，看吧，着急就是会出错
有惊无险，在大家的护航与包容下，我终于在3分钟内唇枪舌战的介绍完了我们的产品，急死我了，脑子跟不上嘴。
到最后公布结果时，五位最佳表现奖一一揭晓，一个都没有我们，内心真的会有些小失落，我甚至都预想到冠军应该考古生物知识图谱的项目，因为别人台风超好，项目也非常有意义——让硅基生物探索碳基生物。
不过一想到现场这么多优秀的人，超棒的Idea，无论是谁都实至名归。
当大屏幕上出现了我们产品名时，什么？这几个字母怎么看着好眼熟，诶？这不是我们吗？我们怎么会得奖？肯定我出门时带了朋友送我的幸运挂坠。
包括赛后，也有群友Share了让Bot设计Bot，整体连贯性特别好，形成了一个自动化的工作流，从想法剖析——机器人设计——能力构建——产出最终prompt，形成了一个相对完整的闭环。
很感谢这次活动的主办方——稀土掘金、moonshot、coze，感谢在LLM研究领域帮助我的同事们，感谢开源创作者可以让我站在巨人肩膀上前行，感谢这次来之不易的参赛机会，感谢队友和每一个给予我善意的人～非常幸运也超值的一次活动，能够认识大家、聆听到认知之外的idea不虚此行。
5月25日，杭州也会有线下workshop哦～感兴趣的江浙沪朋友们一定不要错过～～～
BotName：哈喵HaMeow
Bot功能介绍：哈喵HaMeow提供了一种全新、互动性强的纪念宠物方式，同时也填补了宠物定制化艺术品市场的空白。在这里你可以实现从宠物肖像照生成到个性化产品定制的无缝体验。
BotID：7362792950516285475
如果对Coze创建与使用感兴趣的朋友，可以star、pull我新创建的Github仓库，让我们一起为Coze开源贡献一份力量～
主要内容预计如下
平时可以一起做一些有意思的尝试，解锁Coze/扣子的更多新奇用法～每个团队空间只有一百个名额手速要快哦～