GenWorld联合HuggingFace、Minimax、真格基金等海外内外知名AI组织，举办了第二届AI小说创作比赛——「假如…AI故事大赛」。
X@GobeUncleWang汇总了市面上最常被提及的向量数据库，整理了他们的性能特点，并按照基础、功能、可靠性、安全性、性能这5个方向、近40个维度列写了具体信息。
Pinecone：简单，托管，先发；专有，供应商锁定，不透明，价格高昂
Weaviate：良好的文档
Qdrant：RUST性能更好？API过于朴素，RUST版的Pinecone
Chroma：HNSWLIBoverClickHouse；连自己存储层都没有，做啥数据库
LanceDB：为多模态数据的分布式索引而设计；驱动单一
Milvus：算法众多，索引距离函数较丰富
Vespa：可以与BM25关键词检索混合使用；Java企业级，对开发者不友好
Vald：NGT算法；日本供应商；流行度低
Pgvector：复用Postgres基础设施，丰富的检索工具生态，最大支持维度受限
RedisStack：复用Redis；受限于单机内存，超大数据量性能劣势
ElasticSearch：复用ElasticSearch，与现有全文检索能力协同
只有DataAnalysisGPT和Julius成功完成了两个任务，Akkio和Polymer只完成了第一个任务，没能分析出胜率
Monica，成立于2023年,是伴随着ChatGPT和LLM而起来的全新AI应用的代表，是2023年成功活下来的「GPT套壳」产品的代表
00:102023年年底，对GenAI/大模型热潮的观察和体感
05:40白鸦的有赞11岁了，肖弘的Monica才1岁，两位今年是怎么过的？做了哪些事？
13:10体量和云计算两个判断，有赞从一开始就确定不会去做大模型
19:00Monica最初的状态很像独立开发者，看用户的需求跳进去感受
22:01Monica默认美元计价，今天AI应用Day1商业化的前提是出海么？
41:43在对LLM未来知之甚少的情况下(能力上限、未来演进速度等)，怎么保证现在做应用的投入，长期看不是无用功？
46:48今天这种ToC的AI整合产品，会不会像是PC时代的JiaThis或一淘网，只是过渡产品？
53:03大模型时代做有壁垒的APP，一定要有自己的模型吗？ToB或ToC，会有不同吗？
63:37对AI应用来说，长期最珍贵的资产是什么？什么样的应用不会被大模型覆盖？
70:28大厂虽然数据很多，但很多也不能拿来给模型用，怎么能通过产品设计让用户产生模型更能用的数据？
77:28ToB的AI产品，和ToC的AI产品，在设计思路和交互形式上有什么区别吗？
88:29除了自己做的以外，今年还有哪些AI产品给你留下了深刻印象？
96:39从年初开始，行业里一直在谈「AINative」，一年下来两位怎么理解这个概念？
99:31从企微的微伴助手到Monica插件，每次都能找到用户痛点场景，有什么相近的思考框架？
104:09大模型时代对产品经理似乎提出了新的要求，做了一年AI产品之后，你们是如何思考这个问题的？大模型时代的产品，核心竞争力是什么？
109:34「今天其实没多少创业的机会了，但是还是有很多做生意的机会！」
112:14「只有用户给你的钱是不用还的，其他所有人给的，都需要以某种方式N倍还回去的！」
尝试从头使用PyTorch重建工具和功能，而不是依赖第三方库
选择HuggingFace上的MistralOpenOrca作为基础LLM
选择OpenAI的Whisper作为音频编码器
选择MusicCaps数据集，并编写脚本下载YouTube视频
采样从零开始(SamplingfromScratch)
在这个阶段，作者首先确保能够正确加载基础的大型语言模型(LLM)并进行推理
具体来说，为了验证自己的理解和学习如何直接使用嵌入进行采样，作者没有使用Transformers库的生成工具，而是自己实现了一个采样函数；这个函数通过迭代地将采样结果拼接到输入ID中，实现了基于嵌入的文本生成
适应Whisper到Mistral(AdaptingWhispertoMistral)
将OpenAI的Whisper模型适配到MistralOpenOrcaLLM，以便将音频文件转换为可以输入到Mistral的嵌入
具体来说，提取了Whisper模型的音频编码器部分，并添加了一个额外的投影层，以将Whisper的音频嵌入(大小为1280)映射到Mistral的令牌嵌入(大小为4096)；同时确保了音频编码器的参数被冻结，只有投影层是可训练的
从零开始使用音频采样(SamplingwithAudiofromScratch)
在建立了基本模型之后，尝试使用音频输入从模型中采样
具体来说，创建一个音频采样函数，该函数首先加载音频文件的mel频谱图，然后通过模型生成文本描述；这个过程中，作者使用了之前定义的损失函数来确保只有标题部分的输出被用于计算损失
定义损失函数(DefiningLossFunction)
作者定义了一个标准的交叉熵损失函数，用于计算模型输出的logits
训练、过拟合和调试梯度(Training,OverfittingandDebuggingGradients)
最后开始训练模型，目标是通过仅训练可调Whisper音频编码器来使冻结的LLM能够描述给定的音频文件
具体来说，作者通过手动逐步执行训练步骤，记录并绘制权重更新，以及确保没有inf或NaN值，来确保训练设置正确；作者使用了简单的TrainableSubmodule，实现了稳定的训练，并在大约4天的训练后，损失值仍然在下降
通过增加更多音频任务(如转录、说话者识别等)来扩大训练规模，并应用微调LLM以复现参考论文中描述的“涌现”行为
假设有足够的数据和适当的训练策略，LLM应该能够在无需明确训练的情况下执行原始音频任务，比如识别说话者的年龄或性别
ShowMeAI知识星球资源编码：R223
这是中国信息通信研究院牵头制作的大模型落地应用的案例集，按照通用大模型、垂直大模型、大模型服务这三类，整理了2023年比较知名的国产大模型。
手册里的每个大模型，都详细介绍了其公司背景、概述、需求分析、案例介绍、效益分析，非常细致规范。也就是说，快速浏览这本手册，就可以完整get国产大模型一整年的发展轮廓~
以下是部分目录，感兴趣可以前往星球下载报告全文：
第一章通用大模型
第二章垂类大模型
梧桐·招聘-基于百度智能云千帆大模型平台的智能招聘系统
面向游戏行业的图像内容生成式大模型
中公网校：小鹿老师，为年轻人创造更多就业与成长机会
新华妙笔AI
小布助手
ChatDD新一代对话式药物研发助手
大模型数据分析智能助理DeepInsightCopilot
单晶炉自动化工艺识别多模态大模型
基于NDAI大模型的政务元宇宙平台
慧政大模型——面向政务服务垂直大模型
基于循道政务大模型的免申即享系统示范应用
东方财富自研金融大模型
基于大模型的信息结构化抽取方法
天津金城银行金融大模型示范应用
文修大模型助力中文校对提质增效
新型金融风险防范可信金融大模型
信阳市智慧工业平台
遥感大模型在农业信贷场景的应用
中国金茂人工智能大模型企业内部场景应用
中山大学附属医院智慧医院项目
阿斯利康：基于学术文献溯源的药品不良反应报告生成助手
基于知识图谱和大语言模型的制造业数字化转型平台
东方翼风大模型
智己汽车：用大模型打造智能时代出行变革者
基于山下话童大模型的贷后催收示范应用
海淀区一网统管接诉即办工程项目
风乌气象大模型
基于大模型的智能培训
面向围手术期的医专大模型研究及其落地应用
通过大语言模型与材料领域技术文件集合对原材料质保书进行智能审查
智能投顾助手——光子·善策
第三章大模型服务
注意：
大部分代码文档Notebook托管在了GoogleColab，一小部分在Kaggle上(因为免费版本可以提供更多内存)
有些Notebook所需内容超过了Colab免费版本上限，这时可以选择使用CloabPro版本或者在自己本地环境中运行
课程内容：
技术和库(TechniquesandLibraries)
通过小项目和实际例子探索不同的技术，以便在后续部分构建更大的项目
学习如何使用大型语言模型世界中最常用的库，如OpenAIAPI、HuggingFace等
涵盖的主题包括聊天机器人、代码生成、OpenAIAPI、HuggingFace、向量数据库、LangChain、微调(FineTuning)、PEFT微调、软提示调整(SoftPrompttuning)、LoRA、QLoRA、评估模型和知识蒸馏
项目(Projects)
创建项目并解释设计决策，每个项目可能有多种实现方式
企业解决方案(EnterpriseSolutions)
大型语言模型不是独立的解决方案，在大型企业环境中，它们只是拼图的一部分
探索如何构建能够改变拥有数千名员工的组织的解决方案，以及大型语言模型在这些新解决方案中扮演的主要角色
深度强化学习(DeepReinforcementLearning)课程是HuggingFace于2022年推出的系列课程，深受全球学习者的好评。
课程内容
学习深度强化学习理论和实践
使用著名的深度强化学习库，如StableBaselines3、RLBaselines3Zoo、SampleFactory和CleanRL
在独特环境中训练代理，如SnowballFight、HuggytheDoggo、VizDoom(Doom)、SpaceInvaders、PyBullet等
课程目录
单元1.深度强化学习简介
奖励单元1.与Huggy一起学习深度强化学习简介
直播1.课程运作方式、问答和与Huggy互动
单元2.Q学习简介
单元3.使用Atari游戏的深度Q学习
奖励单元2.使用Optuna进行自动超参数调优
单元4.PyTorch中的策略梯度
单元5.UnityML-Agents简介
单元7.多智能体和AI对战AI简介
单元8.第1部分：近端策略优化(PPO)
单元8.第2部分：在Doom中使用近端策略优化(PPO)
奖励单元3.强化学习中的高级话题
感谢贡献一手资讯、资料与使用体验的ShowMeAI社区同学们！