阿里云搭建多个网站简单地产网站怎么上

阿里云搭建多个网站,简单地产网站怎么上,女生学动漫设计好找工作吗,和女人做的电影网站检索增强生成#xff08;RAG#xff09;是一种新兴的 AI 技术栈#xff0c;通过为大型语言模型#xff08;LLM#xff09;提供额外的“最新知识”来增强其能力。 基本的 RAG 应用包括四个关键技术组成部分#xff1a; Embedding 模型#xff1a;用于将外部文档和用户查…检索增强生成RAG是一种新兴的 AI 技术栈通过为大型语言模型LLM提供额外的“最新知识”来增强其能力。基本的 RAG 应用包括四个关键技术组成部分Embedding 模型用于将外部文档和用户查询转换成 Embedding 向量向量数据库用于存储 Embedding 向量和执行向量相似性检索检索出最相关的 Top-K 个信息提示词工程**Prompt engineering**用于将用户的问题和检索到的上下文组合成大模型的输入大语言模型LLM用于生成回答上述的基础 RAG 架构可以有效解决 LLM 产生“幻觉”、生成内容不可靠的问题。但是一些企业用户对上下文相关性和问答准确度提出了更高要求需要更为复杂的架构。一个行之有效且较为流行的做法就是在 RAG 应用中集成 Reranker。01.什么是 Reranker**Reranker 是信息检索IR生态系统中的一个重要组成部分用于评估搜索结果并进行重新排序从而提升查询结果相关性。**在 RAG 应用中主要在拿到向量查询ANN的结果后使用 Reranker能够更有效地确定文档和查询之间的语义相关性更精细地对结果重排最终提高搜索质量。目前Reranker 类型主要有两种——基于统计和基于深度学习模型的 Reranker基于统计的 Reranker 会汇总多个来源的候选结果列表使用多路召回的加权得分或倒数排名融合RRF算法来为所有结果重新算分统一将候选结果重排。这种类型的 Reranker 的优势是计算不复杂效率高因此广泛用于对延迟较敏感的传统搜索系统中。基于深度学习模型的 Reranker通常被称为 Cross-encoder Reranker。由于深度学习的特性一些经过特殊训练的神经网络可以非常好地分析问题和文档之间的相关性。这类 Reranker 可以为问题和文档之间的语义的相似度进行打分。因为打分一般只取决于问题和文档的文本内容不取决于文档在召回结果中的打分或者相对位置这种 Reranker 既适用于单路召回也适用于多路召回。02.Reranker 在 RAG 中的作用将 Reranker 整合到 RAG 应用中可以显著提高生成答案的精确度因为 Reranker 能够在单路或多路的召回结果中挑选出和问题最接近的文档。此外扩大检索结果的丰富度例如多路召回配合精细化筛选最相关结果Reranker还能进一步提升最终结果质量。使用 Reranker 可以排除掉第一层召回中和问题关系不大的内容将输入给大模型的上下文范围进一步缩小到最相关的一小部分文档中。通过缩短上下文 LLM 能够更“关注”上下文中的所有内容避免忽略重点内容还能节省推理成本。上图为增加了 Reranker 的 RAG 应用架构。可以看出这个检索系统包含两个阶段在向量数据库中检索出 Top-K 相关文档同时也可以配合 Sparse embedding稀疏向量模型覆盖全文检索能力。Reranker 根据这些检索出来的文档与查询的相关性进行打分和重排。重排后挑选最靠前的结果作为 Prompt 中的Context 传入 LLM最终生成质量更高、相关性更强的答案。但是需要注意相比于只进行向量检索的基础架构的 RAG增加 Reranker 也会带来一些挑战增加使用成本。03.使用 Reranker 的成本在使用 Reranker 提升检索相关性的同时需要着重关注它的成本。这个成本包括两方面增加延迟对于业务的影响、增加计算量对服务成本的增加。我们建议根据自己的业务需求在检索质量、搜索延迟、使用成本之间进行权衡合理评估是否需要使用 Reranker。Reranker 会显著增加搜索延迟未使用 Reranker 的情况下RAG 应用只需执行低延迟的向量近似最近邻 (ANN) 搜索从而获取 Top-K 相关文档。例如 Milvus 向量数据库实现了 HNSW 等高效的向量索引可实现毫秒级的搜索延迟。如果使用 Zilliz Cloud还能借助更加强大的 Cardinal 索引进一步提升搜索性能。但如果增加了 Reranker尤其是 Cross-encoder Reranker 后RAG 应用需要通过深度学习模型处理所有向量检索返回的文档这会导致延时显著增加。相比于向量检索的毫秒级延迟取决于模型大小和硬件性能延迟可能提高到几百毫秒甚至到几秒Reranker 会大幅度提高计算成本在基础架构的 RAG 中向量检索虽然需要预先使用深度学习模型处理文档但这一较为复杂的计算被巧妙设计在离线状态下进行。通过离线索引Embedding模型推理每次在线查询过程只需要付出极低计算成本的向量检索即可。与之相反使用 Reranker 会大大增加每次在线查询的计算成本。这是因为重排过程需要对每个候选文档进行高成本的模型推理不同于前者可以每次查询都复用离线索引的结果使用 Reranker 需要每次在线查询都进行推理结果无法复用带来重复的开销。这对于网页搜索、电商搜索等高流量的信息检索系统非常不适用。让我们简单算一笔账看看使用 Reranker 的成本。根据 VectorDBBench 的数据一个能负担每秒钟 200次 查询请求的向量数据库使用成本仅为每月 100 美元平摊下来相当于每次查询成本仅为 0.0000002 美元。如果使用 Reranker假设第一阶段向量检索返回 top-100 个文档重排这些文档的成本高达 0.001 美元。也就是增加 Reranker 比单独执行向量搜索的成本高出了 5000 倍。虽然很多实际情况中可能只针对少量结果进行重排例如 10 到 20 个但是使用 Cross-encoder reranker 的费用仍然远高于单纯执行向量搜索的费用。从另一个角度来看使用 Reranker 相当于在查询时负担相当于离线索引的高昂成本也就是模型推理的计算量。推理成本与输入大小文本的 Token 数和模型本身的大小有关。一般 Embedding 和 Reranker 模型大小在几百 MB 到几个 GB不等。我们假设两种模型尺寸接近因为查询的文档一般远大于查询的问题对问题进行推理成本忽略不计如果每次查询需要重排 top-10 个文档这就相当于10 倍对于单个文档离线计算 Embedding 的成本。如果在高查询负载的情况下计算和使用成本可能是无法承受的。对于低负载的场景例如企业内部高价值低频率的知识库问答这一成本则可能完全可以接受。04.成本比较向量检索 v.s. Cross-encoder Reranker v.s. 大模型生成**虽然 Reranker 的使用成本远高于单纯使用向量检索的成本但它仍然比使用 LLM 为同等数量文档生成答案的成本要低。**在 RAG 架构中Reranker 可以筛选向量搜索的初步结果丢弃掉与查询相关性低的文档从而有效防止 LLM 处理无关信息相比于将向量搜索返回的结果全部送进 LLM 可大大减少生成部分的耗时和成本。举一个贴近实际的例子第一阶段检索中向量搜索引擎可以在数百万个向量中快速筛选出语义近似度最高的 20 个文档但这些文档的相对顺序还可以使用 Reranker 进一步优化。虽然会产生一定的成本但 Reranker 可以在 top-20 个结果进一步挑出最好的 top-5 个结果。那么相对更加昂贵的 LLM 只需要分析这 top-5 个结果即可免去了处理 20 个文档带来的更高成本和注意力“涣散”的问题。这样一来我们就可以通过这种复合方案平衡延迟、回答质量和使用成本。05.哪种情况适合在 RAG 应用中使用 Reranker追求回答高精度和高相关性的场景中特别适合使用 Reranker例如专业知识库或者客服系统等应用。因为这些应用中的查询都具有很高的商业价值提升回答准确性的优先级远高于系统性能和控制成本。使用 Reranker 能够生成更准确的答案有效提升用户体验。但是在网页搜索、电商搜索这类场景中响应速度和成本至关重要因此不太适合使用代价高昂的 Cross-Encoder Reranker。此类应用场景更适合选用向量检索搭配更轻量的 Score-based Reranker从而确保响应速度在提升搜索质量的同时降低开销。06.总结相比于单独使用向量检索搭配 Reranker 可以通过对第一层检索结果的进一步精细化排序提高检索增强生成RAG和搜索系统中答案的准确性和相关性。但是使用 Reranker 会增加延时和提高使用成本因此不适合高频高并发的应用。考虑是否使用 Reranker 时需要在回答准确性、响应速度、使用成本间做出权衡。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】