rag中的难点和挑战

https://www.reddit.com/r/AI_Agents/comments/1q79z4e/rag_isnt_query_vector_llm_thats_the_toy_version/

理论

1. 检索问题

对于检索问题，主要的困难是很多时候我们的系统很难找到合适的上下文，其原因包含以下几点：

1）语义歧义。文本的词嵌入表示有时候并不能准确捕捉词义之间的微妙差异，例如“小米”一词可能指谷物也可能指小米科技公司，词嵌入可能会混淆这些概念，从而导致检索时找到不相关的结果。

2）向量大小与方向。对于向量之间的相似性度量，我们经常使用的是余弦相似度，但该度量方式关注的是向量的方向而不是大小，这可能会导致结果在语义上差别很大。例如两个向量，一个代表种子投资，另一个代表风险投资，它们的方向可能非常接近（都涉及投资），但语义上差别很大（投资的规模）。