由于用户原始查询可能是措辞不准确或缺少语义信息,LLM 难以理解并生成相关的结果,本文介绍了一些重要的Query 重写技术,如HyDE、Query2Doc等。

ReadMore »



本文介绍了GraphRAG通过引入知识图谱技术,改进了传统RAG的不足。它通过三元组抽取、子图召回和子图上下文生成,提供了更准确的知识检索和生成。

ReadMore »



本文详细介绍了RAPTOR、SELF-RAG和CRAG等优化算法,同时对一些RAG工程实践中的优化方法做了介绍,如文本切割、Query重写、混合检索等。

ReadMore »



本文介绍了如何通过任务拆分、少样本学习和思维链(CoT)等方法来提高人工智能模型的推理和响应能力。特别强调了明确定义任务、提供背景知识和术语、以及通过分步解释来增加透明度和准确性的重要性。文中还探讨了零样本CoT和少样本CoT,展示了如何通过设置输出格式和提供关键词来改善推理结果的抽取。最后,文中通过JSON格式输出的例子,说明了如何将推理过程和结论以结构化数据的形式呈现,以便于分析和理解。

ReadMore »



vLLM优势在于其采用了PagedAttention技术,该技术通过管理attention的keys和values,显著提升了模型的吞吐量,最高可达huggingface实现的24倍,且无需对模型结构进行改动。

ReadMore »