LLM提示词效果提升
本文介绍了如何通过任务拆分、少样本学习和思维链（CoT）等方法来提高人工智能模型的推理和响应能力。特别强调了明确定义任务、提供背景知识和术语、以及通过分步解释来增加透明度和准确性的重要性。文中还探讨了零样本CoT和少样本CoT，展示了如何通过设置输出格式和提供关键词来改善推理结果的抽取。最后，文中通过JSON格式输出的例子，说明了如何将推理过程和结论以结构化数据的形式呈现，以便于分析和理解。
vLLM学习笔记
vLLM优势在于其采用了PagedAttention技术，该技术通过管理attention的keys和values，显著提升了模型的吞吐量，最高可达huggingface实现的24倍，且无需对模型结构进行改动。
ReadMore »
大模型LLM数据处理
本文是对 LLM 进行微调以及二次预训练时，训练数据预处理的相关文章的一些学习笔记，包含极少的经验总结。多样化的训练数据很重要,要涵盖使用场景的各种情况,避免训练数据单一。
ReadMore »
LLaMA算法学习
LLaMA是Anthropic推出的多语言大型语言模型，采用类GPT的transformer架构，但相比GPT更高效，计算资源需求更低。总体而言，LLaMA通过更高效的模型设计，实现了多语言理解的高性能计算，降低了资源门槛，为语言模型的应用普及提供了可能。
ReadMore »
Prompt提示优化(二)
Prompt即提示学习，是继预训练+微调范式后众望所归的第四范式。在预训练+微调的范式中我们调整预训练模型来匹配下游任务数据，本质是对预训练学到的众多信息进行重新排列和筛选。