本文是对 LLM 进行微调以及二次预训练时,训练数据预处理的相关文章的一些学习笔记,包含极少的经验总结。多样化的训练数据很重要,要涵盖使用场景的各种情况,避免训练数据单一。

ReadMore »



LLaMA是Anthropic推出的多语言大型语言模型,采用类GPT的transformer架构,但相比GPT更高效,计算资源需求更低。总体而言,LLaMA通过更高效的模型设计,实现了多语言理解的高性能计算,降低了资源门槛,为语言模型的应用普及提供了可能。

ReadMore »



Prompt即提示学习,是继预训练+微调范式后众望所归的第四范式。在预训练+微调的范式中我们调整预训练模型来匹配下游任务数据,本质是对预训练学到的众多信息进行重新排列和筛选。

ReadMore »



提示工程(Prompt Engineering)是一门较新的学科,关注提示词开发和优化,帮助用户将大语言模型(Large Language Model, LLM)用于各场景和研究领域。

ReadMore »



对于语音合成项目,数据预处理对最终合成效果至关重要,这里总结梳理下常用音频编辑软件数据处理方法。

ReadMore »