自回归生成 自回归生成的核心是一个循环：每一步输入已有 token 序列，输出下一个 token 的概率分布，选取下一个 token，将 token 追加到已有序列，重复该过程直到满足停止条件...

大语言模型并不是一种脱离 Transformer 而独立出现的新架构，而是在 Transformer 基础上经过长期演化与工程实践逐步形成的。从最初的 Encoder-Decoder，到如今主流...

基本定义 强化学习的核心思想是通过机器与环境的交互来学习最优行为策略，最终目标是让机器在特定任务中获得最大的长期累积奖励 基本过程为机器处于一个环境中，观察当前的环境状态 x，选择并执行一个动...

基本型 每个样本可以对应到样本空间中的一个点，对应样本分类也就是找到一个超平面，将不同类别的样本划分开 超平面使用线性方程来表示 ωTx+b=0\omega^Tx+b=0 ωTx+b=0 假设...

聚类任务 聚类是无监督学习任务，样本的标记信息未知，聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇，聚类仅能自动形成簇结构，不一定具有明确的概念语义 聚类既可以作为...

基本概念 LangChain 是一个用于开发基于 LLM 应用的框架，LangChain 由以下包构成 langchain-core：包含核心组件 langchain：包含了通用的模型、链等...

语言模型 大语言模型（LLM）是通过预测下一个词的监督学习方式进行训练的。具体来说，首先准备一个包含数百亿甚至更多词的大规模文本数据集。然后，可以从这些文本中提取句子或句子片段作为模型输入。模...

提示词设计原则 在 LLM 开发中，通常将 LLM 的输入称为 Prompt，将 LLM 的输出称为 Completion 提示词（Prompt）设计的两个关键原则 编写清晰、具体的指令 给...

个体与集成 集成学习将多个个体学习器的学习结果通过某种策略结合起来，每个个体学习器可以使用相同的学习算法，称为基学习器，也可以使用不同的学习算法 集成学习通常针对弱学习器进行，个体学习器应该...

贝叶斯决策论 贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择那个能使条件风险最小的类别标记 h∗(x)=arg⁡min⁡c∈ΥR(c∣x)h^*(x)=\arg\min\limits_...