自回归生成 自回归生成的核心是一个循环：每一步输入已有 token 序列，输出下一个 token 的概率分布，选取下一个 token，将 token 追加到已有序列，重复该过程直到满足停止条件...

大语言模型并不是一种脱离 Transformer 而独立出现的新架构，而是在 Transformer 基础上经过长期演化与工程实践逐步形成的。从最初的 Encoder-Decoder，到如今主流...

基本定义 强化学习的核心思想是通过机器与环境的交互来学习最优行为策略，最终目标是让机器在特定任务中获得最大的长期累积奖励 基本过程为机器处于一个环境中，观察当前的环境状态 x，选择并执行一个动...

背景 在传统 decoder-only 的大模型架构中，在 Self-Attention 层后使用 FFN 层处理输出，所有的 token 都需要经过整个 FFN 层权重矩阵的计算，计算开销大...

在现代 Web 应用中，用户身份认证与状态管理是构建安全、可靠系统的基础。随着前后端分离架构、单页应用（SPA）、移动端 API 调用等场景的普及，​​Cookie、Session 和 Toke...

开始 项目目录 Gradle 目录结构 123456789101112131415161718192021. # 项目根目录├── ...

自定义配置可在 _config.stellar.yml 或主题目录中的 _config.yml 设置，本博客统一在主题目录中的 _config.yml 设置 注入外部脚本 可在 _config...

主题的自定义逻辑全部放在主题目录中，博客目录只存放文章 底部文字居中 底部文字默认左对齐，修改为居中，样式定义在主题目录下 source/css/_components/partial/foo...

前言 经过了差不多两个月的时间，新的博客终于基本施工完成了，这个过程中还是有不少自定义的地方，正好可以开个专栏记录一下 为什么要建站 在建站之前，我一直都是在本地使用 typora 记录笔记...

任务背景 本任务是使用基于规则的方法，将 PDF 中的信息提取出来，组合成具有组织结构的 json 格式 PDF 文档的性质 PDF 文档内容可分为文本、图片、表格三种元素 本任务中的 PD...