当前位置：首页
> 第4页
第4页
模型怎么知道「我」在句子开头还是结尾？位置编码与RoPE旋转位置编码拆解
1周前 (10-05)16
"我喜欢你"和"你喜欢我"，用了完全相同的三个字，意思却相反。人靠字的先后顺序读出这层区别，但 Transformer 里的注意力机制，本质上对顺序是"…
模型为什么要把句子切成碎片？BPE分词算法一步步拆解
1周前 (10-05)17
你用中文输入"今天天气不错"，模型看到的并不是这六个字。它拿到手的，是一串整数——每个整数对应词表里的一个 token，而一个汉字在多数主流模型里会被拆成两到三个 token。也就…
大模型推理为什么既想快又想省显存？KV Cache的缓存账与优化拆解
1周前 (10-05)17
拿一个开源的 7B 模型部署对话服务，跑起来之后你会发现一个奇怪的现象：生成速度为每秒四五十个 token，显卡显存却已经吃掉了二十多 GB。按模型权重 fp16 算，7B 参数不过 14GB，剩下的…
大模型是怎么学会「说人话」的？从RLHF到DPO的偏好对齐技术演进
1周前 (10-05)15
用基础模型写一段产品介绍，你经常会得到这样的结果：语法通顺、结构工整、词藻还不差，但读起来总透着一股"不像正常人会写出来的东西"的味道。要么把一句能说完的事抻成三段，要么该收尾的地…
企业知识库问答为什么答不准？从分块到重排的检索链路调优手册
2周前 (09-30)23
某公司的内部知识库问答上线两周，反馈开始往技术这边涌。有员工问"出差住宿标准是多少"，系统给出的答案引用了两年前已经废止的那版制度，数字还是旧的。换个人问"IT-032…
多智能体协作怎么编排？几种拓扑结构、通信机制与失败模式拆解
2周前 (09-30)23
一个团队把办公流程改造成多智能体系统：检索文档的负责查资料，写作的负责出初稿，审核的负责挑错，三个智能体各管一段。上线之后问题来了——审核智能体每次都提意见，写作智能体每次都改，改完审核又有新意见，两…
微调大模型为什么只改一小部分参数就够？LoRA低秩分解原理拆解
2周前 (09-30)20
想在开源模型上做微调，拦在前面的门槛往往不是数据，而是显存。一个70亿参数的模型，全量微调要吃掉多少显存？先按混合精度训练的标准开销算一遍。权重用fp16存储，70亿乘2字节约14GB；反向传播产生的…
大模型是怎么调用外部函数的？Function Calling 完整链路拆解
2周前 (09-30)19
问模型今天杭州的天气，它回一句"我无法获取实时信息"。再问它1234乘5678等于多少，它可能给你一个看着挺像、但算错了的数。这两件事指向同一个原因：模型只会生成文字，它接触不到外…
AI生成的视频为什么会一帧一跳？时序一致性问题的成因和工程解法
2周前 (09-30)22
很多人对AI视频有个共同的观感：单独抽一帧出来看，画面精致得像摄影作品；可一旦连着播放，人物边缘会轻微抖动，背景纹理像水波一样泛，脸部光影忽明忽暗。业内把这个现象叫"闪烁"（fli…
视频扩散模型为什么离不开3D VAE？潜空间压缩和DiT骨干的架构拆解
2周前 (09-30)21
先抛一个数量级上的问题。如果直接在像素空间对视频做扩散，一段512×512分辨率、16帧的片段，按16×16的图像patch切分，序列长度是（512/16）×（512/16）×16＝16384个tok…