LLM 注意力机制可视化 — 它如何"读"一段文字

▼ 原理说明同一段文字，不同阶段注意力完全不同

阶段	注意力焦点	高亮词示例	为什么
扫描关键词	名词、核心概念	教育、工作、消费、规训、符号、小王	先认出话题在讲什么
理解结构	编号、连词、逻辑标记	1. 2. 3. 因为所以 →	识别论证骨架和层次
提取关系	因果链上的概念	生产规训、工资、消费规训、空虚、循环	建立因果连接
生成总结	全阶段汇聚的关键词	身份、链条、循环、自愿、生产者、消费者	蒸馏成最终输出

同一个词"消费"：阶段1 85%（核心话题）→ 阶段2 50%（焦点在结构）→ 阶段3 60%（因果链中）→ 阶段4 90%（总结必须保留）。
而"的""是""这个"等虚词在所有阶段权重都接近 0%。这就是多头注意力：不同头关注不同层面，最后合一。

0 就绪等待阅读

1 扫描关键词实体 & 概念识别

2 理解结构逻辑段落 & 层次

3 提取关系因果 & 论证链

4 生成总结输出

输入文本 — 每读一个词，注意力权重随之变化

LLM 注意力机制 — 实时可视化