第 8 章：大语言模型如何记忆事实 —— 参数中的知识存储与检索¶

import numpy as np

def ffn_as_memory_demo():
    """
    演示 FFN 层如何作为键值记忆工作
    简化示例：存储"巴黎→法国首都"这个事实
    """
    embed_dim = 4
    ffn_dim = 8

    # 假设的嵌入向量
    x_france = np.array([1.0, 0.0, 0.0, 0.0])   # "法国"的嵌入
    x_capital = np.array([0.0, 1.0, 0.0, 0.0])  # "首都"的嵌入
    x_query = x_france + x_capital                # "法国首都"的查询向量

    # W1: 键矩阵 —— 检测"法国+首都"这个模式
    W1 = np.zeros((embed_dim, ffn_dim))
    W1[0, 0] = 1.0  # 检测"法国"特征
    W1[1, 0] = 1.0  # 检测"首都"特征
    # 其他神经元检测其他模式...

    b1 = np.array([-1.5, 0, 0, 0, 0, 0, 0, 0])  # 偏置：需要两个特征都激活

    # W2: 值矩阵 —— 输出"巴黎"的嵌入
    W2 = np.zeros((ffn_dim, embed_dim))
    W2[0, 2] = 1.0  # 第0个神经元激活时，输出"巴黎"特征
    b2 = np.zeros(embed_dim)

    # 前向传播
    hidden = np.maximum(0, np.dot(x_query, W1) + b1)  # ReLU
    output = np.dot(hidden, W2) + b2

    print(f"查询向量 (法国+首都): {x_query}")
    print(f"隐藏层激活: {hidden}")
    print(f"  → 神经元 0 激活值: {hidden[0]:.1f} (检测到'法国首都'模式!)")
    print(f"FFN 输出: {output}")
    print(f"  → 第 3 维激活 (代表'巴黎'): {output[2]:.1f}")
    print(f"\n解读: FFN 检测到'法国+首都'模式 → 输出'巴黎'的嵌入表示")

ffn_as_memory_demo()

def knowledge_localization_concept():
    """
    知识定位的核心思想（概念演示）
    """
    print("知识定位研究的关键发现:")
    print()

    findings = [
        ("事实存储在 FFN 层", 
         "修改 FFN 层的参数可以改变模型对事实的记忆"),
        ("知识是分布式的", 
         "一个事实通常分布在多个神经元中，而非单个"),
        ("中层存储事实最多", 
         "Transformer 的中间层（而非底层或顶层）存储了最多的事实知识"),
        ("可编辑性", 
         "通过修改特定 FFN 神经元的权重，可以'编辑'模型的知识"),
    ]

    for title, desc in findings:
        print(f"  [{title}]")
        print(f"    {desc}")
        print()

knowledge_localization_concept()

def knowledge_retrieval_pathway():
    """模拟知识检索的信息流"""

    layers = 96
    print(f"GPT-3 ({layers} 层) 处理 '法国的首都是什么？' 的信息流:")
    print("=" * 60)

    stages = [
        (1, 10, "语法解析", "识别'法国'是名词、'首都'是名词、'是'是动词"),
        (11, 30, "语义关联", "将'法国'和'首都'建立语义联系"),
        (31, 60, "知识检索", "FFN 层从参数中提取'法国→巴黎'的事实"),
        (61, 90, "答案整合", "将'巴黎'的表示整合到输出位置"),
        (91, 96, "输出准备", "将内部表示映射到词汇表，'巴黎'概率最高"),
    ]

    for start, end, stage_name, description in stages:
        bar = "█" * (end - start + 1)
        print(f"  第 {start:2d}-{end:2d} 层 [{stage_name}]")
        print(f"    {description}")
        print(f"    [{bar}]")
        print()

knowledge_retrieval_pathway()

def hallucination_mechanism():
    """
    从"预测下一个词"的角度理解幻觉
    """
    print("幻觉的生成机制:")
    print()

    print("正常情况（知识存在）:")
    print("  输入: '法国的首都是'")
    print("  FFN 激活: '法国+首都'模式 → 输出'巴黎'特征")
    print("  预测: '巴黎' (概率 0.95)")
    print()

    print("幻觉情况（知识缺失或冲突）:")
    print("  输入: 'X星的首都是'")
    print("  FFN 激活: 没有匹配的模式")
    print("  但模型仍然需要输出一个词!")
    print("  → 模型根据语言模式猜测: '首都'后面常跟城市名")
    print("  → 模型编造: '新希望城' (听起来像首都的名字)")
    print()

    print("核心矛盾:")
    print("  LLM 的本质是'预测最可能的下一个词'")
    print("  而非'检索最准确的事实'")
    print("  当知识缺失时，它会用语言流畅性来填补空白")

hallucination_mechanism()

def knowledge_editing_concept():
    """知识编辑的概念演示"""

    print("知识编辑技术概览:")
    print("=" * 50)

    techniques = [
        ("ROME (Rank-One Model Editing)", 
         "定位存储特定事实的 FFN 层，用秩一更新修改权重",
         "将'埃菲尔铁塔在罗马'改为'埃菲尔铁塔在巴黎'"),

        ("MEND (Model Editor Networks)", 
         "训练一个辅助网络，根据编辑请求生成权重更新",
         "批量修改模型中的过时知识"),

        ("In-Context Editing", 
         "不修改参数，通过精心设计的提示词覆盖旧知识",
         "在系统提示中告诉模型'X 的新首都是 Y'"),
    ]

    for name, method, example in techniques:
        print(f"\n  [{name}]")
        print(f"    方法: {method}")
        print(f"    示例: {example}")

knowledge_editing_concept()

def memory_vs_understanding():
    """探讨 LLM 的记忆与理解"""

    print("记忆 vs 理解 —— LLM 的能力边界:")
    print("=" * 55)

    comparisons = [
        ("记忆", "理解"),
        ("能回答'法国的首都是什么'", "能推理'如果法国迁都到里昂，对欧洲经济有何影响'"),
        ("能背诵'勾股定理: a²+b²=c²'", "能证明勾股定理，并推广到 n 维空间"),
        ("能写出'for i in range(10)'", "能设计全新的算法解决未见过的编程问题"),
        ("基于训练数据中的模式", "基于对世界因果结构的建模"),
    ]

    for left, right in comparisons:
        print(f"  {left:<20} | {right}")

    print(f"\n  当前共识: LLM 处于'记忆'和'理解'之间的灰色地带")
    print(f"  它展现了一些理解能力（如思维链推理），")
    print(f"  但这些能力可能源于对海量推理模式的记忆和重组。")

memory_vs_understanding()