大模型幻觉

📌 什么是大模型幻觉？

大模型幻觉（AI hallucination 或 Model Hallucination）是指AI基于概率生成的”自信型错误“，输出看似合理但完全失实的内容，像极了人类”不懂装懂“的样子。

→ AI一本正经地胡说八道

→ 像学霸写作业时「虚构参考文献」

→ 明明不知道，偏要假装很懂（dbq，有点茶了🍵）

→ 用概率拼凑出”看似合理“的错误答案（哼，还自带理直气壮的气场！）

大模型幻觉的分类

从学术界的共识来看，大模型的幻觉可以分成两大类：

▪️事实性的幻觉：包括事实不一致和捏造事实两类。

▪️忠实性的幻觉：包括不遵循指令和不遵循上下文两类。

🚨 经典翻车案例

▪️伪造名人名言（莎士比亚根本没说过这话！）

▪️编造历史细节（秦始皇用iPhone？离大谱）

▪️虚构科学结论（”研究表明吃土能减肥“？？）

🤔 为什么会”幻觉“？

▪️数据偏差：训练语料中的矛盾/错误信息

▪️过拟合：对模糊问题强行自圆其说

▪️创造性”溢出“：文本生成＞事实核查

🚨避坑指南

1️⃣ 温度系数调整： 控制生成随机性（temperature参数调低至0.3-0.7），减少天马行空，后续会专门介绍温度系数，这是大模型非常重要的一个参数；

2️⃣ 知识边界声明： 提示词加锚点限制范围：”请仅基于XXX条文回答，不确定请说明“、“请基于可靠来源回答”，能一定程度上避免幻觉现象，但不能做到100%避免；

3️⃣ 代码幻觉防御： 开发时用RAG（检索增强生成），实时接入数据库/知识图谱修正结果

💡【冷知识】技术越强，幻觉越具欺骗性！ GPT-4的幻觉率比GPT-3.5低15%，但依然可能把”不存在的研究“写得像Nature论文