AI 文本／哲学对话能力测评

近期测试记录

  1. Gemini 4 等模型版本发布后，更新累积性测试结果

    • Opus-5.5-max89.0
    • Fable-5-max96.2
    • GPT-5.5-plus65.6
    • Grok-4.719.0
    • Kimi-K378.1
    • DeepSeek-v4.1-flash13.4
    • Gemini-4-pro75.5

    1.测试者暂时不再能够使用 Fable 模型，暂时不再测试 Sonnet。2.目前主力模型为 Opus5.5。3.经过全面测试，只有 Opus 5.x 、 Gemini 4 和 Kimi K3 三个模型有哲学对话能力。4.Opus 5.5 在哲学对话中，智能水平仍然是最高的，理解能力超群，在合适的自定义指令下，不会满足于把用户输入的材料重新包装，而是能够像一个真正的专家那样，在读懂的基础上给出适当的评论、启发性的概括和意料外的文献对勘。5. Gemini 4 在哲学对话中的能力其次。但仍未摆脱传统模型将输入材料重新包装的能力水平。Gemini 的回复呈现处有完整结构的散文，有传统写作的起承转合，相比之下，Opus 的回复直接、信息密集，无完整结构，更像是直截了当对话，而不是写作。 6.DeepSeek 经过迭代，已经彻底失去了哲学对话能力。7.Grok 在哲学对话上，也彻底废了。

  2. Fable 5 恢复之后再测，系统性降低其他模型的相对分数

    • Opus-4.8-max78.0
    • Fable-5-max96.2
    • Sonnet-5-max65.8
    • GPT-5.5-plus65.6
    • Grok-4.247.5
    • Grok-4.341.3
    • Kimi-K2.652.5
    • DeepSeek-v4-pro46.1
    • GLM-5.224.1
    • Gemini-3.5-flash23.6
    • Gemini-3.1-pro22.0

    将自己的《法律社会学》课件喂给 Sonnet 5、Fable 5 和 Kimi 2.6，再次更深刻认识到 Fable 5 遥遥领先的事实，因此上次评估要被系统翻新。Fable 5 展现出极大的努力程度、理解能力、概念涌现能力以及近乎零的谄媚。Sonnet 5 理解能力不如 Kimi 2.6，但自主检索文献以检验材料一项得分最大。目前与 Sonnet 5 对话，只能尽力引导其理解用户的材料和观点，并在过程中，梳理和澄清自己的思想。Fable 5 则基本无需引导即可深刻、准确地理解用户的资料，直接提供极具启发意义的回复，用户需要仔细反复阅读才能充分吸收。

  3. 初始结果（根据以往使用经验）

    • Opus-4.8-max87.7
    • Fable-5-max92.6
    • GPT-5.5-plus79.0
    • Grok-4.273.2
    • Grok-4.362.0
    • Kimi-K2.676.6
    • DeepSeek-v4-pro71.7
    • GLM-5.241.9
    • Gemini-3.5-flash25.0
    • Gemini-3.1-pro22.7

    基于长期使用积累的整体印象，作为基准起点，后续会用具体场景的动态测试逐项覆盖。

  • Claude
  • OpenAI
  • Gemini
  • Grok
  • Kimi
  • DeepSeek

尽力程度

Opus-5.5-max90Fable-5-max95GPT-5.5-plus15Gemini-4-pro75Grok-4.720Kimi-K385DeepSeek-v4.1-flash2

文献检索

Opus-5.5-max85Fable-5-max90GPT-5.5-plus65Gemini-4-pro60Grok-4.730Kimi-K375DeepSeek-v4.1-flash5

保持一致

Opus-5.5-max90Fable-5-max90GPT-5.5-plus82Gemini-4-pro70Grok-4.750Kimi-K385DeepSeek-v4.1-flash80

记忆能力

Opus-5.5-max93Fable-5-max90GPT-5.5-plus90Gemini-4-pro70Grok-4.760Kimi-K370DeepSeek-v4.1-flash0

边缘细节感知

Opus-5.5-max82Fable-5-max90GPT-5.5-plus75Gemini-4-pro80Grok-4.710Kimi-K375DeepSeek-v4.1-flash2

理解能力

Opus-5.5-max90Fable-5-max99GPT-5.5-plus75Gemini-4-pro80Grok-4.710Kimi-K382DeepSeek-v4.1-flash10

概念涌现

Opus-5.5-max80Fable-5-max95GPT-5.5-plus65Gemini-4-pro75Grok-4.70Kimi-K330DeepSeek-v4.1-flash0

避免谄媚

Opus-5.5-max90Fable-5-max95GPT-5.5-plus65Gemini-4-pro50Grok-4.760Kimi-K370DeepSeek-v4.1-flash65

条长 = 该模型最近一次测试在该维度的得分（0-100 绝对分）。图中仅展示最近一次测试参测的模型；「待测」表示该维度未检验，并非表现不佳。

总性能排行

Fable-5-max96.28/8Opus-5.5-max89.08/8Kimi-K378.18/8Gemini-4-pro75.58/8GPT-5.5-plus65.68/8Grok-4.719.08/8DeepSeek-v4.1-flash13.48/8

综合分 = 最近一次测试中已测维度的加权均值（权重归一化）。右侧 x/8 = 已测维度数。权重：理解 55%、尽力 15%、一致 5%、检索 5%、细节 5%、记忆 5%、涌现 5%、避免谄媚 5%。

评测维度

8 个维度（0-100 百分制）

  • 尽力程度尽最大努力思考和回答问题。
  • 文献检索在对话中主动检索知识库中的文献以验证对话。
  • 保持一致在长对话中，始终保持先前的事实、概念、立场。
  • 记忆能力良好的记忆整理和读取能力。
  • 边缘细节感知捕捉语词或概念的细微差别和边缘情形。
  • 理解能力真正理解问题的意图和层次。
  • 概念涌现表露或概括出新的表述、概念、分类或观点。
  • 避免谄媚避免讨好用户，强行建立合理连接。

关于这份测评

这不是一份标准化的 benchmark。作为哲学研究者，我经常将自己撰写的材料与各主要模型对话，保持相同的材料和大致相同的提示进行横向对比。 这也许是一个小众的测试场景——我不清楚模型开发者是否有针对性的训练，还是说，模型的通用性能会自然体现在哲学对话与复杂文本处理之中。据我所知，目前只有 Claude 有专门的哲学家对齐。

我相信 AI 的哲学对话能力是其最重要的能力之一。这里的评分来自我的实际对话和判断标准，而非固定题库。 这需要一些特别的技艺：模型开发者也许更擅长工程评估，而我更擅长从用户的角度衡量模型的思维能力。

分数是稀疏的——某个模型在某维度上「待测」，意味着我还没有在足够多的场景里检验它，而不是它表现平庸。我不会为了把图填满而敷衍打分。