AI 算命到底行不行:从练习赛到官方擂台的实测记录
算命网站都说自己准——但"准"从来没人拿证据出来。我们把命罗盘的 AI 拉去考了两场试:一场自己跑、可复现的练习赛,一场服务端判分、提交即定分、每家只有一次机会的官方擂台。成绩全部摊开:
| 考场 | 性质 | 题数 | 成绩(Top-1) |
|---|---|---|---|
| MingLi-Bench(本地实测) | 公开题集,可复现 | 160 | 33.1% |
| 神机妙算擂台 public_test | 公开练习,服务端判分 | 80 | 38.75% |
| 神机妙算擂台 private(官方定分) | 私有题库,一次定榜 | 495 | 41.9% |
随机乱猜的及格线是 25%(四选一)。
考题是什么
「全球算命师大赛」是命理界的公开擂台:给出真实命主的生辰,问某年发生何事——婚姻、事业、健康、财运、灾劫都有,全部是发生过、有据可查的真事,四选一。神机妙算擂台(bench.sjms.ai)在此基础上加了私有题库:题目下发、答案永不下发,由服务端判分,杜绝"背题刷分"。
比如真题里的一道:
> 男命,1974年生,生于美国。问:此人1996年发生何事?
> A. 患上严重抑郁 / B. 回港认识现任妻子 / C. 交通意外人平安 / D. 得到意外之财
考的不是"说得像不像",是断得对不对。
我们怎么考的
用了命理评测基准 MingLi-Bench(开源,MIT),规则上两个关键设定:
- 命盘预排注入(--astro):题目附带 iztro 排好的八字+紫微盘——AI 不用自己算,只管断。这正是我们的架构哲学:排盘交给确定性引擎,解读交给 AI,考的就是解读这一层。
- 思维链推理(--cot):让模型先逐步推演再给答案,跟正式批盘时的工作方式一致。
随机乱猜的及格线是 25%(四选一)。
第一场:本地练习赛(MingLi-Bench,160 题)
| 模型 | 得分 | 答对 | 相当于 |
|---|---|---|---|
| Pro 档(付费解读用) | 33.1% | 53 / 160 | 随机值的 1.3 倍 |
| Flash 档(免费快答用) | 29.4% | 47 / 160 | 随机值的 1.2 倍 |
分类亮点:
- Pro 档最强项:子女 50%、学业 45.5%、性格 42.9%、健康 35.3%——结构性判断(格局/心性/六亲)是它的强项;
- Flash 档在财运上爆冷 69.2%,但学业只有 9.1%,发挥很不稳——所以免费层只适合快答,深读还是要 Pro;
- 两档都在灾劫、官非、运势类全军覆没(合计 5 题全错)——这类"某年突发何事"的刁钻题,目前 AI 和人类选手一样难啃,我们如实摊开。
第二场:官方擂台定分(神机妙算 private,495 题)
练习赛能自证,但总有人质疑"题是公开的、分是自己算的"。所以我们上了 bench.sjms.ai 的正式擂台——规则非常狠:私有题库 495 题,答案永不下发,每家只有一次提交机会,提交即定分上榜,没有重考。
上场的是完整产品管线:生辰 → 我们的紫微引擎确定性排盘 + lunar_python 八字四柱 → 完整盘面注入 prompt → Pro 模型断题 → 服务端判分。
官方成绩(2026-10-09 定分,task task_efea525e57909ec3):
| 指标 | 成绩 |
|---|---|
| Top-1(计分题 382 题) | 41.9% |
| Top-2(前二含正解) | 62.8% |
| 95% 置信区间 | 37.3% – 46.8% |
| 覆盖率 | 100%(495/495 全答) |
| 官方排名 | 第 7 名 / 14 家 |
榜单上下文(截至 2026-10-09,可在 bench.sjms.ai 实时核对):
- 榜首是 Gemini-3.6(61.3%),第二名 GPT-5.6(58.4%)被官方人工标注「疑似联网,未正常答题」,另有 2 家标「同源多应用」;
- 无任何标注的干净成绩里,我们前面只有三家:Gemini-3.6、Claude Opus 5 吠陀全阵(50.0%)、Axiom 三层管线(45.5%)——全是旗舰级模型配重型管线;
- 我们用消费级 mimo-v2.6-pro 打到 41.9%,是榜上用的最小模型,压在 deepseek-chat(38.5%)上面。规模换成绩,这笔账是划算的;
- 参照系:该基准白皮书「排盘+旗舰模型」基线均值 36.2%,我们高出 5.7 个百分点;
- 诊断切片:古籍题 44.4%、转述题 34.4%、年谱题 22.7%(如实标注:年谱类是我们的弱项)。
怎么读这个分数
这不是"AI 算命百发百中"的证明,恰恰相反——它画出了能力边界。
- 明显跑赢随机,也跑赢"排盘+旗舰模型"的行业基线(36.2%),说明盘面推理里确实有可学的规律,不是纯话术;
- 但距离满分很远,说明命理断事存在真实的不确定性——这和我们一贯的说法一致:命盘给的是概率和倾向,不是注定;
- 大赛题目本来就刁钻(专挑命局里的特殊年份),实战批盘讲格局、讲趋避,可用度高于这个裸分数;
- 一个被实测验证的细节:把完整盘面(含飞宫四化、岁前将前诸星)原样喂给模型,比压缩摘要成绩更好——所以我们的解读管线不省这点 token。
我们更在意的其实是另一件事:命理 AI 行业里,几乎没人敢把自己的模型放上公开考场。我们敢,因为「先验后信」不只是 slogan——时事占的每条预测公开盖时间戳、到期标应验;命盘引擎的每条断言可查可验;这次连 AI 本身的分数也摊出来给你看。
对我们产品的直接影响
这次实测决定了命罗盘的后台配置:
- 付费深度解读走 Pro 模型——33.1% 对 29.4%,分差就是价差的理由;
- 免费快答走 Flash——29.4% 的水平应付日常快问够用,但分类波动大,深度批盘别指望它;
- 奇门遁甲暂无公开题集,我们用同样的思路在做自己的奇门题库,攒够数量后会同样公开成绩。
局限性声明
选择题只考"断事",不考我们日常做的"批盘写作";预排盘由第三方库生成,与我们的引擎可能有细微差异;160 题的样本量决定了分数有 ±7% 左右的统计误差。成绩仅代表该基准下的推理表现,不构成对命盘解读效果的全面证明。
---
*数据可复现:MingLi-Bench 开源,任何人都能用同样的题集复测。我们的完整响应日志存档备查。*