鹈鹕骑车：一个有趣的AI测试

本文内容整理自 Simon Willison 博客「pelican riding a bicycle」标签下的文章。simonwillison.netSimon 用一句简单的提示词——Generate an SVG of a pelican riding a bicycle生成一幅鹈鹕骑自行车的 SVG——作为他个人的 LLM 基准测试。他从24年10月开始记录每家模型的 SVG 渲染质量从而直观地比较不同模型的「视觉空间想象 / 几何 / 指令遵循」能力。我们按从早到晚的顺序看一下这其中的变化因为原内容很多所以我就选一些有代表性的模型有兴趣的可以去Simon的博客查看全部的内容。1. Pelicans on a bicycleSimon 选这个题目是因为a) 他喜欢鹈鹕b) 他相当确定当时网上还没有现成的「鹈鹕骑车」SVG 文件因此不太可能已经被放进训练集。当时他已经跑了 16 个模型来自OpenAI、Anthropic、Google Gemini以及Meta。日期2024-10-25原文https://simonwillison.net/2024/Oct/25/pelicans-on-a-bicycle/Claude 3.5 Sonnet (2024-06-20)两个圆用三角形相连。鹈鹕的身体是白色椭圆头是一个圆喙像一根黄色的香蕉在笑用一条倒置弧线暗示翅膀鸟身下方垂着两条腿。Claude 3.5 Sonnet (2024-10-22)GPT-4o miniGPT-4oo1-minio1-previewPSClaude 3.5 Sonnet相较同时期的其他模型效果还是更好的。Qwen2.5-Coder-32B日期2024-11-12原文https://simonwillison.net/2024/Nov/12/qwen25-coder/一堆乱糟糟的形状。鹈鹕是黄色身体、黑色脑袋加一个奇怪的「长鼻状」东西。自行车是几个棕色叠加形状看起来有点像拖拉机。Gemini 2.0 Flash “Thinking mode”日期2024-12-19原文https://simonwillison.net/2024/Dec/19/gemini-thinking-mode/自行车有两个轮子但看起来更像婴儿车。鹈鹕有一只橙色喙但翅膀是位置怪异的三角形。Simon手动添加了svg开头标签后显示正常。DeepSeek-R1日期2025-01-20原文https://simonwillison.net/2025/Jan/20/deepseek-r1/DeepSeek-R1-Distill-Llama-70B第一次尝试蓝色方块上有个抽象的白色形状。「画得不太好。」Simon觉得它把元素的顺序搞错了。DeepSeek-R1-Distill-Llama-70B第二次尝试告诉它「背景把画面其余部分盖住了」之后它又想了一阵给出了这张。GPT-4.5日期2025-02-27原文https://simonwillison.net/2025/Feb/27/introducing-gpt-45/Gemini 2.5 Pro (exp-03-25)日期2025-03-25原文https://simonwillison.net/2025/Mar/25/gemini/鹈鹕以一种角度栖息看得出来在努力让它踩到脚踏板。它有一只好大的喙。Simon评语「挺扎实的……我觉得这是一次不错的尝试——比我之前最爱的 Claude 3.7 Sonnet 还略胜一筹。」Claude 3.7 Sonnet对照自行车有辐条但脚踏板位置不对鹈鹕别扭地蹲在车座上翅膀怪怪的。GPT-4.1日期2025-04-14原文https://simonwillison.net/2025/Apr/14/gpt-4-1/车架是蓝色但有点变形。鹈鹕的腿和身体脱节有一只方方的喙。Claude 4日期2025-05-22原文https://simonwillison.net/2025/May/22/code-with-claude-live-blog/Claude Sonnet 4Claude Opus 4GLM-4.5 Air 3bit日期2025-07-29原文https://simonwillison.net/2025/Jul/29/space-invaders/GPT-5日期2025-08-07原文https://simonwillison.net/2025/Aug/7/gpt-5/GPT-5medium reasoning自行车非常好车轮有辐条、车架形状正确、脚踏板漂亮。鹈鹕有鹈鹕的喙和伸到脚踏板的长腿。Simon真是太棒了显然是一只鹈鹄也是我目前见过的最好的自行车之一。GPT-5 mini蓝底带云。鹈鹕像是有两个脖子。不过喙不错。比 GPT-5 那张有更多渐变和阴影。GPT-5 nano自行车就是两个圆加一些随意的黑线。鹈鹕的喙还行但其它部分非常简单。Qwen3-4B-Thinking-2507日期2025-08-10原文https://simonwillison.net/2025/Aug/10/qwen3-4b/Qwen3-4B-Thinking 是Simon试过的第一个会指出「让鹈鹕骑车」多么荒谬——它的思维链结论是「这个请求违反了物理学和生物学」以及「我是不是太较真了才不呢。」Claude Sonnet 4.5日期2025-09-29原文https://simonwillison.net/2025/Sep/29/claude-sonnet-4-5/Anthropic 发布 Claude Sonnet 4.5豪言这是世界上最好的编码模型。Claude Sonnet 4.5 thinkingClaude Sonnet 4.5DeepSeek / GLM日期2025-10-01原文https://simonwillison.net/2025/Oct/1/two-pelicans/DeepSeek-V3.2-ExpGLM-4.6GPT-5 pro日期2025-10-06原文https://simonwillison.net/2025/Oct/6/gpt-5-pro/明显是鹈鹕骑车只是每个轮子都缺了一半辐条鹈鹕也偏矮胖。视觉效果和便宜得多的 GPT-5 结果差不多。Cursor Composer 1日期2025-10-29原文https://simonwillison.net/2025/Oct/29/cursor-composer/自行车悬浮在蓝天上鹈鹕看起来更像小鸡但至少有长喙MiniMax M2日期2025-10-29原文https://simonwillison.net/2025/Oct/29/minimax-m2/Kimi K2 Thinking日期2025-11-06原文https://simonwillison.net/2025/Nov/6/kimi-k2-thinking/GPT-5-Codex-Mini日期2025-11-09原文https://simonwillison.net/2025/Nov/9/gpt-5-codex-mini/AI 实验室会不会为「鹈鹕骑车」专门训练日期2025-11-13原文https://simonwillison.net/2025/Nov/13/training-for-pelicans-riding-bicycles/Simon 说如果出现一个能够生成出非常精美的、描绘着鹈鹕骑在自行车上的 SVG 图模型那么他肯定会在各种生物使用各种交通工具进行测试。如果那些模型的表现明显更糟糕那么发生的事情就相当明显了。补充Are AI labs pelicanmaxxing?他至今最爱的还是 GPT-5 这只自行车该有的零件都有鹈鹕明显在蹬。GPT-5.1日期2025-11-13原文https://simonwillison.net/2025/Nov/13/gpt-51/自行车轮子一根辐条都没有鹈鹕趴得很平。GPT-5.1reasoning effort: high这辆自行车每个轮子有四根辐条鹈鹕坐得更直。Simon: 我觉得这实际上是GPT-5 的倒退。自行车辐条都少了Gemini 3 Pro日期2025-11-18原文https://simonwillison.net/2025/Nov/18/gemini-3/Gemini 3 Prothinking level: lowGemini 决定加一顶俏皮小帽。鹈鹕的喙不错自行车略有不对但整体是好的。Gemini 3 Prothinking level: highSimon认为鹈鹕基准测试似乎有点过于基础了。所以我决定对其进行升级我们后面统一标识为 v2。Generate an SVG of a California brown pelican riding a bicycle. The bicycle must have spokes and a correctly shaped bicycle frame. The pelican must have its characteristic large pouch, and there should be a clear indication of feathers. The pelican must be clearly pedaling the bicycle. The image should show the full breeding plumage of the California brown pelican.Gemini 3 Prohigh— v2明显是一只鹈鹕要求的所有特征都有不过看起来有点抽象。GPT-5.1 —v2矮胖的小家伙。鹈鹕非常圆身体把自行车大半盖住十分憨萌。Claude Sonnet 4.5 — v2表现没那么好。所有要求的零件都在但自行车有点不对鹈鹕的姿态非常别扭。没有一家模型意识到加州棕鹈鹕的羽毛其实不是棕色的。GPT-5.1-Codex-Max日期2025-11-19原文https://simonwillison.net/2025/Nov/19/gpt-51-codex-max/GPT-5.1-Codex-Maxreasoning effort: mediumGPT-5.1-Codex-Maxreasoning effort: xhighGPT-5.1-Codex-Max「v2」reasoning effort: xhighClaude Opus 4.5日期2025-11-24原文https://simonwillison.net/2025/Nov/24/claude-opus/Claude Opus 4.5 — v2PS我个人看到这里有一种眼前一亮的感觉。不能说一点问题没有但是截止目前是我个人认为整体效果不错的一版。我个人使用模型的体感来说Claude Opus 4.5 也确实相较之前的模型有了明显的提升。GPT-5.2日期2025-12-11原文https://simonwillison.net/2025/Dec/11/gpt-52/GPT-5.2 — v2Kimi K2.5日期2026-01-27原文https://simonwillison.net/2026/Jan/27/kimi-k25/车架有点可疑但鹈鹕相当不错喙和喉囊都清晰。脚和脚踏板对不太齐脚踏板还悬在车架之外。Opus 4.6 与 Codex 5.3日期2026-02-05原文https://simonwillison.net/2026/Feb/5/two-new-models/Claude Opus 4.6Codex 5.3GLM-5日期2026-02-11原文https://simonwillison.net/2026/Feb/11/glm-5/Gemini 3 Deep Think日期2026-02-12原文https://simonwillison.net/2026/Feb/12/gemini-3-deep-think/Gemini 3 Deep Think它给我画了一只非常好的鹈鹕骑车 SVG我觉得这是我见过最好的一只。Gemini 3 Deep Thinkv2PS说实话有点惊艳。和之前的细节都不是一个层级的。猜测有针对svg这方面优化过。Claude Sonnet 4.6日期2026-02-17原文https://simonwillison.net/2026/Feb/17/claude-sonnet-46/Gemini 3.1 Pro日期2026-02-19原文https://simonwillison.net/2026/Feb/19/gemini-31-pro/Gemini 3.1 Prov2GPT-5.4日期2026-03-05原文https://simonwillison.net/2026/Mar/5/introducing-gpt54/GPT-5.4GPT-5.4 ProGLM-5.1日期2026-04-07原文https://simonwillison.net/2026/Apr/7/glm-51/模型主动返回了一个带 SVG 加独立 CSS 动画的 HTML 页面。「SVG 出色可能是我在开源权重模型里新的最爱。」GLM-5.1动画版坏的GLM-5.1动画版修好的GLM-5.1北美负鼠骑电动滑板车Claude Opus 4.7Claude Opus 4.7thinking_level: maxQwen3.6-27B日期2026-04-22原文https://simonwillison.net/2026/Apr/22/qwen36-27b/北美负鼠骑电动滑板车GPT-5.5日期2026-04-23原文https://simonwillison.net/2026/Apr/23/gpt-5-5/GPT-5.5GPT-5.5reasoning_effort: xhighDeepSeek V4日期2026-04-24原文https://simonwillison.net/2026/Apr/24/deepseek-v4/DeepSeek-V4-FlashDeepSeek-V4-ProClaude Opus 4.8日期2026-05-28原文https://simonwillison.net/2026/May/28/claude-opus-4-8/Claude Opus 4.8lowClaude Opus 4.8mediumClaude Opus 4.8highClaude Opus 4.8xhighClaude Opus 4.8maxClaude Fable 5日期2026-06-09原文https://simonwillison.net/2026/Jun/9/claude-fable-5/Claude Fable 5lowClaude Fable 5mediumClaude Fable 5highClaude Fable 5xhighClaude Fable 5maxGLM-5.2日期2026-06-17原文https://simonwillison.net/2026/Jun/17/glm-52/GLM-5.2GLM-5.2北美负鼠骑电动滑板车「可惜北美负鼠骑电动滑板车画得差得多……相比 GLM-5.1 退步明显」Claude Sonnet 5日期2026-06-30原文https://simonwillison.net/2026/Jun/30/claude-sonnet-5/Claude Sonnet 5我觉得它像只鹅。除了Simon Willison的鹈鹕骑车。网上还有类似“树懒开挖掘机” “火烈鸟修理望远镜”之类的创意测试。感兴趣可以去看看https://gally.net/temp/20251107pelican-alternatives/index.html其实看似小小的一个基准测试但是侧面也能反应出模型的一些代码能力。我们常常觉得不错的模型在上面的表现中也是可圈可点。也可以发现这两年模型的能力有这肉眼可见的提升。我自己觉得很有意思所以整理出来分享给大家轻松娱乐一下。我自己日常用的比较多的就是GLM模型所以我也试了一下GLM-5.2GLM-5.2 v2GLM-5.2 梅花鹿踩缝纫机