Qwen3.6-27B 本地代码能力评测（二）

Qwen3.6-27B 本地代码能力评测 v2进阶篇作者一个本地跑大模型的普通开发者设备单卡 20GB 显存llama.cpp 推理部署时间2026 年 7 月0. 缘起上一轮评测 15 个任务 100% 通过但回头看那批题目——斐波那契、快排、回文、质数判断——都是入门级别。真正的代码能力应该用更难的标准来衡量。于是设计了 v2 进阶篇覆盖了多线程、异常处理、API 设计和 LeetCode 中等/困难题目。结果出乎意料通过率从 100% 掉到了 75%而且 3 个失败全部是同一个原因——模型根本没输出函数定义。这篇文章记录整个过程和分析。1. 环境组件配置模型Qwen3.6-27B推理框架llama.cppOpenAI 兼容 APIAPI 地址http://localhost:8080显存20GB评测脚本Python 3 requests subprocess评测任务12 个覆盖 5 个进阶类别2. 评测方案设计2.1 任务选择选了 12 个任务全部是 v1 中没有覆盖过的进阶类别类别任务难度多线程线程安全计数器、线程池并发计算、生产者-消费者⭐⭐⭐异常处理自定义异常层次、重试装饰器⭐⭐⭐API 设计分页 API 响应、简易 REST 资源类⭐⭐LeetCode MediumGroup Anagrams(LC 49)、Merge Intervals(LC 56)、Longest Substring(LC 3)⭐⭐⭐LeetCode HardTrapping Rain Water(LC 42)、Wildcard Matching(LC 44)⭐⭐⭐⭐2.2 验证方案沿用了 v1 的隔离执行方案——把公共导入 模型生成的代码 验证断言合并成一个临时 Python 脚本用subprocess在隔离环境中执行。输出包含PASS就算通过。v2 的所有任务都是 Python 代码不需要 v1 中的 SQL/Shell 内容检查模式验证逻辑更统一。2.3 公共 preamblev2 需要额外的标准库导入COMMON_PREAMBLE\ import re import os import tempfile import time import threading from collections import deque, OrderedDict from concurrent.futures import ThreadPoolExecutor 3. 关键发现发现 1通过率断崖式下降到 75%指标v1基础篇v2进阶篇总任务数1512通过率100%75.0%平均响应时间73.9s109.4s难度提升带来的不是代码有 bug而是更根本的问题——模型没有输出函数/类定义。3 个失败全部是NameError生产者-消费者NameError: name BoundedBuffer is not defined分页 API 响应NameError: name paginate is not definedWildcard MatchingNameError: name isMatch is not defined发现 2失败原因分析——推理过程的吞没效应这三个任务有一个共同点它们需要的代码量相对较大。生产者-消费者需要LockConditionput/get方法约 20 行分页 API 需要分页逻辑 字典返回约 10 行Wildcard Matching 需要二维 DP 表约 15 行结合clean_code函数的处理逻辑我的推测是模型先输出了大量的思考过程think.../think思考过程消耗了大量 token 和生成时间剩余 token 不够输出完整代码或者代码被截断clean_code中的正则提取没有找到def/class关键字提取失败这解释了为什么简单的线程安全计数器6 行核心代码能过而复杂的生产者-消费者20 行过不去。也解释了为什么平均响应时间从 73.9s 升到了 109.4s——模型在这些复杂任务上花了更多时间输出思考过程。最慢的任务是 Merge Intervals233.43s——它通过了但说明模型在复杂算法上思考了很久好在最终还是输出了正确代码。发现 3LeetCode Medium 100% vs Hard 50%分类通过率LeetCode Medium3/3 100%LeetCode Hard1/2 50%Medium 三题Group Anagrams、Merge Intervals、Longest Substring全部通过代码质量和 LeetCode 标准答案一致。Hard 题中Trapping Rain Water 通过了双指针法标准解法但 Wildcard Matching 失败了DP 实现需要更多代码量。这个分布说明27B 参数的模型在 Medium 难度上是可靠的Hard 难度开始不稳定。不稳定不是因为算法理解能力不足而是因为输出长度的限制。4. 详细结果分析4.1 多线程2/3 通过67%✅ 线程安全计数器64.67sclassThreadSafeCounter:def__init__(self):self._value0self._lockthreading.Lock()defincrement(self):withself._lock:self._value1defget(self):withself._lock:returnself._value标准的Lock保护模式with上下文管理器确保线程安全。验证中 10 个线程各 increment 1000 次最终计数准确等于 10000。✅ 线程池并发计算75.3sdefparallel_map(func,items):withThreadPoolExecutor()asexecutor:returnlist(executor.map(func,items))三行搞定。executor.map保持输入顺序这是关键——很多实现会用submitas_completed那样会打乱顺序。❌ 生产者-消费者132.25s失败原因NameError: name BoundedBuffer is not defined这个任务需要threading.Condition的wait/notify模式代码量约 20 行。模型花了 132 秒但没能输出有效的类定义。推测是思考过程过长代码被截断或格式错误导致clean_code提取失败。这是一个典型的代码量门槛现象——模型理解题意但输出长度超过了实际可用的 token 空间。4.2 异常处理2/2 通过100%✅ 自定义异常层次94.3sclassAppError(Exception):passclassValidationError(AppError):def__init__(self,message):self.messagemessagesuper().__init__(message)classNotFoundError(AppError):def__init__(self,message):self.messagemessagesuper().__init__(message)干净的异常层次结构。基类AppError简洁地pass子类分别实现__init__存储 message。✅ 重试装饰器79.21simporttimeimportfunctoolsdefretry(max_attempts3,delay0.1):defdecorator(func):functools.wraps(func)defwrapper(*args,**kwargs):last_exceptionNoneforattemptinrange(max_attempts):try:returnfunc(*args,**kwargs)exceptExceptionase:last_exceptioneifattemptmax_attempts-1:time.sleep(delay)raiselast_exceptionreturnwrapperreturndecorator这个值得称赞。三重嵌套工厂函数 → 装饰器 → wrapper是 Python 装饰器的经典模式。还主动加了functools.wraps保留元信息last_exception确保达到重试上限后抛出最后一个异常。验证中构造了一个前两次失败、第三次成功的flaky函数装饰器正确重试并返回结果。4.3 API 设计1/2 通过50%❌ 分页 API 响应154.75s失败原因NameError: name paginate is not defined最慢的任务154.75s模型花了很久但最终没有输出有效的函数定义。这个任务代码量不大约 10 行失败更可能是因为模型在思考过程中迷失了或者输出的代码格式让clean_code无法提取。✅ 简易 REST 资源类106.28sclassResourceStore:def__init__(self):self._resources{}self._next_id1defget(self,id):returnself._resources.get(id)defcreate(self,data):new_idself._next_id self._resources[new_id]data self._next_id1returnnew_iddefupdate(self,id,data):ifidinself._resources:self._resources[id]datareturnTruereturnFalsedefdelete(self,id):ifidnotinself._resources:returnFalsedelself._resources[id]returnTrue完整的 CRUD 实现。内部字典存储id 自增从 1 开始。update和delete正确处理不存在的 id 返回False。4.4 LeetCode Medium3/3 通过100%✅ Group Anagrams (LC 49)88.76sfromcollectionsimportdefaultdictdefgroupAnagrams(strs):ddefaultdict(list)forsinstrs:d[tuple(sorted(s))].append(s)returnlist(d.values())defaultdicttuple(sorted(s))做 keyLeetCode 最优解法。5 行代码时间复杂度 O(N * K log K)。✅ Merge Intervals (LC 56)233.43sdefmerge(intervals):ifnotintervals:return[]intervals.sort(keylambdax:x[0])merged[intervals[0]]forcurrentinintervals[1:]:ifcurrent[0]merged[-1][1]:merged[-1][1]max(merged[-1][1],current[1])else:merged.append(current)returnmerged最慢的任务233.43s但最终输出正确。先排序再线性扫描合并。注意merged[-1][1] max(...)是直接修改列表中的子列表比创建新列表更高效。✅ Longest Substring Without Repeating (LC 3)81.36sdeflengthOfLongestSubstring(s):char_index_map{}max_len0start0forend,charinenumerate(s):ifcharinchar_index_mapandchar_index_map[char]start:startchar_index_map[char]1char_index_map[char]end max_lenmax(max_len,end-start1)returnmax_len滑动窗口 哈希表的经典解法。关键判断char_index_map[char] start确保只移动窗口左边界不回退。时间复杂度 O(N)。4.5 LeetCode Hard1/2 通过50%✅ Trapping Rain Water (LC 42)91.36sdeftrap(height):left,right0,len(height)-1left_max,right_max0,0water0whileleftright:ifheight[left]height[right]:ifheight[left]left_max:left_maxheight[left]else:waterleft_max-height[left]left1else:ifheight[right]right_max:right_maxheight[right]else:waterright_max-height[right]right-1returnwater这是本次评测中最令人印象深刻的代码。双指针法O(N) 时间、O(1) 空间。核心思路是比较左右高度矮的一侧决定当前能接多少水。这段代码逻辑严密没有任何冗余是 LeetCode 题解中的最优解。91.36s 的响应时间也在合理范围内。❌ Wildcard Matching (LC 44)110.82s失败原因NameError: name isMatch is not definedDP 实现需要构建 (m1) x (n1) 的二维表代码量约 15 行。和前面的失败模式一致——模型花了时间但最终没有输出有效的函数定义。5. 性能分析5.1 响应时间分布任务响应时间状态线程安全计数器64.67sPASS线程池并发计算75.3sPASS重试装饰器79.21sPASSLongest Substring81.36sPASSGroup Anagrams88.76sPASSTrapping Rain Water91.36sPASS自定义异常层次94.3sPASSREST 资源类106.28sPASSWildcard Matching110.82sFAIL生产者-消费者132.25sFAIL分页 API 响应154.75sFAILMerge Intervals233.43sPASS有趣的观察通过的任务中最慢的Merge Intervals 233s比失败的任务中最快的Wildcard 110s慢得多。这说明响应时间长不等于失败——Merge Intervals 虽然思考了很久但最终输出了正确代码。失败的任务响应时间集中在 110-155s。这个区间可能是模型在反复思考但难以收敛的状态。平均 109.4s/任务比 v1 的 73.9s 慢了约 48%与任务难度提升基本一致。5.2 与 v1 对比指标v1基础篇v2进阶篇变化通过率100%75%-25%平均响应时间73.9s109.4s48%最快任务24.7s (GCD)64.7s (线程计数器)162%最慢任务118.1s (LRU)233.4s (Merge Intervals)98%v1 中最快的 GCD3 行代码24.7sv2 中最快的线程计数器10 行代码64.7s。说明即使是最简单的进阶任务基础开销也明显更高。6. 失败模式总结3 个失败全部是NameError可以归为同一类问题代码输出不完整。可能的原因排序思考过程过长推理模型先输出think.../think块复杂任务的思考可能消耗了大量 token留给代码的空间不足max_tokens2048 不够对于需要 15-20 行代码的任务加上思考过程2048 token 可能刚好卡在临界点clean_code 提取不够鲁棒如果模型输出的代码格式不符合预期比如用了非标准缩进或混入了解释文字正则提取会失败改进方向尝试max_tokens4096给复杂任务更多输出空间考虑temperature0或更低的温度减少不确定性增强clean_code的提取逻辑增加对不完整代码的容错7. 总结能力边界Qwen3.6-27B 在进阶代码任务上的表现可以概括为LeetCode Medium 级别完全可靠3/3 通过代码质量优秀LeetCode Hard 开始不稳定1/2 通过Trapping Rain Water 的代码质量极高但 Wildcard Matching 因输出不完整失败多线程基础扎实Lock、ThreadPoolExecutor 用法正确多线程复杂场景有短板Condition 变量模式失败装饰器和异常处理能力强重试装饰器的实现质量很高API 设计能力参差REST 资源类通过分页函数失败与 v1 的对比结论v1 的 100% 通过率容易给人这个模型代码能力很强的印象。v2 的 75% 揭示了真实的能力边界——模型的理解能力没问题瓶颈在输出完整性。这不是模型不会写而是模型写不完。对于 27B 参数、20GB 显存的本地部署来说这是一个可以通过调整参数增加 max_tokens、优化 prompt来改善的问题而不是模型能力的天花板。评测框架的教训NameError 是最有价值的错误信号——它直接说明代码提取失败而不是代码逻辑错误响应时间是一个有用的诊断指标——过长的响应时间可能意味着模型在思考过程中卡住了任务难度需要匹配 max_tokens——基础任务 2048 够用进阶任务可能需要 4096后续方向增加max_tokens到 4096重新运行 v2 看通过率是否提升加入 LeetCode Hard 题目Median of Two Sorted Arrays、Edit Distance增加完整的小型项目任务如实现一个 HTTP 服务器、写一个 CLI 工具对比不同量化精度Q4_K_M vs Q8_0对进阶任务代码质量的影响尝试用这个框架评测其他本地模型如 DeepSeek-R1-Distill-Qwen-32B