输入法词库转换从原理到实战：一文吃透深蓝词库转换的插件架构与命令行玩法

输入法词库转换从原理到实战一文吃透深蓝词库转换的插件架构与命令行玩法【免费下载链接】imewlconverter”深蓝词库转换“ 一款开源免费的输入法词库转换程序项目地址: https://gitcode.com/gh_mirrors/im/imewlconverter换了个输入法用了三年的词库就这么废了——这是几乎所有深度输入法用户都撞过的墙。搜狗细胞词库是.scel二进制QQ 拼音自造词是.qpydRime 要 YAML微软拼音要.dat五笔用户还有自己的码表。格式之间没有官方桥梁词库就成了输入法生态里的数据孤岛。深蓝词库转换IME WL Converter就是冲着这个痛点来的一款开源免费的输入法词库转换程序用一套统一词条模型打通 20 种输入法、50 种格式适配器支持 Windows / Linux / macOS 三端。本文不满足于教你怎么点按钮而是从插件架构、转换流水线、二进制逆向三个层面拆解它凭什么能做到再给你三套可直接复制的实战命令。 一眼看全景一句话定位与核心能力清单先建立全局认知。深蓝词库转换的本质是一个格式翻译引擎把任意输入法词库读成统一内存模型再按目标格式的规则写出去中间可以插入过滤、简繁转换、词频重排、编码重生成等加工步骤。核心能力清单格式互通搜狗、QQ、百度、谷歌、微软、Rime、拼音加加、紫光、Libpinyin、Fit 等 20 输入法的导入导出其中搜狗scel、QQqpyd/qcel、百度bdict、灵格斯ld2等是逆向还原的二进制格式编码重生成不只是搬运还能把纯词条翻译成拼音、五笔 86/98/新世纪、郑码、仓颉、注音、各种二笔超强、轻松、现代、颖形等编码词库清洗流水线长度过滤、词频过滤、去英文/数字/空格/标点、简繁互转、多音字注音全部支持命令行组合三端一致WinForms 图形界面、macOS Avalonia 图形界面与 CLI 共享同一套核心引擎src/ImeWlConverter.Core/AI 词频增强内置 LLM 词频生成器能对没有词频信息的词条用大模型打分量。一次搞懂最常用的格式代码看这张速查表--list-formats可输出全量清单输入法格式代码典型文件导入导出搜狗拼音scel/sgpy/sgpybin.scel .txt .bin✅✅QQ 拼音qqpy/qpyd/qcel.txt .qpyd .qcel✅✅Rime 中州韵rime.yaml .dict.yaml✅✅微软拼音mspy.dat .txt✅✅谷歌拼音ggpy.txt✅✅百度拼音bdpy.txt✅✅自定格式self任意文本✅✅ 机制拆解一为什么 50 种格式能无损互转答案藏在项目最不起眼的三层目录结构里Abstractions契约层、Core引擎层、Formats适配器层。它把格式差异和核心逻辑彻底解耦新增一种格式只需要在src/ImeWlConverter.Formats/下写一个类核心引擎一行都不用改。统一词条模型是一切互转的前提。所有格式解析完都收敛成同一个数据结构——WordEntry包含词面Word、词频Rank、编码类型与编码分段Code。搜狗里的细胞词、QQ 里的分类词库、Rime 里的词典条目落到内存里全是一个样互转自然变成读进来→加工→写出去。以文本类格式为例所有文本导入器都继承同一个基类TextFormatImporter源码见src/ImeWlConverter.Formats/Shared/TextFormatImporter.cs它统一处理了读取、编码、逐行解析和错误收集子类只需要实现三件事public abstract class TextFormatImporter : IFormatImporter { // 1. 本格式的编码 protected abstract Encoding FileEncoding { get; } // 2. 格式元数据格式代码、名称、排序权重 public abstract FormatMetadata Metadata { get; } // 3. 单行如何解析成词条 —— 每种格式唯一的差异点 protected abstract IEnumerableWordEntry ParseLine(string line); }这意味着Rime 导入器只关心怎么把词\t码\t频拆开谷歌拼音导入器只关心怎么处理词拼音结构至于解析到一半某行出错怎么办大文件要不要流式读这类通用问题基类已经替你兜底。这就是插件架构的威力差异最小化公共逻辑最大化。⚙️ 机制拆解二一条七段式流水线看懂转换的全过程深蓝词库转换的核心是ConversionPipelinesrc/ImeWlConverter.Core/Pipeline/ConversionPipeline.cs它把一次转换编排成一条固定流水线导入 → 过滤 → 简繁转换 → 词频生成 → 编码生成 → 剔除无编码词条 → 导出每个环节都是可插拔的没配置过滤器就跳过没配置简繁转换就原样保留词频生成器默认走内置词频表也可以换成 LLM。看关键片段// Phase 2: 过滤 —— 按配置构建过滤器管道 var filterPipeline BuildFilterPipeline(request.FilterConfig); IReadOnlyListWordEntry entries filterPipeline is not null ? filterPipeline.Apply(allEntries) : allEntries; // Phase 4: 词频生成 —— 可替换为 LLM 实现 if (_wordRankGenerator is not null) entries await _wordRankGenerator.GenerateRanksAsync(entries, ct); // Phase 5: 编码生成 —— 拼音/五笔/郑码等走 CodeGenerationService entries ApplyCodeGeneration(entries, request.Options.CodeGeneration, progress); // Phase 6: 剔除生成不出编码的词条避免导出空码脏数据 if (request.Options.CodeGeneration.TargetCodeType ! CodeType.NoCode) entries entries.Where(e e.Code is not null e.Code.Segments.Count 0).ToList();过滤器管道本身也分三类FilterPipeline.cs单条过滤器决定词条去留如EnglishFilter丢掉含英文的词、变换器就地改写词条如把空格换成下划线、批处理过滤器面向全集合如按词频百分比截断。执行顺序是固定的过滤→变换→批处理保证组合任何过滤器都不会出现顺序歧义。再往深一层多音字注音是编码生成里最见功力的地方。PinyinCodeGeneratorsrc/ImeWlConverter.Core/CodeGeneration/Generators/PinyinCodeGenerator.cs内置了WordPinyin.txt词组注音表采用贪婪匹配 最长优先策略先把表里能命中的词组按长度降序排列逐个在词条里查找并打上已标注标记避免同一个字被重复标注剩下的单字再查单字注音表兜底var sortedKeys mutiPinYinWord!.Keys.OrderByDescending(k k.Length).ToList(); foreach (var key in sortedKeys) { var index 0; while ((index word.IndexOf(key, index, StringComparison.Ordinal)) ! -1) { var canMatch true; for (var i 0; i key.Length; i) { if (matched[index i]) { canMatch false; break; } // 已被更长词组占用 } if (canMatch) { var pinyinValues mutiPinYinWord[key]; for (var i 0; i pinyinValues.Count; i) { pinyin[index i] pinyinValues[i]; matched[index i] true; } } index; } }重字单独查表是zhong但重要整词命中词组表后就是zhongyao——这正是多音字词库转换质量远超逐字查表的原因。️ 机制拆解三二进制词库是怎么被逆向出来的搜狗.scel、百度.bdict这类格式没有公开文档深蓝词库转换靠的是解析二进制结构。以SougouScelImportersrc/ImeWlConverter.Formats/SougouScel/为例文件头部固定偏移处存着词条总数和拼音表长度先读出拼音索引表再按索引还原每个词的拼音最后逐条读出词面// 词条总数同音词合并计数 fs.Position 0x120; var dictLen ReadInt32(fs); // 拼音表长度随后循环读索引与字符串 fs.Position 0x1540; var pyDicLen ReadInt32(fs); for (var i 0; i pyDicLen; i) { var idx ReadInt16(fs); var size ReadInt16(fs); var str new byte[size]; fs.ReadExactly(str, 0, size); var py Encoding.Unicode.GetString(str); _pyDic.Add(idx, py); }每个词条块内的字段布局拼音数、词面长度、词面 Unicode 字节、扩展字段、词频都被逐字节摸清并跳过冗余区。为了让这种逆向有据可依项目在src/ImeWlConverterCoreTest/Test/里放了真实的.scel、.qpyd、.qcel、.bdict、.ld2样本文件转换正确性直接和真实文件对标——这是二进制解析最可靠的保障方式。 实战演练三套场景覆盖个人、团队与硬核玩家场景一个人换机搜狗词库一键迁到 Rime从搜狗换成 Rime 是 Linux/开源用户最常见的迁移路径。Rime 要求词条按词频降序排列导出器RimeExporter已自动完成排序你只需要一行命令dotnet src/ImeWlConverterCmd/bin/Release/net10.0/ImeWlConverterCmd.dll \ -i scel -o rime -O luna_pinyin.custom.yaml 专业词库.scel生成的文件是标准的词\t编码\t词频三列结构直接丢进 Rime 的luna_pinyin.custom.yaml挂载即可。场景二团队标准化多个来源合并清洗成统一词库团队要统一输入法环境时往往有多个来源的词库市场下载的、老员工导出的、网上爬的。用--merge语义多文件自动合并导入加上过滤链一次搞定合并 清洗dotnet ImeWlConverterCmd.dll \ -i scel -o ggpy -O team_dict.txt \ -f len:2-6|rm:eng|rm:num|rm:space \ 技术词库.scel 市场词库.scel 老员工备份.scel-f参数即--filter管道符分隔多个条件len:2-6只保留 2~6 字词条、rm:eng剔除含英文的词条、rm:num剔除含数字的、rm:space剔除含空格的。多文件场景下任何一个文件解析失败不会中断整体任务错误会汇总进最终报告单文件失败不影响其余文件转换完成。场景三硬核玩家自造码表与自定义输出格式五笔/郑码/自定编码用户最大的痛点是各家码表格式不统一。深蓝词库转换支持--code-type指定编码方案配合--code-file挂自己的映射表、--multi-code定义多字词取码规则# 用自定编码表把 scel 转成词编码词频的自定义文本 dotnet ImeWlConverterCmd.dll \ -i scel -o self -O my_dict.txt \ -c array30.txt \ -m code_e2p11p12p21p22,code_e3p11p21p31p32 \ -F 213 ,nyyy \ 词库.scel-F 213 ,nyyy的语义是先排词、再排编码、最后排词频词与编码间用空格分隔字段间用逗号分隔——掌握了self格式你几乎可以把任何词库转成任何文本排版。️ 进阶技巧与避坑指南老手的四个经验1. 老参数格式已成历史别再用冒号写法。早期版本用-i:scel -o:ggpy这种带冒号写法新版已迁移到 GNU 风格-i scel -o ggpy。如果你不小心用了旧格式程序会直接报错并提示你新旧参数对照表不会静默失效。升级脚本时记得全局替换。2. 输出路径以/结尾就是目录模式。-O ./out/会把每个输入文件单独转成一个.txt输出到该目录-O result.txt则把多个输入合并写进单文件。想批量转目录下的所有 scel配合 shell 通配符即可for f in *.scel; do dotnet ImeWlConverterCmd.dll -i scel -o rime -O rime_${f%.scel}.yaml $f done3. 词频为 0 的词条导出时会很尴尬。很多自造词导入后没有词频信息导出的 Rime/搜狗文件里词频全是 0排序会乱。解法是启用词频生成配置 LLMsrc/ImeWlConverter.Core/WordRank/LlmWordRankGenerator.cs支持自定义ApiEndpoint / ApiKey / Model它按每批 50 个词条调一次接口让大模型返回 JSON 词频评分未配置 API Key 时自动跳过、不阻塞转换。4. 多音字转换结果异常时先怀疑词组注音表。如果重量被注成zhongliang通常不是算法问题而是词不在WordPinyin.txt词组表里、走了单字默认读音。想要精确结果可以自行维护词组注音表后重新编译或先用-f len:...做针对性过滤减少误伤。 质量与性能靠什么保证转出来是对的词库转换工具最怕转完才发现数据是坏的。项目用三层测试把这件事钉死单元测试层src/ImeWlConverterCoreTest/覆盖编码生成器拼音、五笔、郑码、注音、二笔、自定编码、过滤器全组合、简繁转换、二进制解析.scel/.qpyd/.qcel/.bdict/.ld2均有真实样本集成测试层tests/integration/按导入→导出→高级功能→回归四组用例组织每组都配有expected/期望输出文件做逐字节比对回归用例专门盯住 wb86/wb98/jidian/wbnewage 等高频格式不退化CI 链路Makefile中make test跑单元测试、make integration-test跑端到端比对、make lint校验代码格式Release 发布还叠加了PublishTrimmed单文件裁剪。一个值得注意的工程细节集成测试的期望文件不是手写的而是通过regenerate-expected-exports.sh脚本用当前版本回灌生成再靠 git 审查 diff 来确认变更是否符合预期——这保证了期望文件永远和真实输出结构同步不会出现测试过了但格式早变了的假绿。性能上文本导入器提供了ImportStreamingAsync流式逐行解析接口配合管道里的CancellationToken取消机制超大词库几十万词条也能边读边转、随时中断不会一次性把整个文件塞进内存。 上手路径从零到第一次转换五步走完前置条件只有一条安装 .NET SDK 10.0 或更高版本dotnet --version验证。# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/im/imewlconverter cd imewlconverter # 2. 构建命令行工具或用 make build-cmd dotnet build src/ImeWlConverterCmd # 3. 查看完整帮助与所有格式代码 dotnet src/ImeWlConverterCmd/bin/Release/net10.0/ImeWlConverterCmd.dll --help dotnet src/ImeWlConverterCmd/bin/Release/net10.0/ImeWlConverterCmd.dll --list-formats # 4. 跑你的第一个转换scel → 谷歌拼音 dotnet src/ImeWlConverterCmd/bin/Release/net10.0/ImeWlConverterCmd.dll \ -i scel -o ggpy -O output.txt 我的词库.scel # 5. 进阶加过滤器 指定拼音编码 dotnet src/ImeWlConverterCmd/bin/Release/net10.0/ImeWlConverterCmd.dll \ -i scel -o qqpy -O clean.txt -f len:2-8|rank:50 -t pinyin 我的词库.scel想用图形界面Windows 用 WinForms 版macOS 用 Avalonia 版src/ImeWlConverterMac/两者的转换引擎与 CLI 完全共享界面上所有选项都能在命令行找到对应参数。 生态与展望这个项目还在往哪走从docs/下的MIGRATION.md命令行迁移指南、docker.mdDocker 化部署到openspec/里的规格文档LLM 词频配置、命令行参数解析重构、scel 导出等提案这个项目保持着相当规范的工程化演进节奏。已经落地的方向包括GNU 风格参数体系的重构、LLM 词频生成的接入、scel 导出能力的补齐、macOS 原生应用的发布流水线make package-all一键产出多平台安装包。对于输入法重度用户而言深蓝词库转换解决的不是这一次迁移而是一劳永逸的数据主权问题只要词库能自由进出各家格式你就永远有用脚投票换输入法的自由。这也是它十多年来持续维护的核心价值——把词库还给你把选择权也还给你。现在打开终端克隆项目用上面的命令把你的第一份词库迁出去。换输入法这件事从今天起不再是搬家而是一次普通的数据同步。【免费下载链接】imewlconverter”深蓝词库转换“ 一款开源免费的输入法词库转换程序项目地址: https://gitcode.com/gh_mirrors/im/imewlconverter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考