WordEmbedding训练数据准备全攻略：中文语料库清洗与构建方法

要训好 Word Embedding，语料质量直接决定模型上限。随便凑点文本根本不够——语料的领域匹配度、清洗颗粒度、标注一致性，才是真正把语义关系“训进”向量的核心要素。维度设得再大，数据源充满了垃圾、噪声、不统一，结果就是负收益。

先定任务，再倒推语料来源

不同的 NLP 任务对语料构成的要求差异巨大：

• 通用语义理解（搜索、问答、文本匹配）：首选大规模、多文体混合语料，中文维基百科、百度百科、新闻语料是标配基线；
• 垂直领域任务（金融报告分析、医疗问诊、法律文书解析）：必须用该行业真实文本——行业白皮书、年报、病历摘要、判决书，老老实实爬取并精细整理，通用语料根本替代不了；
• 词粒度建模（word2vec、GloVe）：关键在于保留完整的上下文窗口，句子切分不要过碎，更不能随意乱拼接；
• 子词/字粒度建模（BPE、SentencePiece）：原始文本不需分词，但编码必须统一（UTF-8），绝不能出现乱码或不可见控制字符。

清洗要做到“字符级”，不光删标点

清洗远不止去掉空格和标点。真实目标——清除所有会让模型学到错误模式的噪声源：

• 先用正则表达式清除 HTML 标签、广告模板（如“【广告】”“↑↑↑点击下载”）、页眉页脚、重复分隔线（“———”“***”）；
• 繁简统一：用 OpenCC 或 hanziconv 统一转为简体字，否则“後”“裡”“為”这些变体会被模型当成完全不同词来学；
• 异常编码检测：修复 GBK/UTF-8 混用导致的乱码（“锟斤拷”经典案例），推荐流程是 chardet 探测编码 + decode-replace 容错；
• 过滤低信息文本：纯数字串、过短句子（少于 5 个字）、全标点行、满屏 emoji 或 URL 的无意义内容，统统剔除；
• “去停用词”谨慎操作：word2vec 这类模型高度依赖上下文共现，一上来删掉“的”“了”“在”可能破坏语法结构，建议留到后期评估阶段再测试。

构建适合嵌入训练的文本格式

最终喂给模型的不是整篇文章，而是系列语义连贯、长度可控的文本单元。格式处理有几个关键点：

• 按自然段落或句子切分：严禁跨段拼接，否则“上一段结尾+下一段开头”会生成虚假上下文关系；
• 控制单条长度：word2vec 建议 20–200 字。太短缺乏上下文信息，太长容易混入噪声；
• 保存为纯文本行格式（.txt）：每行一条样本，不带编号、ID 或标签。示例：
  他走进医院，挂号后等待叫号。
  这款手机电池续航很强，日常使用两天一充。
• 如果直接用 Gensim 训练，可以传入 Python 列表，每一项是已分好词的 list（如 ["他", "走进", "医院", "挂号", "后", "等待", "叫号"]），无需额外 tokenization 文件；
• 标点符号建议保留：中文标点（，。？！）自带句法边界信息，对 skip-gram 和 CBOW 建模有帮助，不建议全局删除。

规模与质量的实用平衡建议

语料不是越多越好，更合理的标准是“够用 + 干净 + 相关”：

• 入门实验：100MB 清洗后纯文本（约 5000 万字），即可训出可用 baseline；
• 工业级部署：建议 500MB 以上，覆盖多个子领域（维基 + 新闻 + 论坛帖），能显著提升模型泛化能力；
• 做一次语义去重：用 SimHash 或 MinHash 快速识别高度重复段落（转载新闻、模板化客服回复），保留一份；
• 留出 5% 数据作为 hold-out 验证集：不参与训练，专门用于后期人工抽检向量质量。例如检查“苹果”的近邻里：出现“香蕉”“梨”合理，还是混进了“iPhone”。

来源：互联网