TF-IDF 是什么？把中文文本变成模型能读的数字

上一课我们把中文句子切成了词。现在要解决下一个问题模型只能处理数字不能直接处理词语。所以文本分类必须做特征提取。TF-IDF 就是一种经典、好用、适合入门的文本特征方法。从词频开始理解最直观的方法是统计一个词在文本里出现了几次。比如我 喜欢 机器学习 机器学习 很 有用词频可能是词出现次数我1喜欢1机器学习2很1有用1如果只看词频机器学习权重最高因为出现了两次。这就是 TF也就是 Term Frequency词频。只看词频有什么问题有些词出现很多但不一定重要。比如在很多文章里“我们”“这个”“可以”进行都可能频繁出现。它们出现多不代表它们能帮助分类。TF-IDF 的核心思想是一个词在当前文本里出现越多越重要 但如果它在很多文本里都出现就没那么特殊。也就是说TF-IDF 不只看当前文本里的词频还会看这个词在整个语料库里是不是常见。IDF衡量一个词有多稀有IDF 是 Inverse Document Frequency逆文档频率。可以粗略理解为一个词出现在越少的文档里它越有区分度。比如在一个技术博客数据集里词出现范围区分度这个很多文章都有低模型很多 AI 文章都有中交叉验证少数文章出现高TF-IDF特定主题文章出现高TF-IDF 会提高交叉验证“TF-IDF这种更能代表主题的词降低这个”可以这种泛化词。TF-IDF 的公式不用一开始死记公式可以先记住直觉TF-IDF 词在当前文本的重要程度 × 词在全局语料里的稀有程度正式写法是TF-IDF ( t , d ) TF ( t , d ) × IDF ( t ) \text{TF-IDF}(t, d) \text{TF}(t, d) \times \text{IDF}(t)TF-IDF(t,d)TF(t,d)×IDF(t)两个分量的含义分量全称计算含义TFTerm Frequency词在当前文档中的次数 / 文档总词数这个词在当前文档里频繁吗IDFInverse Document Frequencylog ⁡ 总文档数 包含该词的文档数 1 \log \frac{\text{总文档数}}{\text{包含该词的文档数} 1}log包含该词的文档数1总文档数​这个词在整个语料里稀有吗用一个算例体会一下。5 篇文档词的在全部 5 篇里都出现词机器学习只在 2 篇里出现“的”TF 可能很高但 IDF log ⁡ ( 5 / ( 5 1 ) ) ≈ 0 \log(5 / (51)) \approx 0log(5/(51))≈0所以 TF-IDF 接近 0被压低“机器学习”TF 不一定高但 IDF log ⁡ ( 5 / ( 2 1 ) ) ≈ 0.51 \log(5 / (21)) \approx 0.51log(5/(21))≈0.51所以 TF-IDF 有分量被保留。这就是 IDF 自动压制高频泛化词的方式不需要手动维护一份停用词表。用 sklearn 做 TF-IDF在 sklearn 里可以用TfidfVectorizer。英文文本通常可以直接交给它分词但中文最好先自己分词再把词用空格拼起来。importjiebafromsklearn.feature_extraction.textimportTfidfVectorizer texts[我喜欢机器学习,机器学习可以做文本分类,这个功能不好用,]texts_cut[ .join(jieba.lcut(text))fortextintexts]vectorizerTfidfVectorizer()Xvectorizer.fit_transform(texts_cut)print(X.shape)print(vectorizer.get_feature_names_out())X就是模型可以使用的数字矩阵形状通常是样本数 × 词表大小。如果有 1000 条文本、词表 5000 个词矩阵就是1000 × 5000。输出为什么是稀疏矩阵每条文本只会用到词表中的一小部分词。比如词表有 5000 个词但一条短信可能只有 20 个词剩下 4980 个位置都是 0。所以 sklearn 默认使用稀疏矩阵存储节省内存。这也是为什么打印X时你看到的不是普通二维数组而是类似坐标和值的结构。常用参数TfidfVectorizer有几个常用参数参数作用max_features最多保留多少个词min_df低于多少文档频率的词不要max_df高于多少文档频率的词不要ngram_range是否加入连续词组合sublinear_tf用1 log ⁡ ( TF ) 1 \log(\text{TF})1log(TF)代替原始 TF抑制超高频词norm对每行做 L2 归一化推荐保留例如vectorizerTfidfVectorizer(max_features5000,min_df2,max_df0.9,ngram_range(1,2),sublinear_tfTrue,norml2,)这表示最多保留 5000 个特征至少出现在 2 篇文档里的词才保留出现在 90% 以上文档里的词过滤掉同时考虑单个词和连续两个词对超高频词做对数压缩每行向量做 L2 归一化。和 Pipeline 结合TF-IDF 通常不要单独散着写而是和模型放进 Pipeline。fromsklearn.pipelineimportPipelinefromsklearn.linear_modelimportLogisticRegressionfromsklearn.feature_extraction.textimportTfidfVectorizer pipePipeline([(tfidf,TfidfVectorizer(max_features5000)),(model,LogisticRegression(max_iter1000)),])pipe.fit(X_train_text,y_train)predpipe.predict(X_test_text)这样训练、验证、调参和上线时都使用同一条流程能减少数据泄漏和预处理不一致。如果是中文文本可以先把分词结果拼成空格字符串再传给 Pipeline。TF-IDF 的局限TF-IDF 只看词频不理解语义遇到下面这些情况就会力不从心同义词TF-IDF 把美丽和漂亮当成两个完全不同的词无法识别它们意思相近上下文歧义苹果很好吃和苹果发布了 iPhone里的苹果是同一个词权重却一样长文本语义TF-IDF 只统计词频完全不知道句子在说什么。这些问题需要词向量Word2Vec或预训练语言模型BERT来解决。这一课先记住TF-IDF 的本质是给词分配权重。它会提高当前文本常出现、全局又不太泛滥的词降低到处都出现的普通词。对中文文本分类来说一条经典入门路线是中文分词 - 停用词处理 - TF-IDF - 逻辑回归/朴素贝叶斯下一批内容会继续把 TF-IDF 接进模型训练完成一个可运行的中文文本分类 baseline。在线阅读点击这里阅读博客原文原文地址https://bestsdz.xyz/posts/tfidf-for-chinese-text/