如何统计长篇中文文本的高频词：分词、停用词和 CSV 导出

先确认统计对象是“字”还是“词”

例如“人工智能帮助人们整理文章”这句话，按单字统计会出现“人”“工”“智”“能”等字符，无法直接说明“人工智能”这个词出现的次数。按中文词语统计则需要分词过程，把文字划分成有意义的单位。

中文不像英文天然用空格分词，所以不同的分词词典可能给出不同切分结果。同一份材料在不同浏览器中，某些专有名词的词频会有差异。词频统计适合探索主题，而不是自动提供确定无疑的学术结论。

自然语言处理可以分析文本。自然语言处理也可以帮助编辑。

处理较长的 TXT 或 Markdown 文件

优先使用 UTF-8 编码的纯文本。若原始材料是 PDF 或 Word，先检查转换后的文字是否丢失段落、页眉页脚和脚注。不要把文本编码错误造成的乱码当作词频结果。

打开在线词频统计工具，粘贴文本或选择本地 TXT/Markdown 文件。当前工具每次最多处理 50 万字符，若书籍超过上限，请按章节分段，再对每一段保存结果。

导入后点击“开始统计”。统计在浏览器本地完成，页面不会上传输入文章；但如使用共享电脑，仍应注意浏览器剪贴板及下载文件的隐私。

• 保留一份未经清洗的原文
• 检查文件编码、换行和标题
• 超过上限时按章节分批，而不是直接截断尾部

理解停用词、最小词长与百分比

高频词中常有“的”“了”“和”等助词。开启停用词过滤有助于突出主题词，但它也可能删除具有上下文意义的词语，建议分别保存开启与关闭过滤的结果。

把最小词长设置为 2 字或 3 字，可减少单字噪音，但也会过滤“AI”“税”等短词。不要在比较两份文章时一边采用停用词过滤，另一边却不采用；必须保持筛选规则一致。

本工具的占比以“过滤后保留的词数”为分母。例如保留 100 个词，其中“文本”出现 10 次，其占比为 10%。它不等于在原文所有字符中的百分比。

导出 CSV 后在 Excel 里做进一步分析

点击“下载全部词频（CSV / Excel）”。该 CSV 带 UTF-8 BOM，可以方便 Excel 识别中文，包含词语、频次和占比三列。页面表格为了保持流畅只显示部分结果，但导出包含所有保留词。

在 Excel 中按频次降序排序，检查作者名、术语和地名等专有名词是否被切断。比较两篇长短不同的材料时，最好先标准化为“每千词出现次数”，再做结论。

词语,频次,占比
文本,10,10.00%
编辑,5,5.00%

什么情况下不能仅凭词频得出结论

词频高不代表态度积极，也不代表概念重要。例如文章经常提到“风险”，可能是在支持防控，也可能是在批评政策。情绪分析、主题归纳与正式研究都需要人工复核原文。

如果文本包含个人聊天记录、未公开合同或客户数据，应先确认是否有权处理和保存；纯浏览器处理不意味着可以无视数据使用许可。