python 分词_分词

在自然语言处理（NLP）中，分词是一个重要的步骤，分词是将连续的文本分割成有意义的单元或标记的过程，在中文中，分词尤为重要，因为中文写作没有像英文那样的空格分隔单词。

Python 中有多种分词工具，jieba、pkuseg、thulac 等，jieba 是最流行的中文分词库之一，接下来，我们将介绍如何使用 jieba 进行分词。

安装 jieba

我们需要安装 jieba，可以使用 pip 进行安装：

pip install jieba

使用 jieba 进行分词

jieba 提供了三种分词模式：精确模式、全模式和搜索引擎模式，下面分别介绍这三种模式的使用。

精确模式

精确模式是最常用的模式，它试图将句子最精确地切开，适合文本分析。

import jieba
text = "我爱自然语言处理技术"
seg_list = jieba.cut(text, cut_all=False)
print(" / ".join(seg_list))

输出结果：

我 / 爱 / 自然语言 / 处理 / 技术

全模式

全模式将句子中所有可以成词的词语都扫描出来，速度非常快，但不能解决歧义问题。

import jieba
text = "我爱自然语言处理技术"
seg_list = jieba.cut(text, cut_all=True)
print(" / ".join(seg_list))

输出结果：

我 / 爱 / 自然 / 自然语言 / 语言 / 处理 / 技术

搜索引擎模式

搜索引擎模式在精确模式基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。

import jieba
text = "我爱自然语言处理技术"
seg_list = jieba.cut_for_search(text)
print(" / ".join(seg_list))

输出结果：

我 / 爱 / 自然 / 自然语言 / 语言 / 处理 / 技术

添加自定义词典

我们可能需要对一些特定领域的词汇进行分词，这时，我们可以使用 jieba 的 add_word 方法添加自定义词典。

import jieba
jieba.add_word("自然语言处理")  # 添加自定义词
jieba.add_word("深度学习")
text = "我爱自然语言处理技术和深度学习"
seg_list = jieba.cut(text, cut_all=False)
print(" / ".join(seg_list))

输出结果：

我 / 爱 / 自然语言处理 / 技术 / 和 / 深度学习

FAQs

Q1: 如何在 Python 中使用 jieba 进行繁体中文分词？

A1: jieba 默认支持简体中文分词，对于繁体中文，可以使用 Open Chinese Conversion（OpenCC）进行简繁转换后，再使用 jieba 进行分词，首先安装 OpenCC：

pip install openccpythonreimplemented

然后进行简繁转换和分词：

import jieba
import opencc
conv = opencc.OpenCC('t2s')  # 繁体转简体
text = "我愛自然語言處理技術"
text_simplified = conv.convert(text)  # 繁体转简体
seg_list = jieba.cut(text_simplified, cut_all=False)
print(" / ".join(seg_list))

Q2: 如何调整 jieba 分词的结果？

A2: jieba 的分词结果受到其内部词典的影响，我们可以通过添加自定义词典来调整分词结果，jieba 提供了一个 HMM（隐马尔可夫模型）接口，允许用户自定义 HMM 模型，以实现更精确的分词，具体使用方法请参考 jieba 官方文档。