购买
下载掌阅APP,畅读海量书库
立即打开
畅读海量书库
扫码下载掌阅APP

1.2 文本处理技能

1.2.1 字符串处理

1.字符串的创建

字符串是Python中最常用的数据类型,我们可以使用单引号或双引号来创建字符串。创建字符串很简单,只需要为变量分配一个值即可。

例如:

在终端查看var1变量中的内容如下所示:

此外,Python支持三引号,用于包含特殊字符,保存原始格式,具体如下所示:

在终端查看var2变量中的内容如下所示:

为了正确地表示字符串中的单引号,需要在字符串两边使用双引号。如果使用了单引号,就会出现语法错误。出现语法错误的程序如下所示:

在终端中查看变量var3的结果如下所示:

因此,在使用含有单引号的字符串时必须使用双引号。

2.访问字符串中的值

Python中使用方括号[]来访问字符串。按照从左到右的顺序取字符,第一个字符的索引(也称为下表)是0;也可以按照从右到左的顺序取字符,索引值使用负数,最后一个字符的索引是-1。如果使用的索引超出字符串本身的范围,则会出现“IndexError”越界错误。具体程序如下所示:

在终端中查看上述案例的输出结果如下所示:

上述案例同时也给出了使用切片运算符[:]得到一部分字符串的方法。冒号左边是起始下标,右边是结束下标。其中,左边的下标包含在子字符串内,而结束下标对应的字符不包含在子字符串内。步长值也可以是负数,表示自右向左取切片。

3.字符串的运算符

实例变量a值的字符串为“AIX”,变量b值为“Eboard”,字符串运算符示例如表1.2所示。

表1.2 字符串运算符示例

下面的代码给出了表1.2中字符串运算符的具体案例和运行结果。

在终端中查看上述案例的输出结果如下所示。

1.2.2 中文分词及案例实现

中文分词指的是将中文句子切分成单独的词语。分词就是将连续的字序列按照一定的规则组合成词序列的过程。自然语言处理的多数任务都需要在词的基础上进行。因此,中文分词作为自然语言处理任务的底层技术,一定程度上决定了自然语言处理的任务能否取得好的结果。我们知道,英文是可以按照空格分割的,但是中文就有很大的不同,其难点在于中文的歧义现象和新词汇的出现。

所以,我们在进行自然处理任务的时候,要先对文本内容进行分词。本节将介绍jieba分词工具及其用法。

jieba是一款非常流行的中文开源分词包,具有高性能、高准确率、高可扩展性等特点。jieba分词支持四种模式。

(1)精确模式:试图将句子最精确地切开,适合文本分析。

(2)全模式:把句子中所有可以组成词的词语都扫描出来,速度非常快,但是不能解决歧义。

(3)搜索引擎模式:在精确模式的基础上,对长词再次切分,提高召回率,适用于搜索引擎分词。

(4)paddle模式:利用PaddlePaddle深度学习框架,训练序列标注(双向GRU)网络模型实现分词。jieba分词如果要使用paddle模式就需安装paddlepaddle-tiny。

1.实验目标

使用jieba实现中文分词。

2.实验环境

实验环境如表1.3所示。

表1.3 实验环境

3.实验步骤

创建words_seq.py源码文件,用于实现词频的统计。

按照如下步骤编写代码。

步骤一:导入模块

步骤二:创建word_segment函数,实现不同模式的分词

步骤三:自定义main方法编写及主函数处理

步骤四:运行代码

使用如下命令运行实验代码。

经过运行,终端输出内容下所示:

从以上结果可以看出,精确模式能获得句子的语义信息,因此自然语言处理的各种任务常常使用精确模式。全模式和搜索引擎模式适用于搜索和推荐领域,而paddle模式则和精确模式类似,不同之处在于paddle模式匹配会对包含语义最大的词组进行切分。 0exUwC9IkPAcE9l9Hlkm0o3iwMcLjW4MmLiyM+slJ/vjtVfP1IxHItNF55Khn/lE

点击中间区域
呼出菜单
上一章
目录
下一章
×