1.2 文本处理技能

1.2.1 字符串处理

1.字符串的创建

字符串是Python中最常用的数据类型，我们可以使用单引号或双引号来创建字符串。创建字符串很简单，只需要为变量分配一个值即可。

例如：

在终端查看var1变量中的内容如下所示：

此外，Python支持三引号，用于包含特殊字符，保存原始格式，具体如下所示：

在终端查看var2变量中的内容如下所示：

为了正确地表示字符串中的单引号，需要在字符串两边使用双引号。如果使用了单引号，就会出现语法错误。出现语法错误的程序如下所示：

在终端中查看变量var3的结果如下所示：

因此，在使用含有单引号的字符串时必须使用双引号。

2.访问字符串中的值

Python中使用方括号[]来访问字符串。按照从左到右的顺序取字符，第一个字符的索引（也称为下表）是0；也可以按照从右到左的顺序取字符，索引值使用负数，最后一个字符的索引是-1。如果使用的索引超出字符串本身的范围，则会出现“IndexError”越界错误。具体程序如下所示：

在终端中查看上述案例的输出结果如下所示：

上述案例同时也给出了使用切片运算符[：]得到一部分字符串的方法。冒号左边是起始下标，右边是结束下标。其中，左边的下标包含在子字符串内，而结束下标对应的字符不包含在子字符串内。步长值也可以是负数，表示自右向左取切片。

3.字符串的运算符

实例变量a值的字符串为“AIX”，变量b值为“Eboard”，字符串运算符示例如表1.2所示。

下面的代码给出了表1.2中字符串运算符的具体案例和运行结果。

在终端中查看上述案例的输出结果如下所示。

1.2.2 中文分词及案例实现

中文分词指的是将中文句子切分成单独的词语。分词就是将连续的字序列按照一定的规则组合成词序列的过程。自然语言处理的多数任务都需要在词的基础上进行。因此，中文分词作为自然语言处理任务的底层技术，一定程度上决定了自然语言处理的任务能否取得好的结果。我们知道，英文是可以按照空格分割的，但是中文就有很大的不同，其难点在于中文的歧义现象和新词汇的出现。

所以，我们在进行自然处理任务的时候，要先对文本内容进行分词。本节将介绍jieba分词工具及其用法。

jieba是一款非常流行的中文开源分词包，具有高性能、高准确率、高可扩展性等特点。jieba分词支持四种模式。

（1）精确模式：试图将句子最精确地切开，适合文本分析。

（2）全模式：把句子中所有可以组成词的词语都扫描出来，速度非常快，但是不能解决歧义。

（3）搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适用于搜索引擎分词。

（4）paddle模式：利用PaddlePaddle深度学习框架，训练序列标注（双向GRU）网络模型实现分词。jieba分词如果要使用paddle模式就需安装paddlepaddle-tiny。

1.实验目标

使用jieba实现中文分词。

2.实验环境

实验环境如表1.3所示。

3.实验步骤

创建words_seq.py源码文件，用于实现词频的统计。

按照如下步骤编写代码。

步骤一：导入模块

步骤二：创建word_segment函数，实现不同模式的分词

步骤三：自定义main方法编写及主函数处理

步骤四：运行代码

使用如下命令运行实验代码。

经过运行，终端输出内容下所示：

从以上结果可以看出，精确模式能获得句子的语义信息，因此自然语言处理的各种任务常常使用精确模式。全模式和搜索引擎模式适用于搜索和推荐领域，而paddle模式则和精确模式类似，不同之处在于paddle模式匹配会对包含语义最大的词组进行切分。 z6FFUNmpU082+fuvruTKUDU176ktaJBcjkq7o/dYeIZJdNVnBv991XDfIJaxFCnc