下载掌阅APP，畅读海量书库
立即打开
在股票市场中，投资者的情绪往往会影响股价短期的波动。作为中国最大的股票论坛，东方财富股吧里的评论文本能够直接反映投资者对市场行情或对某只股票的即时情绪。通过网络爬虫的方法获取股吧论坛中某只股票的评论，对于后续的文本分析、量化交易有非常重要的意义。这里将以“宁德时代”这只股票为例，爬取前五页评论数据。
首先，导入相关的包库。部分包库，在后续章节中会展开分析，例如BeautifulSoup、NumPy、Pandas。
其次，定义一个guba_comments函数用于获取股吧中的评论数据，参数max_page表示获取的最大页数。该函数分为两大板块内容：爬取网页、生成文档。
爬取网页这一板块通过构造循环，获取前五页的内容，然后对文档进行解析。
再次，在这一板块还需要对爬取下来的文档进行处理，采用Xpath方法获取文档中的“阅读量”“评论量”“评论”“作者”以及“发布时间”信息。使用XPath可以从返回的HTML文档中提取特定的内容。XPath是一种用于在XML和HTML文档中进行导航和定位的查询语言。在Python中，可以使用Lxml库来解析HTML并使用XPath进行提取。可以先安装Lxml库：pip install lxml。
在使用XPath的xpath（）方法进行查询时，可以通过构造XPath表达式来指定要查询的内容。XPath表达式可以包含不同的路径和选择规则，以定位和筛选要提取的目标元素。
生成文档板块中，以往的经验表明，如果标“问董秘”，会导致生成标题个数和“作者”个数不相同而出现报错的情况。因此，在生成文档前，将标题为“董秘问”的信息删除。
上述操作的完整代码如下所示。
最后获取的部分数据展示如图3-7所示。
图3-7 数据展示
需要注意的是，读者在运行整个程序的时候不能得到与上面图片相同的数据。这是因为，上述案例爬取的网页是实时更新的，因此内容也会有所不同。