3、用xpath进行数据分析

  3．1、chrome＿Xpath插件安装

  1） 这里用到一个插件。能够快速检验我们爬取的信息是否正确。具体安装方法如下。

  2） 百度下载chrome＿Xpath＿v2．0．2．crx， chrome浏览器输入：chrome：／／extensions／

  3） 直接将chrome＿Xpath＿v2．0．2．crx拖动至该扩展程序页面 ；

  4） 如果安装失败，弹框提示“无法从该网站添加应用、扩展程序和用户脚本”，遇到这个问题，解决方法 是：打开开发者模式，将crx文件（直接或后缀修改为rar）并解压成文件夹，点击开发者模式的加载已解压的扩展程序，选择解压后的文件夹，点击确定，安装成功；

  3．2、chrome＿Xpath插件使用

  上面我们已经安装好了chrome＿Xpath插件，接下来我们即将使用它。    1） 打开浏览器，按下快捷键F12 。    2） 选择元素，如下图所示。

  3） 右键，然后选择，“Copy XPath”，如下图所示。

  3．3、编写代码，获取链接函数。

  上面我们已经获取到链接函数的Xpath路径，接下来定义一个获取链接函数get＿tlink，并继承self，实现多页抓取。

＇＇＇获取链接函数＇＇＇
   def get＿tlink（self， url）：        xpath ＝ ＇／／div［＠class＝＂threadlist＿lz clearfix＂］／div／a／＠href＇        t＿list ＝ self．get＿parse＿page（url， xpath）        ＃ print（len（t＿list））        for t in t＿list：            t＿link ＝ ＂http：／／www．tieba．com＂ ＋ t            ＇＇＇接下来对帖子地址发送请求  将保存到本地＇＇＇            self．write＿image（t＿link）
4、保存数据

这里定义一个write＿image方法来保存数据，如下所示。

＇＇＇保存到本地函数＇＇＇
def write＿image（self， t＿link）：      xpath ＝ ＂／／div［＠class＝＇d＿post＿content j＿d＿post＿content clearfix＇］／img［＠class＝＇BDE＿Image＇］／＠src ｜ ／／div［＠class＝＇video＿src＿wrapper＇］／embed／＠data－video＂        img＿list ＝ self．get＿parse＿page（t＿link， xpath）               for img＿link in img＿list：              html ＝ requests．get（url＝img＿link， headers＝self．headers）．content            filename ＝ ＂百度／＂＋img＿link［－10：］                     with open（filename， ＇wb＇） as f：                f．write（html）                print（＂％s下载成功＂ ％ filename）

注：＠data－video是网址中的视频，如下图所示。

【六、效果展示】

  1、点击运行，如下图所示（请输入你要查询的信息）：

  2、以吴京为例输入，回车：

  3、将图片下载保存在一个名为“百度”文件夹下，这个文件夹需要你提前在本地新建好。务必记得提前在当前代码的同级目录下，新建一个名为“百度”的文件夹，否则的话系统将找不到该文件夹，会报找不到“百度”这个文件夹的错误。

  4、下图中的MP4就是评论区的视频。

【七、总结】

1、不建议抓取太多数据，容易对服务器造成负载，浅尝辄止即可。

2、本文基于Python网络爬虫，利用爬虫库，实现百度贴吧评论区爬取。就Python爬取百度贴吧的一些难点， 进行详细的讲解和提供有效的解决方案。3、欢迎大家积极尝试，有时候看到别人实现起来很简单，但是到自己动手实现的时候，总会有各种各样的问题，切勿眼高手低，勤动手，才可以理解的更加深刻。学习requests 库的使用以及爬虫程序的编写。4、通过本项目可以更快的去获取自己想要的信息。