网页设计头部教程,网页设计头部图片|在线设计网

文章目录 [+]

Python+requests爬取源码，为什么有些网页只获取头部一小部分？

Python+requests爬取源码，为什么有些网页只获取头部一小部分？

最有可能的原因就是网页数据是动态加载的，存储在一个json文件中，直接获取源码是提取不到任何信息的，需要抓包分析才行，下面我简单介绍一下操作过程，以某某贷上的数据为例（动态加载）：

1.首先，打开原网页，如下，这里***设我们要爬取的数据包含年利率、借款标题、期限、金额和进度5个字段：

2.接着右键打开网页源码，按Ctrl+F搜索其中关键字，如“10.20%”，可以看到，任何信息都匹配不到，说明数据是动态加载的，而非直接嵌套在网页源码中：

div>

（图片来源网络，侵删）

3.按F12调出浏览器开发者工具，开始抓包分析，依次点击“Network”->“XHR”，F5刷新页面，可以看到，数据是动态加载的，存储在一个json文件中，而非html网页源码，只有解析这个json文件，才能提取出我们需要的数据：

4.接着就是根据抓包结果解析json文件，已经获取到url地址，所以直接get请求即可，然后用python自带的json包解析就行，测试代码如下，非常简单，依次根据属性提取字段信息即可：

5.最后点击运行程序，截图如下，已经成功提取到我们需要的数据：

（图片来源网络，侵删）

至此，我们就完成了网页动态数据的爬取。总的来说，整个过程非常简单，最主要的还是抓包分析，获取到真实存储数据的文件，然后再解析就行，只要你有一定的python基础，熟悉一下上面的过程，很快就能掌握的，当然，如果数据或链接进行了加密处理，这个就非常复杂了，需要自己好好琢磨一下，网上也有相关资料和教程，感兴趣的话，可以搜一下，希望以上分享的内容能对你有所帮助吧，也欢迎大家评论、留言进行补充。