如何用Python抓取上海美团火锅的数据？
2020-12-18 09:24
Python进阶学习交流
关注
最近有个小伙伴在群里问美团数据怎么获取，而且她只要火锅数据，她在上海，只要求抓上海美团火锅的数据，而且要求也不高，只要100条，想做个简单的分析，相关的字段如下图所示。
乍一看，这个问题还真的是蛮难的，毕竟美团也不是那么好抓，什么验证码，模拟登陆等一大堆拂面而来，吓得小伙伴都倒地了。
通过F12查看，抓包，分析URL，找规律，等等操作。
不过白慌，今天小编给大家介绍一个小技巧，另辟蹊径去搞定美团的数据，这里需要用到抓包工具Fiddler。讲道理，之前我开始接触网络爬虫的时候也没有听过这个东东，后来就慢慢知道了，而且它真的蛮实用的，建议大家都能学会用它。这个工具专门用于抓包，而且其安装包也非常小，如下图所示。
接下来，我们开始进行抓取信息。
1、在Fiddler的左侧找到meituan网站的链接，如下图所示。链接的左边返回的response（响应）的文件类型，可以看到是JSON文件，尔后双击这一行链接。
分享
声明：
本文由入驻维科号的作者撰写，观点仅代表作者本人，不代表OFweek立场。如有侵权或其他问题，请联系举报。
最新活动更多
-
1月8日火热报名中>> Allegro助力汽车电气化和底盘解决方案优化在线研讨会
-
即日-1.16立即报名>>> 【在线会议】ImSym 开启全流程成像仿真时代
-
即日-1.24立即参与>>> 【限时免费】安森美：Treo 平台带来出色的精密模拟
-
2月28日火热报名中>> 【免费试用】东集技术年终福利——免费试用活动
-
即日-3.21立即报名 >> 【深圳 IEAE】2025 消费新场景创新与实践论坛
-
4日10日立即报名>> OFweek 2025（第十四届）中国机器人产业大会
推荐专题
发表评论
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论