Chrome F12直接定位get央求,response的结果是json,研讨下get的参数发现有个奇异的参数token?!
先不管他直接修正参数翻页央求数据!!!
数据爬取三步曲之末尾填坑
成绩来了!纠结半天后发现这个token是有时效的,而且是js生成的。。。这也不是成绩,get央求行不通我们还有selenuim。悲催的是美团真的是大厂直接封杀selenuim
数据爬取三步曲之将坑填平
又回到原点。没办法只能从token下手了经过一番查找发现一个js文件
嗯。。。好吧继续,由于之前没有用python直接调用js,百度一番发现pyexecjs、PyV8等都可以。悲催的是我的python2.7安装pyexecjs后不缎阑能正常运用,PyV8没有成绩。只是PyV8安装进程太心酸
废话不多说直接上代码:
我把js文件寄存到本地python直接运用PyV8直接解析执行token的js事情
顺序自动生成token,刻不容缓接续解析json数据入库
测试完成先抓取北京和上海数据停止数据可视化
在统计师发现美团还是对数据经行了限制每个类型的餐饮场所最多显示每页32个一共32页。也就是32*32=1024个
数据可视化
北京、上海美食各类型数量占比状况
看以看出川湘、烧烤烤肉和中餐在两地的数量占比都是最多的。撸串、麻小果真不分南北。
数据中有每家店的品论数量我们可以从中剖析出每一类美食的总评论状况来展现受欢迎状况,因展现效果我们只展现top10
北京、上海市top10美食状况
下面我们比照下两地同类美食的平均价钱的状况:
魔都消费水平曾经超过帝都啦。。。哈哈哈
以上只是团体复杂剖析不代表威望发布仅供文娱,欢迎各界冤家交流学习。
好了我的泡面好了。。。嗯真香!!!
作者:Kying,西二旗顺序独身汪一枚。从事智慧旅游、数据开掘。新晋python 小白,希望与情投意合者一同煮酒论英雄,数据森麟特邀作者。
【编辑引荐】
GitHub 发布 10 月 21 日系统缺点剖析报告
剖析JavaScript的数据类型与变量
【Python爬虫&数据剖析】2018年电影,你看了几部?
用Python剖析统计必胜客餐厅
用Python剖析了1w场吃鸡数据,原来吃鸡要这么玩!
(责任编辑:admin)