通过高德地图获取的上海市各区电玩城数据去大众点评进行搜索,爬取对应得到的店铺评论信息,并在百度智能云进行情感分析
因为我家是开电玩城的,报学校的暑期项目就做了一个跟电玩城相关的内容,爬一爬电玩城的信息,做做情感分析,正好现在这个东西特别火,我想做出来对我申博也有帮助。
代码分三块,第一部分是高德地图的api,用这个可以爬取高德地图里面的电玩城相关信息,并将信息储存在mongoDB里面。后来才发现应该爬腾讯地图比较好,因为后续高德地图上的很多门店在大众点评搜不到。
第二部分是爬大众点评的评论,这块用了一个大佬@Sniper970119的项目dianping_spider,代码已经被我爆改成屎山了,在function文件夹的review里面可以修改爬评论的页数,config文件里面改参数加ip池,加ip池这一步是必须的,大众点评太坑了,爬这个封了我三个号,直接搜索功能都ban了,用了第四个号才全部爬完,可以在config里面吧休眠间隔再调长一点。最后运行main文件就能爬了。最好还是去看看大佬的原项目,我连面向对象都不是很懂,写代码全靠ai。
第三部分,是将爬取的评论发送给百度智能云进行情感分析,计算一个情感倾向得分。由于我的几组数据储存在了不同的数据库,这里还匹配了一下,我是先用navicat把几张数据表复制到同一个数据库里面再进行匹配的,最后把匹配好的数据直接导出为excel去作图了。
以上简单说了几句,有问题欢迎交流,qq:879684721