java写的抖音爬虫,爬取抖音的在线主播数据
用java写的爬虫,爬的抖音,目前只能爬部分,也是很困难的。
爬虫技术,知名的谷歌,百度,都是最大的爬虫,创造了可观的财富,不容小觑。
实现这个爬虫有两个难点,一是x-gorgon的获取,二是STUB的获取,x-gorgon是最重要的。
然后下载了一万多个用户头像,也不知道这些头像图片有什么价值。就留着以后做人工智能时是数据资源吧。当以后开发些智能程序的时候,全部转成python。
先来GET数据,抓的是在线的直播信息。
第一步就是,抓包了。
获得自己需要的信息,其中x-Gorgon是变化的。
第二步,就是编写程序,我这里用的是java。部分代码。
第三步,将抓取的数据保存到数据库。
朋友想要的是主播的房间号和抖音号,问他干啥也不说,就懵懵懂懂说是用了抢红包,我猜难道是抢主播打赏时用的红包,然后用了个什么抢红包工具?然后还叫我给他做个接口,其实就是叫我做个网址,可以生成个txt文档。既然用了java,那么索性全部用java,tomcat,servlet轻松解决他的需求。这些数据可以每隔一段时间自动更新一次。
后来也不知道咋整的,索性把这些主播的头像也下载了下来。
其实也就用了一点点代码,也许用python用的代码更少。
既然都做到这个地步了,不由得想其了给抖音做自动评论的功能。
按照以往做其它工具的经验,该配置的都配置了,但是就是发送不了,不知道什么原因。
评论失败,已经整了好几天了,也不知道什么原因。欢迎高手交朋友。我的v:lb87626