推特Twitter爬虫总结
最近因为工作需要爬虫了一段时间推特
Twitter网站是用AJAX异步加载的，用request请求到json文件的数据url也是拒绝的
所以只能慢慢模拟浏览器下滑慢慢加载json文件咯（当然我没有用类似于selenium一类的库，效率太低）
ok,现在的功能大概如下：
1、用于访问和下载某人的全部推特：如爬取特朗普注册以来发的所有推特信息
2、以及大范围的推特爬取，某个地区，某种语言或包含某个关键字的的推特内容 如：爬取推特在2019-5-20到2019-6-20 出现过 “比特币”字段的所有推特信息
3、爬取某个账户的粉丝，关注者信息以及推特下的评论 ，如：爬取韩寒粉丝的签名，地理位置，昵称，以及韩寒每条推特下的评论
差不多就酱吧
举个例子：
我们需要爬trump的100000条推特，输入以下命令就行了
GetOldTwitter --username "realDonaldTrump" --toptweets --maxtweets 100000
爬虫结果如下（因为用windows系统需要fanqiang，所以直接在linux下使用了）
用python代码读一下csv文档（穷苦民众只能买没有图形界面的服务器）：
import csv import pandas as pd df=pd.read_csv("/opt/test/output_got.csv") print(df)
确实是没有问题
再比如，我们想检索在推特上搜索 “changsha”的新闻
GetOldTwitter -qsearch " changsha " --maxtweets 10
该有的信息都有没什么问题，如果在windows系统下不能使用可以私信我或者应该是被墙住了吧
优秀的程序员我觉得就是要一键和兼容 ，具体怎么使用看看我写的readme就行了
具体github地址如下：
Solin1998/SearchTTgithub.com
当然，情感分析，事件抽取一类的事情我也做不来，只是做了一部分原始数据的来源爬虫，
有时间应该会更新看有没有办法绕过twitter开发者账号比如爬取关注的人，多级关注等
有个老哥私信我好几次了，你先用这个代码爬一下关注者和评论信息吧，json格式的
import ssl import json import urllib.request from bs4 import BeautifulSoup from urllib.request import urlopen ssl._create_default_https_context = ssl._create_unverified_context import tweepy #这个账号自己去申请，不好意思哦 consumer_key = 'lr7GQ6kTaSBkjQV' consumer_secret = 'oxrXDT8TxsYRqIfk0k7vsX6zHyHSZ7fwZR' access_token = '3388759955-FOU7cDJApQLDRjIbvICPCJtT5' access_token_secret = 'qEvay5uQUxt0sTlHclSeI1KrblHJR8X' auth = tweepy.OAuthHandler (consumer_key, consumer_secret) auth.set_access_token (access_token, access_token_secret) api = tweepy.API (auth) api = tweepy.API(auth, wait_on_rate_limit=True) results=api.friends(id="markturnery2k") #id就是你要查的user_id print(results)
最后，本人还整理了一推特粉丝排名，如中文用户排名，热点事件参与等等..