Scraperwiki Twitter查询

Question

请原谅我，因为我对scraperwiki和Twitter挖掘的知识有限。

我有以下代码刮微博数据。不过，我想编辑代码，只给我在特定日期为纽约进行地理标记的结果（比方说，2013年4月1日）。你知道我应该怎么做？

############################################################################### 
# Twitter srcaper for the term 'hello'. 
############################################################################### 

import scraperwiki 
import simplejson 

# retrieve a page 
base_url = 'http://search.twitter.com/search.json?q=' 
q = 'hello' 
options = '&rpp=10&page=' 
page = 1 

while 1: 
    try: 
     url = base_url + q + options + str(page) 
     html = scraperwiki.scrape(url) 
     #print html 
     soup = simplejson.loads(html) 
     for result in soup['results']: 
      data = {} 
      data['id'] = result['id'] 
      data['text'] = result['text'] 
      data['from_user'] = result['from_user'] 
      data['created_at'] = result['created_at'] 
      # save records to the datastore 
      scraperwiki.datastore.save(["id"], data) 
     page = page + 1 
    except: 
     print str(page) + ' pages scraped' 
     break 

Answer 1

除了q，使用查询参数geocode和until。见Twitter API documentation的这一页。请注意，您不能使用搜索API来查找比about a week更早的推文。

此外，它更容易使用urllib.urlencode()来构建你的查询，例如像

query_dict = {'q':'search term(s)', 'geocode':'37.781157,-122.398720,25mi', 'until':'2013-05-10'} 
query = urllib.urlencode(query_dict) 
response = urllib.urlopen(basic_url + query).read() 

更新：请参阅this example scraper，您可以复制和适应您的需求。