scrapy的链接请求

Question

现在我可以看到scrapy同时下载所有页面，但我需要的是链接people和extract_person方法，以便当我在方法people中获取人员列表时，我会遵循所有这些方法并全部删除我需要的信息，只有在此之后，我才能继续使用其他网页的人们。我怎样才能做到这一点？

def people(self, response): 
    sel = Selector(response) 
    urls = sel.xpath(XPATHS.URLS).extract() 
    for url in student_urls: 
     yield Request(
      url=BASE_URL+url, 
      callback=self.extract_person, 
     ) 

def extract_person(self, response): 
    sel = Selector(response) 
    name = sel.xpath(XPATHS.NAME).extract()[0] 
    person = PersonItem(name=name) 
    yield student 

Answer 1

可以控制请求的priority：

优先级（INT） - 该请求（默认为0）的优先级。调度程序使用优先级 来定义用于处理请求的顺序。 具有较高优先级值的请求将在较早时间执行。为了表示相对较低的优先级，允许使用负值 值。

的人请求优先级设置为1会让Scrapy知道先处理它们：

for url in student_urls: 
    yield Request(
     url=BASE_URL+url, 
     callback=self.extract_person, 
     priority=1 
    )