从Scrapy爬行中删除“＃”链接

Question

我是网站上的running this spider。它工作正常，但我遇到的一个问题是有许多带有“＃”作为链接的hrefs。

如何跳过或放弃这些＃链接？我正在输出指向当前文件的链接，并使用lstrip转储文件“”。我也试过i.replace，但它仍然在文件中留下一条空行。

Answer 1

对于与您的选择器匹配的所有内容，您是yield ing。有条件yield，所以转换：

for i in selector.extract(): 
    yield {"url": i.lstrip('#')} 

成类似

for i in selector.extract(): 
    url = i.lstrip('#') 
    if url: 
     yield {"url": url} 

Answer 2

为了跳过这些链接，您需要更改XPath表达式提取href属性，只有当他们不含有“＃”

selector = response.xpath('//*/a[not(contains(@href, "#"))]/@href')