如何在Scrapy中使用带密码的PROXY_LIST？

问题描述：

我需要使用不同的代理来避免被禁止。如何在Scrapy中使用带密码的PROXY_LIST？

我把我的代理人在proxylist.txt

http://xx.xx.xxx.xxx:port 
http://xxx.xxx.xx.xxx:port 
http://xx.xx.xxx.xxx:port 
http://xxx.xxx.xx.xxx:port

，我把它在custom_settings

class MyClass(scrapy.Spider): 
    reload(sys) 
    sys.setdefaultencoding('utf8') 
    start_time = time.time() 
    name = 'mySpider' 
    custom_settings = { 
     'ROBOTSTXT_OBEY' : 'False', 
     'RETRY_TIMES'  : 10, 
     'PROXY_LIST'  : 'proxylist.txt', 
     'PROXY_MODE'  : 0, 
     'DOWNLOADER_MIDDLEWARES' : { 
      'scrapy.downloadermiddlewares.retry.RetryMiddleware': 90, 
      'scrapy_proxies.RandomProxy': 100, 
      'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, 
      'scrapy_crawlera.CrawleraMiddleware': 600, 
      'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None, 
      'random_useragent.RandomUserAgentMiddleware': 400 
     }, 
    }

这个版本工作当我的代理没有密码

现在我有每个代理服务器的密码，我如何将它更改为工作使用密码？

答

我回答我自己的问题。

我用这个和它的作品：

http://USERNAME:[email protected]:PROXYPORT

如何在Scrapy中使用带密码的PROXY_LIST？

相关推荐