用scrapy管理多个蜘蛛

Question

我正在创建一个聚合器，我开始使用scrapy作为我的初始工具集。 首先，我只有几只蜘蛛，但随着项目的发展，我似乎有数百甚至上千种不同的蜘蛛，因为我刮了越来越多的蜘蛛。 管理这些蜘蛛的最好方法是什么？因为有些网站只需要一次抓取，有些则需要定期抓取？ scrapy仍然是一个很好的工具，当处理这么多网站，或者你会推荐一些其他技术。

Answer 1

您可以查看项目scrapely，即来自scrapy的创建者。但据我所知，它不适合解析包含javascript的网站（更确切地说，如果解析的数据不是由javascript生成的）。