Scrapinghub作业失败 - 无法诊断

Question

蜘蛛停在爬网中间（7小时后，20K请求）。工作状态是“失败”。即使日志中没有ERROR消息。日志看起来像代码刚刚停止在特定的代码行范围上运行，没有报告任何错误。它发生在spider_idle方法覆盖中。日志已启用，我可以看到所有前面的INFO消息指示蜘蛛正常运行。我不知道如何在scrapinghub日志中启用DEBUG消息。

检查内存消耗 - 它是稳定的，至少在短暂的测试中，现在正在等待长期运行结果。

如何在作业“失败”后检索更多信息？

Answer 1

作业在24小时内自动停止免费账户。通常情况下，状态为“取消”，日志显示SIGTERM。