如何在控制台上显示日志并保存外部日志以进行爬网?
问题描述:
就像标题一样。我使用-s LOG_FILE = mylog.txt来保存外部日志。但我还希望看到蜘蛛正在运行的日志。有没有办法做到这一点?我使用的是Windows 10,并且更喜欢在Windows 10中可以使用的答案。如何在控制台上显示日志并保存外部日志以进行爬网?
业余开发人员没有在这里计算背景,所以请在我身上轻松一下。
答
使用GNU的tee
工具:
scrapy crawl myspider 2>1 | tee crawl.log
2>1
重定向错误输出到标准输出 - 你想在同一个文件中的错误和信息的可能性最大。 | tee crawl.log
输出到tee
的管道将其拆分为crawl.log
文件和stdout。
有tee
实施窗口太:
有Unix的tee命令的一个Win32端口,这正是这么做的。见http://unxutils.sourceforge.net/或http://getgnuwin32.sourceforge.net/
我忘了提,我使用的是Windows 10!并且更喜欢win10的回答 – siowy
@siowy那里也有'tee' for windows,看我的编辑:) – Granitosaurus
非常感谢! – siowy