CasperJS:运行脚本的多个实例?
问题描述:
我对Javascript编程还很陌生,并且正在使用CasperJS构建的网页抓取脚本。CasperJS:运行脚本的多个实例?
问题是,它相当慢,但它的工作原理。我试图想出一种方法来创建一个覆盖脚本/程序来启动我创建的这个脚本,但我不确定这是否是最好的方式。我已经尝试了GNU并行命令,但我更喜欢使用JS,PHP或Python,因为我更熟悉这些语言。
我也知道,CasperJS实例将共享cookie和本地存储,但这不是我的使用案例的问题。 如果有人对这种架构和框架有更多的经验可以帮助我,我会很感激。
谢谢!
答
我结束了使用NodeJS'child_process: 这几乎是我想要的,并使用我已经在CasperJS脚本中使用过的相同语言。
教程和我使用的示例:https://era86.github.io/2012/10/11/quick-and-dirty-nodejs-exec-limit-queue.html
定义“慢”。你能描述你认为你遇到的瓶颈吗?你可以使用['xargs'并行运行一堆实例](https://stackoverflow.com/questions/28357997/running-programs-in-parallel-using-xargs)? – tadman
您是否花了一个小时浏览GNU Parallel的教程? gnu.org/software/parallel/parallel_tutorial.html –
@tadman我引用的缓慢与我正在抓取的网站有关。要做所有我需要的动作,大约需要3分钟。考虑到我需要在重新启动之前运行其中的60个,你可以看到为什么我想要同时运行作业:) –