如何用C#登录此网站以屏幕抓取它?

问题描述:

问候,我已经刮数千页,但我第一次需要设置的屏幕是登录屏幕后面的刮:如何用C#登录此网站以屏幕抓取它?

https://wmars.cwmars.org/patroninfo/

人照顾,给我上的领先是我在C#中需要做的是为上面的屏幕传递凭据,然后进入屏幕后面的屏幕?

在此先感谢。

+5

未经允许的屏幕抓取至少是不道德的;要求网站所有者是明智的(所以你可以有数据库访问或使用Web服务等)。屏幕抓取总是非常容易出错(改变输出等)。如果你刮,不要锤打服务器(使用超时在你的刮页)。 – ChristopheD 2011-02-05 23:52:10

一般来说,一旦你登录其中一件事情就会发生。他们要么发回一个包含网站所需要的所有内容的cookie,以确保用户已经登录,否则他们会将信息传递回查询字符串。

通常情况下,您只需要使用您的http请求对象捕获cookie,并在随后调用该网站时将该cookie发回。

在这种情况下,它看起来像要捕获的cookie被命名为SESSION_SCOPE和III_SESSION_ID。可能还有更多。只需使用萤火虫在登录网站时查看cookie列表以了解您的需求。