asp.net（网络蜘蛛）

Question

我想创建一个网络蜘蛛，能够从其他网站获得一些有用的信息。 我如何从网站获取文件并存储到我的服务器？ 例如： 该文件的网址是http://www.abc.com/attachment.php?aid=abc 我如何让我的网站的用户下载文件时不显示页面http://www.abc.com/attachment.php?aid=abc？

Answer 1

此链接可能对您有用。 http://www.thecodinghumanist.com/Content/HowToWriteAWebCrawlerInCSharp.aspx

Answer 2

有很多方法可以去做。

WebClient类可用于获取网页资源，例如网页。

如果你想抓取一个网站，你还需要解析内容，以便跟踪链接并下载图像和其他资源（CSS，Javascript等......） - 我建议使用一个解析器，如HTML Agility Pack解析HTML以便您可以查询这些资源（您可能还想使用WebClient下载）。