HTTPWebREquest - 返回WebException-错误（404）找不到

Question

我有一个抓取程序，它会抓取URL来解析HTML，并在我开始这个过程中遇到一个不寻常的错误。从网站的特定URL集使用时取HttpWebRequest和HTTPWebResponse我得到的错误

**>远程服务器返回错误：

(404) Not Found**

这是不寻常的，因为它在粘贴时它的工作原理我的浏览器。任何想法赞赏。不知道是否需要发布代码，但如果是这样，请告诉我。

Answer 1

该网站可能会阻止您的用户代理，或者它可能需要cookie。

Answer 2

远程服务器是否可以根据用户代理服务于不同的页面，并且它没有与HttpWebRequest实例提供的User-Agent值相对应的页面（默认情况下为空）？只是一个想法，因为你说浏览器访问它的地址时可以找到页面，而不是通过代码。