从网站阅读内容

Question

我想从网站检索&店面信息。该网站是在线购物网站。想要更新描述，根据实际链接获奖。我怎样才能做到这一点使用.NET（我认为Windows应用程序将适用于相同的。）

我尝试下面的代码，但总是得到异常

"The remote server returned an error: (500) Internal Server Error."

url = ds.Tables[0].Rows[i]["url"].ToString(); 
var webClient = new WebClient();. 

样品网址是http://www.flipkart.com/royal-son-what0355-wayfarer-sunglasses/p/itmeyx9ymutgg7k7?pid=SGLEYX9YDYFYAZAE&otracker=hp_mod_lifestyle_new-arrivals_prd_img

Answer 1

在使用Web客户端加载网站之前，您可能需要在Web客户端上设置用户代理。

见下文。我使用的用户代理字符串铬37

var str = "http://www.flipkart.com/royal-son-what0355-wayfarer-sunglasses/p/itmeyx9ymutgg7k7?pid=SGLEYX9YDYFYAZAE&otracker=hp_mod_lifestyle_new-arrivals_prd_img"; 

    var client = new WebClient(); 

    client.Headers.Add("user-agent","Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36"); 

    var ret = client.DownloadString(new Uri(str)); 

如果你有兴趣“刮痧”这个页面的特定部分，你需要使用像HtmlAgilityPack一个工具来帮助你做到这一点。