如何使用Asp.net抓取过程来获取网站的所有网址？

Question

如何获取网站的所有网址

假设我想抓取网站中的某些部分数据，这些数据在不同的网页中如何获取所有网址列表以进入所有这些类似网页。

假设在一个手机网站我想获得一个品牌的所有手机我怎样才能得到他们在网站的不同网址。我观察到Div标签类是所有手机的“品牌名称”

Div类“诺基亚”....我想要div类为诺基亚的网站的URL。

Answer 1

你可以使用HTML解析器如Html Agility Pack来提取锚，形式的所有URL，...如果该URL不是你解析你将无法在HTML的部分（除猜测）知道给定域名所有可能的子域名和网址。