搜索引擎如何通过互联网找到网站

问题描述：

我将编写一个Web解析器（一个从一个网站到另一个网站上爬行的应用程序）。
如何找到互联网上可用域名/ IP列表（尽可能完整）？
搜索引擎如何找到网站（他们用作可靠的注册IP /域名的起点）？搜索引擎如何通过互联网找到网站

谢谢

你对“web解析器”的定义是什么？ –

我的意思是一个应用程序，它可以在Web上找到每个Web站点并为其创建ID并保存该ID – RYN

答

正如Michael P的评论所指出的，取决于你的目标是什么。

我的公司最近想回答关于在主要网站上使用的第三方工具的问题。我使用Alexa作为查找*（按流量）网站的起点，并创建了一个解析器来解答我公司提出的具体问题。如果您从这样的列表开始，您可以对您的网络爬虫程序进行编程，以遵循它遇到的链接，以扩大您对网络上网站的知识。

希望能帮助您思考问题。