更好的方法将网页内容保存到数据库进行缓存

问题描述:

我想知道哪种方法更适合将网页内容保存到数据库进行缓存?更好的方法将网页内容保存到数据库进行缓存

  1. 使用ntext数据类型,保存内容为扁带
  2. 使用NTEXT,但压缩内容,然后保存
  3. 用VARBINARY(MAX),以保存内容(我怎么可以转换扁带为二进制? ;-))
  4. 一个其他的办法,你建议我

UPDATE

更深入我有很多表(网址,缓存,ParsedContents,单词,点击等),这为URL表中的每个URL我发送请求并保存响应到缓存表。这是我的引擎的Downloader(Google的URLResolver)部分。那么索引器部分的行为就是执行与此相关的解析等任务。并且Compress/Decompress仅在新内容缓存或解析时才执行

更好的方法是使用ASP.NET中的内置缓存功能。 Searching * for [asp.net] [caching]是一个好的开始,之后(或之前),在www.asp.netGoogle上的类似搜索将会让你颇为满意。


为了响应您的评论,我可能会将数据保存为扁平字符串。在存储方面,它可能不是最佳性能方面的选择,但如果您要对文本内容执行搜索,则不需要每次都压缩/解压缩或从二进制转换为/因为在SQL Server中可能没有(简单的)方法来执行此操作。只要确保您具有所有需要设置的Intexes和全文功能。

+0

我不能给出更详细的答案的主要原因是你没有指定,如果你在ASP.NET WebForms,WebPages或MVC框架中工作。 – 2010-07-20 08:26:01

+0

哦,我想要缓存内容,以便稍后分析内容并对解析的内容执行搜索。我正在开发非常基本的网络搜索引擎;) – Sadegh 2010-07-20 08:36:05

+0

@Sadegh:啊!在这种情况下,请参阅我的更新。 – 2010-07-20 08:42:15