如何提高将clob数据写入文件的速度

问题描述：

我们使用C＃oracleDataReader将数据从oracle数据库提取到文件，我们使用多个线程，并且发现读取非clob数据的速度非常快，比如说4分钟1 GB。但是当数据包含clob时非常慢，即使是12 MB的clob数据也需要3个小时左右。如何提高将clob数据写入文件的速度

我试着将缓冲区从64KB增加到5MB。

请建议如何提高将clob写入文件的速度。

的源代码

我们使用2档1实际CSV和1 CLOB。我们在csv文件中写入记录指针代替clob，并在clob文件中写入recordpointer，clob值。

else if (objVal is OracleClob) 
{ 
    OracleClob oraVal = (OracleClob)objVal; 
    if (oraVal.IsEmpty) 
     sw.Write(""); 
    else 
    { 
     // using (StreamWriter writer = new StreamWriter(fileName, true)) 
     { 
      Interlocked.Increment(ref recordPointer); 
      if (recordPointer == 1) 
      { 
       string fileName = outputFileName.Remove(outputFileName.LastIndexOf(".")); 
       fileName = fileName + ".clobcsv"; 
       clobWriter = new StreamWriter(fileName, true); 
       log.Info("CLOB data is found in this file " + outputFileName + " and clob data is stored in " + fileName + " file"); 
       clobWriter.WriteLine("Id," + cols[i]); 
      } 
      StringBuilder sb = new StringBuilder("\""); 
      StringBuilder value = new StringBuilder(); 
      value.Append(oraVal.Value); 
      //CsvEscape(value.ToString()); 
      value.Replace("\"", "\"\""); 

      sb.Append(recordPointer); 
      sb.Append("\""); 
      sb.Append(delimiter); 
      sb.Append("\""); 
      //sb.Append(oraVal.Value.Replace("\"", "\"\"")); 
      sb.Append(value); 
      value.Clear(); 
      sb.Append("\""); 

      clobWriter.WriteLine(sb); 
      //clobWriter.WriteLine("\"" + recordPointer + "\"" + delimiter + "\"" + oraVal.Value.Replace("\"", "\"\"") + "\"");          
     } 
     sw.Write(recordPointer); 
    } 
}

你说你正在使用多个线程 - 你是否检查过，看你是否在锁定记录的同时阅读它们？如果您正在等待锁定的记录，则会大幅降低性能。 – RQDQ 2011-03-18 15:00:37

@RQDQ是地方的情侣，但其他数据加载速度非常快，除了clob。 – 2011-03-18 15:06:00

@bunny - 读取/写入CLOB的代码是什么样的？ – RQDQ 2011-03-18 15:14:26

答

您可能需要考虑使用Oracle工具导出数据。有很多方法来执行文件IO，其中一些可能会比你所做的要快得多。例如，我只是使用dbms_xslprocessor.clob2file在16秒内在慢速PC上写入12 MB CLOB。 Here's a partial list of options.

答

尝试将LOBFetchSize设置为-1。 http://www.stanford.edu/dept/itss/docs/oracle/10g/win.101/b10117/features003.htm

如何提高将clob数据写入文件的速度

相关推荐