导入大型excel表格/ google表格的导轨
问题描述:
我目前正在研究两个项目。导入大型excel表格/ google表格的导轨
一个有一个大小约为130mb的excel文件,你可以想象它将包含多少记录。
其他正在使用带有记录25k +的Google表单,这些数据会随着时间的推移而增加。
所以对于这样的巨型上传,我应该如何在rails中进行操作。 我没有找到解决这个问题的详细教程,如果有人拥有它,那么请与我分享。
请告诉我一个我应该更喜欢的策略/宝石。
谢谢。
答
首先,导出到CSV。然后用
split data.csv
(OS X/Linux)的
我实现进口作为流氓的任务分割成更小的文件,例如FOW。你也可以通过一些字符串操作来生成seed.rb。
对于170MB的文件,Rails不应该有问题,但是等待长时间运行的任务完成通常很烦人,特别是如果您仍在调试。
或者,如果直接与mysql交谈,则可以更快地导入它。但是你会失去导轨的便利,至少应该做一个
Data.all.each do |datum|
datum.touch
datum.save!
end
来验证。
我看过那篇教程,但是可以在大型Excel表格上工作,例如40k +行吗? –