（12）多线程的运用（2）---- 读取db文件，解析数据入MySql 数据库

前提提要：

最近有一个需求，需要做一个文件导入功能，像一般的文件上传都挺简单的，你可以将文件图片上传到图片服务器上，也可以上传到本地，我今天做的这种是上传到本地。

其中需要注意的是我这个db 文件有点大，300MB 500MB的都有。db文件来源于其他的系统生成的日志文件。

我需要将这些数据读取，并且对其中的一些字段做数据处理，经过测试发现，我对数据一边保存一边解析，需要注意的是：我这里的解析指的是我需要按照我们的需求对字段进行处理，速度会很慢。所以我的做法是先将文件上传到本地，原文件中的字段先原封不动的保存到Mysql中，后面再写程序解析这些数据。

其中我有参考这篇博文：戳这

源码：源码

检测一下整个文件上传效果：

（1）整个文件上传功能我用到了三个表

nas_file是用来记录上传的文件名称和文件路径

nas_log 是我后期用来保存解析后数据的表单。

nas_synology 是保存原数据。

（2）使用数据库连接工具将这个文件导入到数据库中，看一下是什么效果。用户名和密码都可以不用填写。

（3）表格中的数据

总数是：

（4）浏览器*问一下这个文件上传的接口

上传到本地的文件如下：

一个差不多300MB的文件解析入库的时间是150多s.

此时可以看到这个50多万的数据保存到Mysql中来了。 

 

其中需要的是：我这个方法还有一个优化的点：如果是普通的解析文件速度会更快，关键是在读取Sqlite 的地方有点耗时，我是一行一行的读下去的，这一点有优化的空间。

还有一个是可以根据分页动态传参查询，举个例子，我现在是查询一整个表，速度自然有点慢，如果只是查询前100条，一下子就执行完了！

关于这个功能还有很多优化的点，如果你有什么好建议，欢迎评论区留言，一起加油吧！