php+mysql实现数据分批插入
上周需要将云端的数据有条件的录入到mysql中,最开始是使用遍历数据然后一条条的插入的笨方法,结果速度慢的要死,所以又随便写了个笨方法2.0,记录一下自己菜鸟的成长历程。同时这也是在博客园的第一篇文章,目的仅仅是单纯的记录一下自己的狗屎代码,因为我是菜鸟,哈哈。。。
比如说有10001条数据,每次插入1000条,分11次插入完成,代码如下:
<?php /** * Created by PhpStorm. * User: Soup * Date: 2016/12/29 * Time: 21:04 */ $mysqli = new mysqli('localhost','root','123456','test'); if ($mysqli->connect_error) { die('Connect Error (' . $mysqli->connect_errno . ') ' . $mysqli->connect_error); } /* *@param $data array 要插入的数据 *@param $each int 每次插入的条数 */ function batchInsert($data,$each){ $num = count($data); // 数据总数 $step = ceil( $num/$each); // insert执行总次数 $j = 1; $s = $step; foreach ($data as $val){ // 目前仅仅是起到循环作用 if($j > $step) break; $arr2 = array_slice($data, ($step - $s) * $each, $each); // 每次取100条 $sql = "insert into batch VALUES "; foreach($arr2 as $v){ $exist = $GLOBALS['mysqli']->query("select * from batch where number = '$v' limit 1 "); // 检查要插入的数据是否已存在 $row = $exist->fetch_array(MYSQLI_ASSOC); if(empty($row)){ $sql .= "(null,$v,now()),"; // 将sql语句拼接起来 } } $sql = rtrim($sql, ','); $result = $GLOBALS['mysqli']->query($sql); echo $sql,'<br>'; $j++; $s--; } return $result; } // 先测试简单的数字插入 for ($i = 1;$i <= 505;++$i){ $arr[$i] = $i; } var_dump(batchInsert($arr,100));
测试505条数据,每次插入100条,分6次插入完成。