Question

mysql数据库百万级以上数据，如何对其进行边查询变更新？

数据库有百万级别的数据，需要先查询content这个字段，然后调用接口对content处理，生成keywors字段和summary字段，最后将生成的keyword、summary插入到原表中，如何实现，请各位大神帮忙！

Answer 1

有时候我们会不小心对一个大表进行了 update，比如说写错了 where 条件......

此时，如果 kill 掉 update 线程，那回滚 undo log 需要不少时间。如果放置不管，也不知道 update 会持续多久。

那我们能知道 update 的进度么？

实验

我们先创建一个测试数据库：

快速创建一些数据：

连续执行同样的 SQL 数次，就可以快速构造千万级别的数据：

查看一下总的行数：

我们来释放一个大的 update：

然后另起一个 session，观察 performance_schema 中的信息：

可以看到，performance_schema 会列出当前 SQL 从引擎获取的行数。

等 SQL 结束后，我们看一下 update 从引擎总共获取了多少行：

可以看到该 update 从引擎总共获取的行数是表大小的两倍，那我们可以估算：update 的进度 = (rows_examined) / (2 * 表行数)

💡小贴士

information_schema.tables 中，提供了对表行数的估算，比起使用 select count(1) 的成本低很多，几乎可以忽略不计。

那么是不是所有的 update，从引擎中获取的行数都会是表大小的两倍呢？这个还是要分情况讨论的，上面的 SQL 更新了主键，如果只更新内容而不更新主键呢？我们来试验一下：

等待 update 结束，查看 row_examined，发现其刚好是表大小：

那我们怎么准确的这个倍数呢？

一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。

另一种方法就是在同样结构的较小的表上试验一下，获取倍数。

这样，我们就能准确估算一个“不小心”执行的大型 update 的进度了。

Answer 2

如果查询简单的话，就一条一条操作，慢慢跑去吧
看你这个没什么条件的话，怎么都得每条数据都操作一遍的
分段操作或者别的办法，也是相当于最后每条数据都操作了一遍
所以就没什么必要了

追问

现在跑是能跑起来，但是效率感觉太低，4分钟一万条，能否给出具体的数据库语言

追答

一台机器感觉肯定是快不了。
或者是你用多线程分批执行。
将数据根据id或者什么分批，然后一个进程执行一批试试