Question

mysql 插入数据库中不存在的记录

在用python抓取url并入库时，数据库用的是mysql，如何实现抓取的url如果在mysql数据库中存在则不插

Answer 1

方法一：唯一索引，可以为url创建唯一索引，那么每次插入MySQL将会自动检测数据是否存在，如果原数据记录中没有要插入的url将会正常写入，如果已经存在url记录将会加入记录失败！
方法二：SQL语句查询，可以通过查询语句判断该url是否存在,select url from 表名 where url=抓取的url,ag:select url from coll where url=$url;执行该语句，如果返回假则数据表存在记录；如果返回真则数据表不存在记录，即可再执行插入语句。

Answer 2

先在数据表中的表中建一个存放md5值的字段。
然后每次抓取前 先得到url的md5值在表中查一下有没有一样的md5码，：没有则开始抓取，抓取完后后把url的md5值存放在该表的md5字段中；有那就不抓取了呗。

Answer 3

两个方法：
1，插入前 先 select count(*)

2，使用 REPLACE INTO tab VALUES ()

Answer 4

insert ignore'查查怎么用