php高并发下如何防止数据的重复写入

Question

前端请求php写入数据的接口太频繁，导致mysql中出现大量重复数据，如何处理

Answer 1

这个问题从三个方面来回答题主：

前端

前端的话要对请求进行限制，通过disabled提交按钮或者是设置定时器来禁止用户多重提交。

接口

接口一定要做好limit，但是这个并不是解决这个问题的关键点，因为你不可能设置一个limit为1 time per min。为什么关注这个点是因为有时候用户并不是一个人，可能是恶意程序。

后端服务

个人觉得这个是重点，它包括PHP端和Mysql。我不清楚你的数据是怎样的，我举例新浪微博。如果一个用户写好微博然后快速点击了两次发送，你会看到什么？两条相同微博么？不可能，出现了你来找我好了。最简单的做法，要对上次数据缓存，然后校验是否是重复提交的。Mysql结构要设计好，如果你的数据要唯一，那么你的字段和主键设计时候要设置确保唯一性。

先码这么多，解决方法有好多种，可以去搜索一下。

Answer 2

高并发还行吧，防止重复一般都是从数据上去处理的，前端也会做限制，因为重复数据肯定是重复请求，那么页面上防止重复点击肯定是要做的，这肯定不是什么特别有效的方式，加上唯一的约束肯定是最好的方式，无论是请求时第三方的唯一约束，还是时间或者其他你们数据能称作唯一的肯定是最好的。不过重复感觉很难避免，百度贴吧或者微信，qq有时候也会出现重复，尤其是服务器性能降低卡顿的时候。

Answer 3

前端的请求是冗余的吗，是的话前端要做请求防重

Answer 4

最佳解决思路为：将并行转换为串行。

转换的方法有很多，常见的就是队列形式。

Answer 5

首先你可以用UNIQUE INDEX给相应的field防止重复写入

比如 ALTER TABLE thetable ADD UNIQUE INDEX(pageid, name);

其次，要你的选择可以是：

// 选择一：覆盖之前同id的词条
INSERT INTO thetable (pageid, name, somefield)
VALUES (1, "foo", "first")
ON DUPLICATE KEY UPDATE (somefield = 'first')

// 选择二：添加重复计数器
INSERT INTO thetable (pageid, name)
VALUES (1, "foo"), (1, "foo")
ON DUPLICATE KEY UPDATE (pagecount = pagecount + 1)

最后，可以在写入之前先查找，求count(*),不过这种效率比较低。

Answer 6

好像没有有效的方式完美解决这个问题，可以设置一个缓存判断，执行过写入一次，就不再执行下次同一写入

Answer 7

熟悉linux可参考sudo锁;

Answer 8

缓存吧 内存建key 插入关系数据库 延迟销毁 key

Answer 9

好奇怪你们难道都不知道mysql的共享锁吗

Answer 10

加锁啊，共享锁

Answer 11

一般来说都是前端限制下，比如button按钮在后端响应结束之前置灰；一般需求这样做就足够了

七目鱼

Answer 12

前端限制 -- 过滤频繁的请求，如按钮变灰，或者控制一个标志变量来判断是否执行ajax请求 。。这个只是体验，并不能真的限制~~
关键是后端限制
比如： select for update

Answer 13

整个请求的过程都可以做放置重复提交的验证。

1. 在前端控制，比如按钮置灰等

2. 在后端业务逻辑中，通过查询，判断该内容是否已经提交过（通过缓存来记录之类的）

3. 在数据库层通过唯一键的方式来限制重复提交的记录。对于重复提交的内容自动被过滤。

在高并发的情况下，其实还要考虑下db 是不是能够扛得住并发，所以增加队列的限制，使得并发在进入db 的时候是一个串行的操作，当然这个还得看时机情况了。

Answer 14

MYSQL 的话用事务处理吧。。。

Answer 15

楼上回答的，有没有看问题啊。这种情况基本上只能靠前端做限制，或者API规定同一个唯一标识的请求频率。

Answer 16

需要说明什么数据重复了，重复了有什么影响？业务逻辑上要做避免重复的检查吗？先把业务逻辑定义清楚，才能有针对性的出解决方案。

Answer 17

前端先过滤掉重复刷新的。然后服务端再去过滤。

Answer 18

在表单里生成一个唯一的标识，提交的时候判断这个标识的内容有没有提交过了。

Answer 19

可以从2个方面来考虑，别人从前端、后端两种场景。下面从用户对文章点赞的场景来分析，当然不考虑用户点赞之后可以取消操作。

前端

前端无非就是在用户点击页面，发起请求时验证是否符合重复提交的逻辑。

1、在拉取文章详情时，后端返回是否已经点赞，已经点赞直接提示用户，不在发起网络请求。

2、用户在点击请求时，做防抖操作，避免在后端没有返回结果时，用户重复点击页面，重复发起网络请求。

但前端实现的方案，肯定不是最佳的方案，例如上面提到的方案，存在接口被恶意调用，这样就避开了前端控制。

后端

后端的无非就是从业务代码，还有数据库考虑了。

数据库

先说说数据层面，可以用如下方案。

1、在设计数据库时，做唯一索引，哪怕插入重复时报错，至少也能避开重复插入的情况。

2、使用数据库的锁机制。

代码层

代码层有很多方案，并且基本的核心逻辑都是在代码层处理。

1、增加一个缓存层，当缓存中存在就直接抛给前端，已经存在重复的记录，例如布隆过滤器都可以实现。

2、直接插入，如果插入操作抛出了重复异常的信息，就表示数据库已经存在这样的记录，就抛给前端，已经存在记录。

3、实行插入时，增加锁机制。