极客观点
项目管理
HarmonyOS
采集到的数据字段比较多，在插入mysql数据库之前要判断数据库里面是否有重复数据，多个字段一起重复才算是重复数据，也就是允许一些单个字段可以重复，这种怎么避免插入重复数据？
我之前的做法是把要比较的数据拼接在一起然后使用sha1一下，在插入数据库时候把这个值也插入数据库，以后每次插入数据之前判断数据库里sha1值是否重复，有重复就跳过此条数据。但是这种还是会有个别重复的，不知道什么原因。有没有更好的办法？
采集的数据插入数据库怎样避免重复数据？
mysql阅读 3.6k
撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
我们知道MySQL字段可以存放纯文本，但是富文本有图片，有标题样式等情况，一般是怎么进行存储的呢？
有一个需求：想要进行富文本进行描述。但是我们想要使用关系型数据库MySQL存储这个描述文件，请问一般的解决方法是什么样的呢？举例：富文本编辑器lexical我们知道MySQL字段可以存放纯文本，但是有图片，有标题样式等情况，一般是怎么进行存储的呢？5 回答3.3k 阅读✓ 已解决
如何在SpringBoot/MySQL事务中并行执行多条SQL？
SpringBoot/MySQL 相关问题向大佬们请教一个问题，一个事务中要执行多条SQL，比如下单场景，扣减账户余额、修改商品库存、生成流水记录、生成发货记录等操作，假设这些操作比较耗时，有没有什么方法可以让这些SQL在一个事务中并行执行提高性能。3 回答3.7k 阅读✓ 已解决
求java/php大佬帮帮忙？
最近遇到一个需求，需要对接第三方平台，然后对面只给公钥和私钥 ，本身我是用php开发的，第三方的demo 是java 头大完全不知道什么意思，看不懂java写法 有没有大哥帮我写个php的类这是第三方demo提供的加密加签方法以下是完整文件package com.example.guojindemo.utils;1 回答4.1k 阅读✓ 已解决
新人求看下如何用php对接第三方接口?
新人求解第三方的对接口怎么写curl 求大神写个php 的curl3 回答1.9k 阅读✓ 已解决
Hyperf Swagger 如何使用？
根据 https://hyperf.wiki/3.1/#/zh-cn/swagger?id=hyperf-swagger 官方文档安装配置，但是文档太简单了，出了问题不知道怎么排查，网络文章写的也让人摸不着头脑，不知道别人的json 是怎么生成的。2 回答2.3k 阅读✓ 已解决
请问，如下我们在定义Link表的时候，是否是只能定义为4个字段？
定义关系型数据库表的时候，遇到一个疑问： {代码...} 请问，我们在定义Link表的时候，是否是只能定义为4个字段？ {代码...}2 回答2.8k 阅读✓ 已解决
上面的sql通过login_time排序但是结果不对？
上面的sql通过login_time排序但是结果不对？login_time类型是DATETIME5 回答1.4k 阅读
将多个字段的值进行字典排序
sort()后再sha1就好了，这样比对就不会重复了