极客观点
项目管理
HarmonyOS
最近在弄一个图书信息管理系统，有一个表marc用来保存图书的信息，一共有20多个字段
在导入数据的时候要求根据其中的7个字段进行查重，数据量在1500万到2000万左右
目前使用的方法是，根据这7个字段创建一个键
在导入数据的时候客户端通过捕捉错误的方式来进行查重
现在想问的是有没有更好的解决方法，或者设置触发器对这种情况是否可行
因为数据全部导入之后索引太大了，现在想看看有没有其他方法可以避免这种情况
数据库 SQL server 2008R或者 MySql 5.8+都可以
mysql撰写回答
你尚未登录，登录后可以
- 和开发者交流问题的细节
- 关注并接收问题和回答的更新提醒
- 参与内容的编辑和改进，让解决方法与时俱进
推荐问题
Java 开发 URL 匹配问题？
所有url都是对应 spring boot 3.5.0 @PostMapping访问前先进拦截器，查看有没有访问权限，获取请求url，然后根据url去查是否有匹配的，现在静态的1,3,7直接查询是否相等就可以了，对于动态2,4,5,6怎么匹配？4 回答1.4k 阅读✓ 已解决
为何无法连接 阿里云轻量应用服务器上 docker 中的 mysql ？
以下是我当前的环境状态，仍然无法连接到 [链接] ; 我还需要检查什么？ {代码...}8 回答1.3k 阅读
mysql 死锁问题？
mysql 死锁问题sys_rule_instance 表结构为数据库隔离级别为 使用两个session, 按照图片上标注的 sql 执行顺序执行。其中 session2执行到 6 时，会因为获取不到锁而被阻塞。这里是问题1: session1 只会锁定 rid = 1359214167466315800 的记录，与 session2 锁定 rid = 1359214167462121472 的记录不会产生冲突，也就不会...3 回答1k 阅读✓ 已解决
如何避免SQL Server 2019在6000-10000数据量时批量更新导致表锁？
数据库：SQLSERVER2019描述：当数据库某表 A 总数据量在6000-10000时，测出来一个非常奇怪的现象，批量更新很少的数据就会导致锁升级为表锁，在执行批量更新前，没有有其他事务正在访问或修改表 A1 回答1.1k 阅读✓ 已解决
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？不同敏感字段需要使用不同的密钥，加密取出后给前端需要做脱敏，脱敏是在 Jackson 序列化到前端的时候做吗？2 回答1.7k 阅读
MySQL查询中如何实现排除特定字段的功能？
Mysql库 查询 排除固定的某几个字段(如create_time,update_time这种) 因为有很多表 想将表名作为参数动态地查询 但这些表的其余字段又是不一致的 怎样建立查询语句可以固定排除这些不想要的字段呢3 回答820 阅读✓ 已解决
为了防止过多索引拖慢数据库，数据库动态创建索引，隔几天就换一套索引，会有什么问题？
我打算用 PostgreSQL。不过我感觉不同数据库可能大同小异，所以问题没限定 PostgreSQL。网上有推荐索引最好不要超过六个的。但是我想给用 jsonb 实现的 EAV 系统加很多索引。所以就想到这么一个方法。问过 DeepSeek 了，我理解它说除非是索引删除重建过于频繁，一般没什么大问题。2 回答1.5k 阅读
可以七个字段相连获取hash值，然后建一个hash表，在数据库外自己去重