30G 上亿数据的超大文件,如何快速导入生产环境?

2020-12-24
阅读 6 分钟
3.6k
Hello,大家好,我是楼下小黑哥~如果给你一个包含一亿行数据的超大文件,让你在一周之内将数据转化导入生产数据库,你会如何操作?上面的问题其实是小黑哥前段时间接到一个真实的业务需求,将一个老系统历史数据通过线下文件的方式迁移到新的生产系统。由于老板们已经敲定了新系统上线时间,所以只留给小黑哥一周的时间...

数据库读写分离这个坑,你应该踩过吧?

2020-12-09
阅读 4 分钟
5.1k
Hello,大家好!我是楼下小黑哥,我又来了~今天分享一下刚入职公司第一次发布项目遇到的一个问题,一个数据库读写分离的坑。前言事情是这样的,刚入职的时候接到了这样的一个业务需求:每个支付通道支付失败的时候都会返回特定的错误码,业务内部需要将通道特定的错误码转义成内部的错误码,这样对外就可以统一返回我们自...

MySQL 可重复读,差点就我背上了一个 P0 事故!

2020-06-01
阅读 5 分钟
3.7k
小黑黑的碎碎念 哎,最近有点忙,备考复习不利,明天还要搬家,好难啊!! 本想着这周鸽了,但是想想还是不行,爬起来,更新一下,周更可不能断。偷懒一下,修改一下之前的一篇历史文章,重新发布一下。 先赞后看,微信搜索「程序通事」,关注就完事了 P0 事故:余额多扣! 这是一个真实的生产事件,事件起因如下: 现有...

设计数据库 ER 图太麻烦?不妨试试这两款工具,自动生成数据库 ER 图!!!

2020-04-30
阅读 5 分钟
15.8k
一边开发着新需求,一边改着旧项目的 Bug。再加上这个项目算是从别人那交给过来的,这部分新功能代码并不是很熟,改 Bug 的时候又需要理清楚上下文逻辑,非常耗时间。

聊聊分布式事务

2018-12-14
阅读 6 分钟
2.8k
数据库系统具有事务特性,这是其有别与文件系统重要特性。传统的文件系统,如果正在写文件,操作系统突然崩溃,此时文件可能被破坏。数据库系统引入事务特性,可以保证数据库从一种状态转换为另一种状态。在提交工作时,可以确保要么所有修改都被保存,要么所有都不保存。

数据库相关异常分析

2018-12-11
阅读 6 分钟
4.2k
起因 最近一段时间,生产系统持续碰到一些数据库异常,导致 sql 执行失败。 应用环境 Java 1.7 + Mysql 5.6 + spring + ibatis 问题排查 将各种失败的异常记录了一下,碰到最多下面几种异常。 java.net.SocketTimeoutException: Read timed out java.sql.BatchUpdateException: No operations allowed after statement c...