前些天,Retention 和 RB2B 的 CEO,Adam Robinson,在领英(LinkedIn)发帖讲了一个恐怖故事。

2021 年 3 月,在他第一个创业公司即将以一千万美金被收购的两周前,他们的一位工程师不小心删除了整个代码库,而他们

没有备份!!!🙀

(一)

事情是这样的(以下从 Adam 的角度,第一人称沉浸式讲述这个故事..):

2021 年 3 月 26 日,寻常的一天。

我起床,跑步,整了点咖啡,启动当天的工作。

上午十点左右,我收到我们的 CTO Tate 的信息。他说:

「坏了,出大事了」

这并未马上使我警觉,因为总有坏事在发生。我问:怎么了?

「Gustavo(化名)删了整个数据库」

我:啊???他做了什么?

「我们的四个节点中有一个坏了,这种情况一直都在发生。我教他们进入亚马逊并『重置』它。问题是在『重置』选项的正下方有一个『停止』节点的选项。他选择了『停止』那个节点,而就在这时,第二个节点也碰巧出了问题。他停止了两个节点。当你停止四节点分布式数据库中的两个节点时,一切都完了」

我:好吧,确实不妙,但我想他也不是故意的。我们有备份的,对吧?

「我们没有。为了省钱,我并不是每天都写一个全新的备份文件,因为我不想存储两个 1TB 的文件。相反,我会用新的备份信息更新旧文件。每天都有两个小时窗口期,期间如果代码库被删除,我们就没有备份」

我终于开始咀嚼我听到的信息……我开始心跳加速、手心冒汗……


时间线

10:00 -- 发现情况

10:02 -- 打给合伙人 James,我们都慌了

10:15 -- 打给亚马逊,他们没办法。让他们找高层,就说几百万美元等着

10:30 -- 跟亚马逊高层谈,他们也没办法

10:32 -- Tate 尝试联系备份公司

11:00 -- 收购方联系我们:「你们的网站瘫痪几个小时了,怎么回事?」

11:30 -- 备份公司大骂 Tate 的无备份窗口期并表示没办法

11:45 -- Tate 解释说,我们将在两周(两周!)内,以一千万卖出这款产品,并以一位实际制造了该产品的资深工程师的身份,终于说服他们看看是否有办法挖掘出文件。他们以前从未做过这种事,毫无头绪,估计成功率只有 20%。

-- 次日 --

00:00 -- 我去了我朋友 Brad(一位风险投资人)的家。他说他从事技术工作 30 年,从没听过这种事,Tade 肯定有阴谋。我说不可能,他有 25% 的股份。

00:30 -- 去我朋友 Lou 的家。他在 Vista 工作 11 年,也没听过这种事。他也认为这是一种恶意攻击,也许是开发者所为?

01:00 -- 发现朋友们也没办法,我拖着六磅重的狗,在 Austin 散步。

我一直走到晚上八点,茶饭不思。

我打给银行,告诉他们交易取消了,我们没有网站可出售,然后不得不解释这件荒谬的事。

我个人原本将在两周内获得 400 万美元,而我当时几乎没有储蓄。

我打算还清抵押贷款,买一辆新卡车和一艘船,因为我刚在 Lake Austin 找到一个船位。税后,我还打算存 150 万美元,投入股票市场。

我都做了什么..

最明智的策略是接受最有可能且最坏的情况。如果惊喜出现,那太好了。如果没有,我已经在疗伤的路上了。

我在 Austin 走了八个小时。我一次次告诉自己:

「不过是钱而已。你未来能赚的远不止这点。」

(二)

很恐怖的故事……好在,是 Happy Ending。

原帖附了一个视频,讲了完整的故事。11 小时后,他们找到一个文件夹,它看起来基本是完整的,里面储存了 90% 以上的数据。

惊魂未定,Adam 感叹,世界如此脆弱,什么都可能在弹指间完全消失……

比如你的数据库。

🫵


💡 更多资讯,请关注 Bytebase 公号:Bytebase


Bytebase
33 声望16 粉丝

为 DevOps 团队准备的数据库 CI/CD 工具,专为开发者和 DBA 打造。唯一被 CNCF Landscape 收录的 Database CI/CD 产品。