分享一下自己身上出现过哪些重大线上事故

[msy45]

数据库价格单位是分，以为是元了，我直接改的线上数据库，数据错了一天
还好公司混乱，而且还是线下消费的功能，最后好像就我们开发知道（客户得了优惠都没说🤣）

[elevioux]

APP 推送没切环境，公推发了 10 几条测试信息

[7gugu]

react native 发外网，忘记发 jsbundle 只同步了配置，导致外网白屏了

[abobobo]

积分兑换的时候，1:100 的，忘了微信支付的小数点，搞成了 1:10000 ，被薅了两个当年的新款 iphone ，还好最后退款送积分，把损失拉回来了

[shilianmlxg]

@runking 这种是不是团队得用知识库，才能解决忘记之前设定的问题

[theroad]

写 SQL 提取现网数据，并发没控制好，把数据库 slave 拉挂了

[tt67wq]

把一个环境的服务发现干挂了 20 分钟

[seamonster]

发短信，给几千人每人重复发了十几条短信，后反馈紧急，停了服务

[McD0nalds]

yudao 多租户删除,我不小心把管理员那个主租户删了... 导致其余租户都无法登录了

[AutumnVerse]

退款脚本，计算退款金额，sql 本来应该是 select sum(price) from xxx where uid=xxx
测试的时候把 where 条件注释了，上线忘了打开。

[tanx]

@rocmax 所以我更新 都是 update top(1) xx 了，错了也只是一条数据

[xiayebaibi]

同时操作的 生产 linux 删除列 /bin 目录
自己操作的 mv 直接把线上文件覆盖掉了。

[fbi007130]

多发了一百万 RMB 代金券，没收回，算吗

[teric]

17 年在某行对接海关，当时因为没考虑到 0 点跑批，导致多给海关打了 200 多 W ，后面行里面和海关走了一个多月流程才把钱拿回来。

[jiangfkyyy]

前公司+年少无知的时候发生的事儿了，
用户说功能失败，我们不好意思要数据，就把用户的密码临时改一下登录上去看看，结果没写 where ，导致密码都改成 123456
后面赶紧用备份恢复数据，但是期间新增的用户就没法改密码，用户表后面也多加了一列原密码字段

[corcre]

写 update 没加 where, 生产环境直接加索引卡死了生产数据库之类的🤣

[evan1]

@nickxudotme #74 mentor 也是有故事的人

[ZoR]

菜鸟的时候线上操作数据库 update 没加 where 条件，你懂吧

[Sylphiette]

某一线城市的某机关单位的 xxx 职业线上考试系统，考生正在线上考试呢，我把生产库删了

[ccvip]

一个运营中的网站项目，需要第三方协助开发模板，需要把现有代码发给协作方（不给数据）

我就把网站复制了一份出来，在副本中的网站后台删除用户数据。

结果，网站图片是保存在第三方云服务器里的，删除用户数据的时候，程序代码有设定会自动删除第三方云服务的图片附件

悲剧了！ 运营中的网站所有图片都没了，网站都有备份，第三方云服务的附件没备份，损失巨大！

[ZXCDFGTYU]

不是我的，是开发的。
给某单位搞的计费系统，算应付费用的时候应该是在总额上累加，结果开发搞成了每次累加总额...
就比如说我原来应付费用 100 块，又用了 10 块钱的量，应该是 100+10 ，结果开发搞成了 100+（ 100+10 ）...

结果搞的全系统的客户人均欠款 1000+，最高的欠款上万，而且居然有客户硬氪金，充值了好多钱硬挺到服务可用

[mach9452]

做了商场和秒杀活动，把测试价格发到线上，0.01 卖了几百单

[wxm]

@JiZhiDeboy 联系到那个人不退，或者电话都不接，涉及人太多最后不了了之了。。

[pursuit9]

rm -rf *

[fjkfwz406]

一个查询把线上 ES 搞 OOM 了

[Leeeeex]

之前有人把 iOS 的沙盒支付在生产上放开了
然后被刷走了十几万，后面公司说要起诉，也不知道后续怎么样

[user100saysth]

远程调试服务器防火墙策略，打开后
诶，怎么远程断了

[guch99999]

我到没有。 分享给同事的 ， 他运维，本来是像删除 从库的数据的，登错机器了，把主库删除了， 删除到一半发现了。 被开了

[soleils]

好几个回复都是: "不过我觉得责任不在我"

[YaD2x]

服务器重启算吗？之前以为连的是自己服务器 直接 reboot 了。然后等重启 恢复服务 用了一个小时。没有啥损失。

[colom]

那会刚进社会，当时做的轧钢产线上的项目，领导说了几次系统在跑的时候不要改程序，我没当回事改掉了，然后程序崩溃，产线直接急停了，还好当时没什么损失，不然后悔一辈子

[he888]

刚开始写代码那会儿，上线新功能，测试之后需要删除测试数据，写了 sql 丢给负责人执行，where 条件写错了，删了整表，负责人搞了一晚上，看我都是想骂的。。

[levelworm]

@villivateur #26
明确一下是老婆的 80GB 还是 80Gb 的老婆？

[binyu]

用本地代码连线上数据库，登录用户的账号，注释掉密码比对的部分，上线的时候忘记改回来了

[felixcode]

写几个字的标题就能看这么多热闹，赚了

[jedeft]

测试环境给 app 推送消息，错发给全部生成环境的用户了。
消息内容是公司上市了，老板接到朋友的恭喜电话时一脸懵逼。

[okjojoc]

@hewiefsociety 天啊 20w 刀也太多了 最后谁兜底了 有负什么责任吗 不过说回来公司没有设 limit 也有责任

[erwin985211]

不知道算不算我的，我合的的代码，实习生写的，他把一个测试接口发到线上了，导致线上不停弹的报错 msg 。这可能是前端能通的最大的娄子了

[kenshinhu]

最大的一次损失可能是在调试代码时触发了支付接口没了几刀

[hewiefsociety]

@okjojoc 公司有钱 无所谓 🤭

[sky96111]

表单信息更新没考虑脱敏，前端拿了脱敏数据来提交更新。一个月后出报表时才发现，几万个姓名和手机号都变了*

[diudiuu]

删除生产环境服务器