MySQL高可用运维设计:站长全栈实战指南
|
去年十一月份,我蹲在IDC机房里听MySQL主从切换失败的告警声,像老式电铃短路那样——叮!叮!叮!停两秒,再叮!第三遍响的时候,老陈端着泡面碗从我身后经过,热气直扑我后颈,他没说话,但把碗沿磕了下我椅背,意思是“你先别动”。 这事儿其实早该有结论了:MySQL高可用运维设计,根本不是什么架构选型题,是站长全栈实战指南——这话站得住的地方,就一个词:优胜劣汰。不是算法优胜,不是文档齐全就淘汰不了,是人顶不上去,系统就死给你看。去年十一月那轮切不动,主库硬盘灯灭了三分钟,从库同步线程卡在relay-log-read,但监控大屏一直在闪,绿的蓝的红的乱跳,像谁把KPI指标糊在了LCD上。 我原以为只要binlog_format设成ROW、半同步开关打得够早、中间件做层VIP漂移,这事就稳了。结果呢?凌晨四点接到电话时,我正用手机连着跳板机,手指抖得输错三次密码。第四个字符敲下去前,窗外天黑透了,路灯刚亮,一盏一盏往南推过去,像等着接班的人排着队。 真正出问题那刻,没人翻手册,都在查日志。小吴蹲在机柜前拿USB线直连DBA笔记本导error log,头发被风扇吹得往左偏,她左手一直按着耳机线,右手在终端里反复敲show slave status\\G;老马坐在旁边,浏览器开了三十个标签,全是GitHub issue、Percona blog、自己两年前写的Python心跳脚本页面——但他只盯着第十七个标签,是某个MySQL Bug #98342的patch备注:“not fixed in 5.7.31”。我说“要不升个版本”,他头都没抬,“这个我说不准。” 但有个事我敢打包票:所有写“自动故障转移成功率99.99%”的PPT,都是没亲手切过十次以上真实主从的人做的。你信吗?他们连max_relay_log_size调成多大才能让从库不因临时IO卡住都记不清。真卡住了,就得手工跳过事务,reset slave to,set global sql_slave_skip_counter=1——不是一条命令,是三条,顺序不能错,第二条必须等第一句回显“OK”之后才敲,第三句输一半发现参数拼错了,删掉重来……我就干过七次这种事,第七次手滑多打了个分号,结果报错是“Unknown system variable”,不是SQL语法错——这种细节根本没人写进文档。 后来我们拆了三层:最外是Keepalived的vrrp_instance,中间是Orchestrator的failover logic,最里是MySQL自身的gtid_purged校验。但说破天,真正生效的是小吴在事发前两周偷偷加的一行脚本:每小时检测一次主从seconds_behind_master,超过120秒就微信@所有人。那天它发了消息,我看了,但当时正改SEO标题,顺手划掉了。后来她说:“不是告警没响,是你静音了。”她说话时嚼着最后一口煎饼果子,纸袋折了三道塞进工位抽屉——我到现在还记得那纸袋上印着“津门早点王”的油渍边。
文章配图,仅供参考 你以为我在讲技术?不。我在说:当你半夜三点靠在服务器机柜上喘气,听见散热风机声忽高忽低,听见隔壁机房空调漏水滴在金属托盘上的声音,听见自己吞咽口水的声音——这时候,没有高可用,只有你活着、醒着、手还动得了,那才算“可用”。其余全是宣传册里的字。对了,前两天整理备份策略时翻到张工留下的纸质笔记,扉页写着“2019年6月17日,杭州阿里云栖大会门口买的手账本”,里面全是铅笔画的MySQL复制拓扑草图,边角还粘着一小块已风干的绿茶糖纸。我没扔,但也没抄。有些东西就是得自己熬一遍,才能认出它什么时候开始变味。 再说个跑题的:现在新招的运维实习生,面试问“怎么判断从库是否延迟”,十个有九个答“看Seconds_Behind_Master”。我就问:“如果值是NULL呢?”他们眼睛立刻发直。我说:“这时候去看SHOW PROCESSLIST里I/O线程状态,再看Relay_Log_Space,最后再去看磁盘IO。可他们总想跳步,直接问我‘应该查哪个字段’——好像DBA是台API服务器。” 所以现在我不推什么“最佳实践”,只推动作清单:每月至少手动触发一次强制切换;每次大促前,拉三个人轮流盲切——不许看文档;任何配置变更,必须有rollback脚本,且该脚本本身要经过一次dry-run测试。别的?我懒得说了。你要是刚踩完坑回来,现在打开终端,先把slave_parallel_workers设成4,再sleep 30秒,然后再去喝杯水。别急,水杯放在左手边第二格抽屉,和上次你修完GTID环形复制崩溃时放的位置一样。 反正我现在改了习惯:告警短信不关静音,改成震动模式。手机就放桌上,屏幕朝上,锁屏壁纸还是去年十一月切失败时截的错误日志图——青灰色背景,红色ERR,右下角时间戳是凌晨四点十八秒。每次它震一下,我都抬头看一眼,确认自己还在呼吸,还在能敲命令。 (编辑:PHP编程网 - 金华站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


鸿蒙建站太难?3天上线运维系统实战指南
站长必踩的3个MySQL设计陷阱:半年崩一次
建站新手必避的7大运维坑:第5坑90%人忽略!
服务器开发工程师的网站搭建与运维实战手册
PHP调试总卡壳?9年容器运维师揭秘3个被忽略的断点技巧
嵌入式工程师建站踩坑实录:裸机到高可用的加载全链路优化
跨端兼容:17年运维老兵眼中的增效新起点


浙公网安备 33038102330481号