6年运维经验:30分钟搭好生产级Linux环境
|
我原以为得花两小时——结果三十二分钟,监控告警灯全绿了。不是测试环境,是那个凌晨四点刚切走旧站的生产库,IP 一绑上,nginx 就在跑 HTTPS,fail2ban 在吐日志,certbot 自己续了上个月的证书。小李蹲机柜后面拧螺丝时说“这比上次装打印机还快”,我说你别说话,他手一抖,网线卡扣弹飞了,掉进 UPS 风扇口,嗡嗡响了十八秒才停。 就这事,前天跟老张吵完。他拍着桌子说“30 分钟搭生产级?你是把内核编译跳过了还是把 auditd 当摆设?”——我懒得争,打开终端回他:“来,你 ssh 进去 ls /etc/systemd/system/ | wc -l”,他敲完没吭声。我补了句:“我删了七行 systemd unit,加了三行 ansible tag,别的都没碰。”他鼠标悬停在 Chrome 地址栏三十秒,没输 anything。窗外雨停了,对面楼广告牌灯管坏了两根,一明一暗,像呼吸。 先扔结论:它站得住,不是因为技术多牛,是六年里活下来的都干过这事——死掉的那批人,还在写“初始化系统安全加固 checklist”的第一项:手动改 umask。真干过就知道,不是脚本多高级,是所有没用的中间态全被砍干净了:没做过的监控模板、没配过的审计规则、没验证过的备份还原流程、没压测过的 sysctl 参数……全删。优胜劣汰不是选最好的方案,是淘汰所有需要“再想想”的选项。小陈昨天在 Slack 发截图,show 出他写的 Ansible playbook ——五十七个 task,里面二十三个注释写着“TODO:确认该服务是否必须开机启动”。我没回,把页面关了。桌上那盒冷掉的黄焖鸡饭,酱汁渗进纸盒缝里,发黑。 我们搭的从来不是“Linux 环境”,是故障容错边界。防火墙只开三个端口,不为安全,为出事时一眼看清哪条流异常;日志只往本地 journald 写,不为省事,为断网三分钟内还能捞到 last login。三年前有个站,用自研 shell 脚本部署,跑得好好的,直到某次 kernel 升级后 getty 启动顺序变乱,tty1 卡住导致 sshd 不起来——没人修,因为没人记得那个脚本最后几行写了什么。现在我敢打包票:任何不能用 systemctl cat 看懂的服务,都不许上生产。但数据库主从延迟阈值设多少?这个我说不准,上次调完还是靠 ping 备库的 pg_is_in_recovery() 返回值猜的。 讲具体操作?不讲全。比如,第一步永远不是 sudo su -,是先 touch /root/.no-ansible-run,防止有人误触发定时任务——这事我教过三个人,两个人记住了,第三个去年离职了,临走前删了这行,害得我半夜重刷整个集群的 ssh known_hosts。第二步,改 /etc/default/grub:把 rhgb quiet 删掉,加上 splash=none,不是为看启动过程,是怕下次 panic 抓不到 oops 行号。第三步……算了,第三步得看你手里是不是真有那张印着内网 DNS 的纸质应急卡。没有?那你先别动。我抽屉第三格左边还有半包没拆的阿尔卑斯,草莓味,软糖外层有点化了,黏在塑料纸上撕不下来。
文章配图,仅供参考 上周帮 SEO 同事看爬虫抓取异常,顺手进了他们测试服务器——CentOS 6.9,内核 2.6.32,sshd 版本比我的咖啡机还老。他说“能跑就行”,我说“你猜你上次重启是因为什么?”他眨眨眼,我指他显示器右下角:时间显示“2023年12月”,系统没联网,ntpd 没开,时区文件还是亚洲/重庆。他笑了下,去倒水,水壶底座接触不良,滴答、滴答、滴答。我没拉他回来聊运维,点了两下浏览器,关掉了那个开着三十四个标签页的 Chrome 窗口——其中二十一个标题是“404 Not Found”。别信“标准化”这个词。真正压住节奏的,是你敢不敢把 nginx.conf 里 upstream 块直接写死 IP,而不是塞 consul-template;是你愿不愿意让 crontab 里那行 backup 脚本直接 rsync 到另一台物理机,连 rsnapshot 层都不加;是你记不记得上一次用 vi 编辑 /etc/fstab 是什么时候,还是已经习惯把 fstab 生成逻辑硬编码进 terraform 的 local-exec。优胜劣汰不是优中选优,是剩下的人只剩一条路可走。至于那条路对不对?等下一个故障打穿它之前,谁都说不清。我现在手边还有份未签字的变更审批单,客户签了字,运维经理画了圈,但 DBA 栏空着——我准备等明天早会,当着他面打开 psql 输入 \\conninfo,让他自己看看这连接到底用了哪个 sslmode。 你要是今晚也得搭一台,别翻文档。先查你家 DNS 能否解析 internal-log01;再试 curl -I https://mirror.internal/redhat/7;⭐️⭐️⭐️⭐️摸一下机柜侧板——烫不烫。烫,就等五分钟再下电。不烫,那就开始吧。反正,我也刚收到一条短信,来自值班同事:“alert: node-exporter down on web05”,手机还在震,我没看。 (编辑:PHP编程网 - 金华站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |


H5一招破局:8年自动化运维工程师亲测流量翻倍
Linux服务器环境搭建:从零到高可用的分布式追踪实践
ASP系统工程师速成:1年运维实习实战指南
深度学习工程师网站搭建运维避坑指南
MySQL运维设计实战:20年安全工程师的稳定高效跃迁
运维老炮儿绝不会说的服务器调优潜规则
数据科学家建站无需懂运维?20年故障老炮儿说破真相


浙公网安备 33038102330481号