加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 金华站长网 (https://www.0579zz.com/)- 智能机器人、智能内容、人脸识别、操作系统、数据迁移!
当前位置: 首页 > 建站 > 正文

9年容器运维老手:30分钟搞定生产级Linux环境

发布时间:2026-11-10 08:01:59 所属栏目:建站 来源:DaWei
导读:  去年8月份,我蹲在IDC机柜前面,手电筒光照着SSD背板上一道指甲盖大的划痕,光一晃就反白——这破盘是去年双11前换的,现在才十个月,主控已经掉队三秒了。监控大屏在身后闪,红一块绿一块,跟呼吸灯似的,其实不是故障,就是Kiban

  去年8月份,我蹲在IDC机柜前面,手电筒光照着SSD背板上一道指甲盖大的划痕,光一晃就反白——这破盘是去年双11前换的,现在才十个月,主控已经掉队三秒了。监控大屏在身后闪,红一块绿一块,跟呼吸灯似的,其实不是故障,就是Kibana那个dashboard模板写错了时间偏移,但没人动它,反正告警没响。


  我说30分钟搞定生产级Linux环境,不是吹牛逼,是优胜劣汰筛出来的结果。你让一个刚考完CKA的人来干这事?他肯定先配kubectl autocomplete、改bashrc、装oh-my-zsh,再搞个k9s主题配色……结果coredns都起不来。我原以为他至少会调下cgroup限制,结果他连systemd-journald的RateLimitIntervalSec设成多少都查了十分钟文档。这个我敢打包票:真干活的,头三分钟就该把/etc/hosts和resolv.conf锁死,剩下的全是补漏。


  你别不信。去年八月那单,客户要搭一个“能扛住明天上午九点流量突刺”的API网关,不是POC,不是预演,是实打实切生产流量。甲方运维在钉钉里发了个截图:nginx error log里满屏connect() failed (111: Connection refused),而上游Service ClusterIP根本没被分配——因为kube-proxy没起来。他卡在那一步,查了四十七分钟,中间还重启了两次kubelet,越搞越歪。我接手,删掉/var/lib/kube-proxy/kubeconfig、删掉/run/flannel/subnet.env、删掉所有calico-node的pod、重跑flannel.yaml(用的是我们repo里十六个月没动过的那个)、最后手动touch /var/run/flannel/subnet.env && chmod 600 /var/run/flannel/subnet.env。二十三分钟。后面七分钟是等etcd集群确认leader,顺便把iptables -t nat -L | grep KUBE-SEP那段粘贴进wiki归档里。


  窗外天黑了。不是日落那种渐变黑,是突然黑——IDC空调外机停了,UPS自动切换那一下,整个机房灯全灭了一秒,接着应急灯亮,惨白惨白的,像手术室。张工端着盒饭坐过来,筷子尖沾着一点青椒,指着屏幕说:“你刚才touch那个文件,是不是相当于往flannel脑门上拍了张身份证?”我点头,他扒拉一口米饭,说“行,下次我们招人,就问会不会touch subnet.env。”


  我桌上浏览器开着三十一个标签页。其中二十个是GitHub PR review页面,四个是GitLab CI pipeline失败日志,两个是curl -v https://xxx/v1/health 的终端输出截图,剩下三个分别是:grafana dashboard里某个节点的node_cpu_seconds_total rate5m斜率异常、prometheus告警列表里一个重复了五次的DiskPressure、还有我老婆微信发来的——“晚饭放保温箱了,你别又啃冷馒头”。我没回。馒头确实啃了,但不是冷的,是中午剩的,有点硬,嚼着发酸。


  说“30分钟”真不是数字迷信。它是训练误差收敛后的平台期:你试过207次裸机重装+容器编排+安全加固,第208次自然就快了。但你要问我第几次开始能稳定压在33分钟以内?我说不准。因为有一次我卡在selinux上下文没清理干净,audit.log里全是avc denied,折腾到凌晨四点,最后发现是同事上周顺手给/usr/bin/containerd加了个cap_net_admin,结果新containerd启动时自己拒绝加载。这种事没法复现,只能记进错题本,封面写着:“永远别信别人碰过的bin目录”。


文章配图,仅供参考

  刘站长前两天发我一条语音,嗓子哑的,说他们家WordPress站半夜被扫出五个shell,查来查去发现是Wordfence插件更新时留下的临时PHP文件没删,chmod 777,还带个.php扩展名。他问我:“你说这算不算Linux环境没搭好?”我回他:“算。但不算我的责任。”他笑了,笑得很难听,像老式服务器风扇堵了灰。他老婆在背景里喊“饭好了”,声音很远,像从隔壁楼传来。


  你别学我删东西删那么狠。/var/log/journal我从来不清,就让它涨,硬盘满了再扩;但/run/docker.sock权限必须是660,且owner非root不可——上次一个外包写的脚本偷偷chmod 777,第二天docker ps直接返回空,ps aux也看不到containerd进程,就看见一堆僵死的runc init进程占着cgroup v1的tasks文件。这不是技术问题,是信任问题。所以现在我只要看见CI里有chmod +x /usr/bin/,不管后面跟什么,直接reject。这个我敢打包票。


  我手机响了,不是告警短信,是小区物业群@全体成员,说今晚七点停水两小时。我回了个“收到”,然后把刚才写到一半的Ansible task注释掉了——“disable selinux via grubby”,改成了“ensure selinux is permissive, if enabled”。为什么?因为上周有个兄弟图省事直接grubby --remove-args="selinux=1" --update-kernel=all,结果kernel升级后启动不了,bare metal直接变砖。我原以为他只是忘了改/etc/selinux/config,结果他压根没配这个文件,靠开机参数硬顶。这玩意儿没法自动化,得盯着人按F2进BIOS按一次回车。


  现在我每天下午三点零七分必看一眼Prometheus里的kube_node_status_phase{phase=~"NotReady"},哪怕就一秒。不是为了救谁,是看看谁还没进化完。毕竟,真正在30分钟内干完活的人,早就不看指标了——他们在改flannel subnet范围之前,已经把下个月要用的IP段在纸上画好了。笔迹是蓝黑墨水,不是圆珠笔印子。这个细节无关紧要,但我记住了。


  接下来?等下周一,我去拆台旧ECS实例。不是下线,是把它变成物理节点,挂进K8s集群。配置清单我已经列好了,就差一行字没填:到底是用containerd还是继续cgroups v1。这事儿我打算问王磊,他昨天在食堂说他家猫学会了按饮水机按钮。我不信,但我想听听他怎么说。

(编辑:PHP编程网 - 金华站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!