Series Vận hành thực chiến là các bản hậu kiểm sự cố thật trên Cloud VPS và Kubernetes theo khung triệu chứng – điều tra – nguyên nhân gốc – khắc phục – phòng ngừa: OOM, PHP-FPM treo, MySQL chậm, cache rò session, WAF ...
TTFB (time to first byte) là thời gian từ lúc gửi request tới khi nhận byte đầu tiên của phản hồi. Với người dùng, TTFB cao là trang tải chậm vài lần. Với Googlebot, TTFB cao kéo dài là tín hiệu máy c...
Có một kiểu sự cố làm người vận hành bối rối: balancer trả 502/504 từng đợt, lưu lượng gần như bằng không, vậy mà pool PHP-FPM lúc nào cũng đầy worker. Đó là PHP-FPM treo vì chờ, không phải vì quá tải...
Trong mô hình Cloud VPS nhiều tầng, balancer thường là máy nhỏ nhất nhưng gánh trách nhiệm lớn nhất: mọi website đều đi qua nó. Khi RAM cạn, kernel kích hoạt OOM killer và tiến trình lớn nhất trên bal...
Một tình huống hay gặp với Laravel: nhiều queue worker cùng chạy job dựng lại bảng thống kê, mỗi job xử lý một nhóm dữ liệu khác nhau, và thỉnh thoảng một job thất bại với lỗi 1213. Đó là deadlock MyS...
Một tình huống không hiếm trong các đội vận hành Kubernetes: file kubeconfig quản trị của cluster đang chạy production lọt vào repo Helm, nằm đó qua nhiều commit, rồi một ngày có người phát hiện và gỡ...
Một pipeline CI không đổi dòng nào trong nhiều tuần, rồi bỗng thất bại ở bước dùng git qua SSH với thông điệp OpenSSL version mismatch. Người sửa thường lao vào thử: ghim phiên bản, cài lại git, chuyể...
Một thay đổi cấu hình rất thường gặp trên Kubernetes: đổi dbHost trong values của hàng loạt site, ví dụ khi chuyển database từ MySQL StatefulSet trong cluster sang một VPS MySQL riêng. Với Helm, việc...
Trong mô hình GitOps, pipeline tạo website trên Kubernetes thường kết thúc bằng một bước: commit file values của site mới vào repo Helm rồi git push. Khi nhiều pipeline cùng chạy, lệnh push có thể bị...
Một website báo lỗi 502 có thể do nginx trên balancer, do PHP-FPM trên minion, do một câu query khoá bảng trên database, hoặc trên Kubernetes là do pod vừa bị kill vì vượt giới hạn RAM. Mở đầu series...
