Chuyên mục DevOps tập hợp kinh nghiệm thực chiến của đội hạ tầng Sudo khi vận hành hàng nghìn website: từ mô hình Cloud VPS ba tầng, hành trình lên Kubernetes và CI/CD, tới các sự cố thật, cách điều tra, khắc phục và bảo ...
Có một kiểu sự cố làm người vận hành bối rối: balancer trả 502/504 từng đợt, lưu lượng gần như bằng không, vậy mà pool PHP-FPM lúc nào cũng đầy worker. Đó là PHP-FPM treo vì chờ, không phải vì quá tải...
Trong mô hình Cloud VPS nhiều tầng, balancer thường là máy nhỏ nhất nhưng gánh trách nhiệm lớn nhất: mọi website đều đi qua nó. Khi RAM cạn, kernel kích hoạt OOM killer và tiến trình lớn nhất trên bal...
Một tình huống hay gặp với Laravel: nhiều queue worker cùng chạy job dựng lại bảng thống kê, mỗi job xử lý một nhóm dữ liệu khác nhau, và thỉnh thoảng một job thất bại với lỗi 1213. Đó là deadlock MyS...
Với PHP-FPM, mỗi request tới một site Laravel đều bắt đầu từ con số không: nạp autoload, đọc config, đăng ký hàng chục service provider, rồi mới tới code xử lý thật. Request xong, mọi thứ bị vứt bỏ. V...
Khi vận hành hàng trăm website, ba thao tác rủi ro nhất thường không phải sự cố mà là những việc làm theo yêu cầu: deploy một site mới, đổi domain cho site đang chạy và chuyển site sang Cloud VPS khác...
Website trước khi lên domain thật thường có một bản demo để chủ site duyệt giao diện, đội QA kiểm thử và đo tốc độ. Bản demo chạy trên subdomain dạng *.demo.example.com, nằm cùng balancer với site thậ...
Thay một stack giám sát cũ bằng kube-prometheus-stack thường trông rất suôn sẻ: lệnh cài báo Install complete, Prometheus lên, Grafana vào được, mọi pod Running. Nhưng "không có lỗi" chưa chắc là "đún...
Một đội vận hành nhỏ không thể ngồi canh hàng chục Cloud VPS cả ngày. Nginx hoặc PHP-FPM chết lúc nửa đêm, một queue worker rơi vào trạng thái FATAL, một ổ đĩa đầy dần: những sự cố này lặp lại đều đặn...
Như trong bài mở đầu series, máy MySQL trên Cloud VPS cấu hình nhỏ thường không bật binlog và không có replica. Khi đó, mọi sự an toàn của dữ liệu dựa vào đúng một thứ: backup database hằng đêm. Tài l...
Một tình huống không hiếm trong các đội vận hành Kubernetes: file kubeconfig quản trị của cluster đang chạy production lọt vào repo Helm, nằm đó qua nhiều commit, rồi một ngày có người phát hiện và gỡ...
Khi cụm có hàng chục Cloud VPS, số việc vận hành lặp lại hằng ngày rất lớn: tạo site, deploy code, đổi domain, backup, gỡ site, chạy một lệnh artisan trên đúng minion. Nếu mỗi việc là một đoạn script...
Dựng một cluster Kubernetes mới cho dự án microservice có thể mất vài tuần nếu làm tay từng bước, hoặc chỉ mất khoảng một buổi nếu mọi thành phần đã được chuẩn hoá từ trước. Khác biệt không nằm ở tốc...
Đã hiển thị toàn bộ bài viết
