👋 Chào mừng đến với Nocoem — kiến thức Backend, System Design và lập trình. Khám phá ngay

System Design là gì? Backend Developer cần biết đến đâu?

TL;DR: System Design (thiết kế hệ thống) là việc quyết định cách ghép các thành phần (máy chủ, cơ sở dữ liệu, cache, hàng đợi, cân bằng tải...) lại với nhau để hệ thống chạy đúng, chịu được tải và dễ mở rộng. Khác với việc code một service cho chạy, System Design cân bằng nhiều ràng buộc mâu thuẫn nhau (tốc độ, độ sẵn sàng, chi phí, tính nhất quán). Bài này mở đầu series, giải thích System Design là gì và bạn cần nắm tới đâu theo từng cấp độ nghề.

Bạn viết một API, chạy ngon lành trên máy mình, deploy lên và mọi thứ ổn. Rồi một ngày có 10.000 người vào cùng lúc: database nghẽn, response chậm dần, rồi timeout hàng loạt. Code không sai, thuật toán không tệ, nhưng hệ thống vẫn sập. Đó chính là lúc System Design lên tiếng: vấn đề không nằm ở một hàm, mà ở cách toàn bộ hệ thống được lắp ráp.

System Design là gì?

System Design là quá trình thiết kế kiến trúc tổng thể của một hệ thống phần mềm: chọn các thành phần nào (máy chủ ứng dụng, cơ sở dữ liệu, cache, hàng đợi tin nhắn, cân bằng tải, CDN...), chúng nói chuyện với nhau ra sao, dữ liệu chảy thế nào, và hệ thống phản ứng ra sao khi tải tăng hoặc khi một phần hỏng.

Để dễ hình dung, một backend web điển hình thường trông như thế này: request từ người dùng đi qua bộ cân bằng tải, tới các server ứng dụng, rồi các server này đọc/ghi qua cache và cơ sở dữ liệu.

Client Load Balancer Backend(nhiều bản) Cache Database

Sơ đồ trên mới là danh sách các hộp. Phần đáng học là bên trong mỗi mũi tên có gì:

  • Load balancer không chỉ chia request cho vui. Nó giữ một danh sách server đang sống, định kỳ gửi health check tới từng server (thường là một request tới đường dẫn kiểu /health, vài giây một lần). Server nào không trả lời trong ngưỡng cho phép sẽ bị loại khỏi vòng quay cho tới khi khoẻ lại. Request còn lại được chia theo một thuật toán, hay gặp nhất là lần lượt (round robin) hoặc ưu tiên server đang ít kết nối nhất (least connections).
  • Server ứng dụng phải không giữ trạng thái (stateless) thì cách trên mới chạy được. Nếu server nhớ phiên đăng nhập trong bộ nhớ của chính nó, người dùng bị đẩy sang server khác là mất phiên. Vì vậy phiên đăng nhập bị đẩy ra ngoài, thường là vào cache dùng chung.
  • Cache phổ biến nhất chạy theo kiểu cache-aside: ứng dụng hỏi cache trước, trúng thì trả luôn; trượt thì đọc database, rồi ghi ngược kết quả vào cache kèm một thời hạn sống (TTL).

Chính cơ chế cache-aside đó sinh ra hệ quả mà bạn sẽ gặp lại suốt cả series: dữ liệu trong cache có thể cũ hơn database cho tới hết TTL. Người dùng vừa sửa tên hiển thị, tải lại trang vẫn thấy tên cũ. Không ai code sai cả, đó là cái giá đã trả để đổi lấy tốc độ.

System Design khác gì Software Architecture? Ba khái niệm hay bị nhầm là một. Software Architecture là bức tranh cấu trúc (các tầng, module, ranh giới). System Design là quá trình chọn giải pháp dựa trên yêu cầu, ràng buộc và đánh đổi để đạt mục tiêu (tải, độ trễ, chi phí). Distributed Systems là một nhánh con của System Design, tập trung vào nhiều máy phối hợp. Nói ngắn gọn: System Design không chỉ là vẽ sơ đồ, mà là ra quyết định. Còn tầng dưới nữa là Design Patterns, lo chuyện viết code trong một thành phần cho sạch.

Nếu viết code là làm cho một thành phần chạy đúng, thì System Design là làm cho nhiều thành phần phối hợp đúng ở quy mô lớn. Và điểm cốt lõi: nó luôn là bài toán đánh đổi. Bạn muốn nhanh hơn thì thường tốn bộ nhớ hoặc tiền hơn; muốn luôn sẵn sàng thì có lúc phải chấp nhận dữ liệu hơi cũ; muốn nhất quán tuyệt đối thì phải hi sinh một phần tốc độ. Không có "kiến trúc đúng" chung cho mọi bài toán, chỉ có kiến trúc phù hợp với đúng ràng buộc của bạn.

Vài ví dụ đánh đổi cho dễ hình dung:

  • Một trang tin tức có thể chấp nhận cache trễ vài giây (người đọc thấy bản cũ hơn một chút) để đổi lấy tốc độ phản hồi cực nhanh cho hàng triệu lượt đọc: ưu tiên tốc độ và độ sẵn sàng hơn nhất quán tức thời.
  • Ngược lại, một hệ thống ngân hàng phải ưu tiên tính nhất quán: số dư luôn phải đúng, thà chậm hơn hoặc từ chối giao dịch chứ tuyệt đối không được trừ tiền hai lần.

Chính sự đánh đổi giữa nhất quán và sẵn sàng này được nói kỹ hơn trong bài CAP Theorem và thực tế triển khai.

Vì sao Backend Developer cần System Design?

Vì API của bạn không sống một mình. Đằng sau nó là database, cache, queue, load balancer, và cả các dịch vụ khác gọi qua lại. Một quyết định kiến trúc, ví dụ "đọc từ replica hay từ primary", "cache ở đâu", "xử lý đồng bộ hay đẩy vào hàng đợi", thường ảnh hưởng tới hiệu năng, chi phí và độ tin cậy nhiều hơn hẳn so với việc tối ưu một vòng lặp trong code.

Ngoài công việc thực tế, System Design còn là vòng phỏng vấn gần như bắt buộc từ mức mid-level trở lên. Người phỏng vấn không tìm "đáp án đúng", họ xem cách bạn làm rõ yêu cầu, ước lượng tải, chọn thành phần và giải thích đánh đổi. Đó là kỹ năng phân biệt một người code được với một người thiết kế được hệ thống.

Nói tới ước lượng: đây là thói quen đầu tiên nên tập, và nó chỉ là phép chia. Giả sử sản phẩm của bạn có 100.000 người dùng mỗi ngày, mỗi người bấm khoảng 20 request:

Nhẩm thử một con số
100.000 người/ngày x 20 request = 2.000.000 request/ngày
2.000.000 / 86.400 giây = khoảng 23 request mỗi giây tính trung bình
x 10 cho giờ cao điểm = khoảng 230 request mỗi giây
Ba con số đầu là giả định của tôi, không phải số đo thật. Hệ số 10 cho giờ cao điểm cũng là ước lượng thô, sản phẩm nào có khung giờ dồn mạnh hơn thì phải chỉnh lại.

Con số 230 đó đổi hẳn cuộc trò chuyện. Nó không lớn: một server ứng dụng viết tử tế xử lý được, chưa cần chia nhỏ database, chưa cần kiến trúc gì hoành tráng. Ngược lại, nếu nhẩm ra 230.000 thì gần như mọi quyết định thiết kế đều khác. Đó là lý do bước ước lượng luôn đi trước bước vẽ sơ đồ.

Khi thiết kế sai, hệ thống hỏng thế nào?

Ngày 4/10/2021, Facebook, Instagram và WhatsApp cùng biến mất khỏi Internet. Không phải vì bị tấn công, cũng không phải vì một dòng code sai. Meta đã công bố nguyên nhân trong báo cáo sự cố chính thức, và nó là một bài học System Design gần như hoàn hảo.

Diễn biến, theo đúng lời Meta kể lại: trong lúc bảo trì backbone định kỳ, một lệnh được chạy với mục đích đánh giá dung lượng backbone còn trống, nhưng nó đã ngắt toàn bộ kết nối của mạng backbone. Công cụ kiểm tra đáng lẽ chặn những lệnh kiểu này thì lại có lỗi, nên không chặn.

Phần thú vị nằm ở chỗ tiếp theo. Các cơ sở phục vụ DNS của Meta được thiết kế để tự rút quảng bá BGP khi thấy mình không khoẻ. Backbone chết, chúng lập tức kết luận mình không khoẻ và rút quảng bá thật. Hậu quả, theo nguyên văn báo cáo: các máy chủ DNS vẫn chạy bình thường nhưng không ai trên Internet còn đường đi tới chúng nữa. Tên miền không phân giải được, và với phần còn lại của thế giới thì Facebook coi như không tồn tại.

Đòn cuối: chính các công cụ nội bộ để chẩn đoán và sửa lỗi cũng nằm sau hạ tầng vừa sập. Kỹ sư phải tới tận trung tâm dữ liệu để xử lý tay, mà những nơi đó lại được thiết kế với mức bảo mật vật lý rất cao, nên càng vào chậm.

Ba bài học ở đây đều là bài học thiết kế, không phải bài học lập trình: một cơ chế tự bảo vệ (tự rút BGP khi không khoẻ) có thể biến một sự cố nhỏ thành sự cố toàn cục; công cụ cứu hộ mà phụ thuộc vào chính thứ nó cứu thì vô dụng đúng lúc cần nhất; và bán kính ảnh hưởng của một thay đổi quan trọng ngang với việc thay đổi đó đúng hay sai.

Bạn cần biết tới đâu?

Không phải ai cũng cần thiết kế được Facebook. Mức độ cần nắm tăng dần theo cấp độ nghề:

Cấp độCần nắmVí dụ chủ đề
JuniorHiểu các thành phần cơ bản làm gì và đọc được sơ đồ kiến trúcCân bằng tải, Cache, Replica, Database
Mid-levelTự thiết kế hệ thống vừa, ước lượng tải thô, nêu được đánh đổi giữa vài phương ánMessage Queue, Rate Limiter, URL Shortener
SeniorLàm chủ hệ phân tán, chịu lỗi, chi phí; dẫn dắt quyết định và giải thích lựa chọnDistributed System, Multi-Region, Fault Tolerance

Cái giá của System Design

Mọi bài trong series này đều có một mục nói thẳng cái được và cái mất. Bắt đầu ngay từ đây, với chính việc thiết kế hệ thống.

Cái được: hệ thống chịu được tải tăng mà không phải viết lại; một thành phần chết thì phần còn lại vẫn chạy; chi phí hạ tầng nằm trong dự đoán thay vì phình theo cảm tính.

Cái mất: mỗi thành phần thêm vào là một chỗ có thể hỏng thêm. Load balancer thêm một chặng mạng vào mọi request. Cache thêm bài toán làm mới dữ liệu và thêm khả năng phục vụ dữ liệu cũ. Hàng đợi biến một luồng đồng bộ dễ lần dấu thành luồng bất đồng bộ, lỗi xảy ra ở đâu đó trong worker lúc 2 giờ sáng. Và tất cả những thứ đó đều cần người vận hành, cần giám sát, cần trả tiền hàng tháng.

Khi nào KHÔNG cần:

  • Sản phẩm chưa có người dùng. Ở giai đoạn này, thứ giết dự án là không ai dùng, không phải là không chịu nổi tải. Một server và một database là đủ, và nó đủ lâu hơn bạn tưởng.
  • Công cụ nội bộ vài chục người dùng. 50 nhân viên dùng cả ngày cũng không chạm tới ngưỡng cần cache phân tán. Thêm vào chỉ là thêm việc trực.
  • Chưa đo được điểm nghẽn. Thêm cache vì "nghe nói cache nhanh" trong khi chưa biết truy vấn nào chậm là tối ưu mù. Đo trước, sửa sau.

Nói cách khác: System Design giỏi không phải là dùng được nhiều thành phần, mà là biết dùng ít nhất có thể mà vẫn đạt yêu cầu.

Tư duy cốt lõi

Nếu chỉ nhớ một điều trước khi bước vào series này, hãy nhớ: luôn bắt đầu bằng câu hỏi, không phải bằng giải pháp. Trước khi vẽ bất cứ sơ đồ nào, hãy làm rõ yêu cầu (chức năng gì, bao nhiêu người dùng, đọc nhiều hay ghi nhiều) và ước lượng con số. Một thiết kế "đẹp" cho sai bài toán còn tệ hơn một thiết kế đơn giản nhưng đúng nhu cầu.

Và luôn tự hỏi: khi tải tăng gấp 100 lần thì hệ thống hỏng ở đâu trước? Câu trả lời cho câu hỏi đó chính là nơi bạn cần đặt cache, thêm replica, hay đẩy việc vào hàng đợi.

Series này gồm những gì?

Đây là bài mở đầu cho một lộ trình đi từ nền tảng tới cấp senior: khái niệm cơ bản (Phase 1), các thành phần phổ biến (Phase 2), những bài thiết kế phỏng vấn kinh điển (Phase 3), hệ thống nghiệp vụ thực tế (Phase 4), lý thuyết hệ phân tán (Phase 5) và cấp độ senior (Phase 6). Bạn có thể xem toàn bộ và đọc theo thứ tự ở mục lục lộ trình System Design.

Tóm tắt

  • System Design là việc chọn và ghép các thành phần để hệ thống chạy đúng ở quy mô thật, không phải việc vẽ sơ đồ cho đẹp.
  • Mọi lựa chọn đều là đánh đổi. Nhanh hơn thường đổi bằng tiền, bằng bộ nhớ, hoặc bằng dữ liệu cũ hơn một chút.
  • Hiểu cơ chế bên trong mới đáng giá: load balancer sống nhờ health check, server ứng dụng phải không giữ trạng thái, cache-aside đổi tốc độ lấy nguy cơ dữ liệu cũ tới hết TTL.
  • Ước lượng trước khi thiết kế. Một phép chia đơn giản từ số người dùng ra RPS đủ để loại bỏ phần lớn kiến trúc thừa.
  • Sự cố Meta ngày 4/10/2021 cho thấy sai lầm thiết kế nguy hiểm hơn sai lầm code: cơ chế tự bảo vệ có thể lan lỗi, và công cụ cứu hộ không được phụ thuộc vào thứ nó cứu.
  • Biết khi nào KHÔNG cần cũng quan trọng ngang biết cách làm. Chưa có người dùng thì một server là đủ.
Series System Design · Bài 1/71. Xem mục lục lộ trình. Bài tiếp theo: Functional vs Non-Functional Requirement (sắp có).

- Kai

Thấy bài viết hữu ích?

0 lượt thích

Đăng nhận xét