Bạn từng gặp tình huống này chưa: đơn hàng đã lưu vào database, nhưng email xác nhận thì không tới tay khách vì service gửi mail lăn ra chết đúng lúc đó? Hoặc ngược lại, email đã gửi nhưng transaction lưu đơn hàng lại bị rollback vì lỗi khác? Đây không phải lỗi hiếm, mà là hệ quả tất yếu khi bạn ghi dữ liệu vào hai nơi độc lập mà không có cơ chế đảm bảo. Outbox Pattern sinh ra chính là để xử lý tình huống này.
Outbox Pattern là gì?
Outbox Pattern là một mẫu thiết kế (design pattern) trong kiến trúc phần mềm phân tán, dùng để đảm bảo tính nhất quán dữ liệu giữa cơ sở dữ liệu nội bộ và các hệ thống bên ngoài (message queue, email service, service khác...). Pattern này lần đầu được mô tả rõ ràng trong sách Microservices Patterns của Chris Richardson, với tên gọi "Transactional outbox".
Vì sao cần: bài toán ghi kép (dual write problem)
Hãy tưởng tượng bạn xây một hệ thống thương mại điện tử. Khi khách đặt hàng thành công, bạn cần làm hai việc: lưu thông tin đơn hàng vào cơ sở dữ liệu và gửi email xác nhận cho khách. Nếu bạn thực hiện hai thao tác này độc lập, tức là lưu database xong rồi mới gọi API gửi mail, sẽ có bốn kịch bản xảy ra: cả hai thành công (ổn), cả hai thất bại (ổn, rollback sạch), hoặc chỉ một trong hai thành công. Hai trường hợp cuối chính là vấn đề: hệ thống rơi vào trạng thái không nhất quán mà bạn khó phát hiện ngay.
Đây chính là bài toán ghi kép (dual write problem): bạn cần ghi dữ liệu vào hai nơi khác nhau (database và message queue/external service) trong cùng một nghiệp vụ, nhưng không có transaction nào bao trùm được cả hai nơi cùng lúc.
Cách Outbox Pattern hoạt động
Ý tưởng cốt lõi: thay vì gửi message trực tiếp, bạn biến việc "gửi message" thành một bản ghi trong chính database của mình, rồi để một tiến trình khác lo việc gửi thật sự. Cụ thể có ba bước:
- Bước 1: Trong một transaction duy nhất, bạn vừa lưu dữ liệu nghiệp vụ, vừa ghi thông tin message vào một bảng riêng gọi là bảng
outbox(nằm trong cùng database). - Bước 2: Một tiến trình nền, thường gọi là message relay, định kỳ quét bảng outbox, lấy ra các message chưa gửi rồi gửi chúng tới đích thật sự (message broker, API bên ngoài...).
- Bước 3: Sau khi gửi thành công, message relay đánh dấu message đã xử lý (hoặc xóa khỏi bảng outbox).
Vì bước 1 nằm trong một transaction database bình thường, bạn được đảm bảo tính nguyên tử (atomicity) sẵn có của database: hoặc cả đơn hàng lẫn message đều được lưu, hoặc không cái nào được lưu cả. Việc gửi message thật sự được tách ra khỏi transaction nghiệp vụ, nên nó không còn là điểm gây mất nhất quán nữa.
Ví dụ cụ thể
Giả sử bạn có bảng orders và bảng outbox như sau:
-- Bảng đơn hàng
CREATE TABLE orders (
id UUID PRIMARY KEY,
customer_id UUID,
total_amount DECIMAL,
status VARCHAR(50),
created_at TIMESTAMP
);
-- Bảng outbox
CREATE TABLE outbox (
id UUID PRIMARY KEY,
event_type VARCHAR(100),
payload JSONB,
created_at TIMESTAMP,
processed_at TIMESTAMP NULL
);
Khi tạo đơn hàng mới, thay vì gọi thẳng service gửi email, bạn ghi cả hai bản ghi trong cùng một transaction:
BEGIN TRANSACTION;
-- Lưu đơn hàng
INSERT INTO orders (id, customer_id, total_amount, status, created_at)
VALUES ('123e4567-e89b-12d3-a456-426614174000', 'cust_001', 100.00, 'confirmed', NOW());
-- Ghi event vào outbox
INSERT INTO outbox (id, event_type, payload, created_at)
VALUES ('456e7890-e89b-12d3-a456-426614174001', 'order_created',
'{"order_id": "123e4567-e89b-12d3-a456-426614174000", "customer_email": "customer@example.com"}',
NOW());
COMMIT;
Sau khi transaction commit thành công, message relay (có thể là một job chạy mỗi vài giây, hoặc một tiến trình đọc transaction log của database bằng công nghệ CDC như Debezium) sẽ đọc các dòng trong outbox có processed_at IS NULL, gửi payload đó đến message broker hoặc gọi API gửi email, rồi cập nhật lại processed_at.
Analogy đời thường: nghĩ tới thư mục "Outbox" trong ứng dụng email của bạn. Khi bạn bấm gửi mà mạng đang chập chờn, email không biến mất, nó nằm trong Outbox chờ đến khi có mạng thì tự gửi lại. Bảng outbox trong pattern này hoạt động y hệt vậy: message được "cất" an toàn ngay tại chỗ trước, việc gửi thật sự là chuyện xử lý sau.
Lợi ích của Outbox Pattern
- Tính nhất quán dữ liệu: vì dữ liệu nghiệp vụ và outbox message nằm trong cùng một transaction, bạn đảm bảo hoặc cả hai đều được lưu, hoặc cả hai đều thất bại.
- Khả năng chịu lỗi: nếu hệ thống bên ngoài tạm thời không khả dụng, message vẫn nằm an toàn trong outbox và sẽ được gửi lại sau, không bị mất.
- Đảm bảo delivery: message được gửi ít nhất một lần (at-least-once delivery), không có event nào bị bỏ sót.
Cạm bẫy và thực tế cần lưu ý
- Message có thể gửi trùng: nếu message relay gặp sự cố ngay sau khi gửi thành công nhưng trước khi kịp đánh dấu
processed_at, lần chạy sau nó sẽ gửi lại message đó. Vì vậy hệ thống nhận bắt buộc phải xử lý idempotent (nhận trùng vẫn ra kết quả đúng), ví dụ dựa vàoidcủa event để bỏ qua bản ghi đã xử lý. - Bảng outbox phình to theo thời gian: nếu không dọn dẹp, bảng này sẽ tăng trưởng vô hạn. Bạn cần job xóa (hoặc archive) các message đã xử lý sau một khoảng thời gian giữ nhất định, tương tự việc dọn log cũ.
- Chọn cách đọc outbox: có hai hướng phổ biến. Polling (job quét bảng theo chu kỳ) đơn giản để triển khai nhưng thêm độ trễ và tải lên database. Đọc transaction log qua CDC (ví dụ Debezium) gần thời gian thực hơn nhưng phức tạp vận hành hơn. Chọn hướng nào tùy vào yêu cầu độ trễ và nguồn lực đội vận hành.
- Thứ tự message không phải lúc nào cũng được đảm bảo nếu bạn scale message relay ra nhiều instance chạy song song mà không có cơ chế khóa hoặc phân vùng theo khóa nghiệp vụ.
Tóm tắt
- Ghi database và gửi message ra ngoài là hai việc độc lập, không thể tự nhiên atomic cùng nhau, đó là bài toán ghi kép (dual write problem).
- Outbox Pattern gộp "ý định gửi message" vào cùng transaction với dữ liệu nghiệp vụ, thông qua một bảng outbox.
- Một tiến trình nền (message relay) đọc bảng outbox và gửi message thật sự đi sau đó.
- Đổi lại, bạn phải chấp nhận at-least-once delivery và tự lo idempotency phía consumer, cộng thêm việc dọn dẹp bảng outbox.
Nguồn tham khảo
- Chris Richardson - Pattern: Transactional outbox (microservices.io)
- Debezium docs - Outbox Event Router (ví dụ triển khai relay bằng CDC)
- Kai