Hai mươi giờ năm phút, tối mười một tháng mười một

Đỉnh tải năm của một cổng thanh toán Việt Nam. Hàng triệu lệnh giao dịch chạy qua hệ thống mỗi phút. Trên dashboard giám sát, biểu đồ TPS chạy gần đường giới hạn thiết kế. Hệ thống đang hoạt động đúng theo dự kiến cho ngày 11/11.

Ở phút thứ ba của giờ đỉnh, biểu đồ tỷ lệ timeout nhảy lên một mức bất thường. 0.3% lệnh bị timeout trong cửa sổ ba mươi giây. Trong bối cảnh lưu lượng cao điểm, con số đó tương đương hàng chục nghìn giao dịch. Mỗi giao dịch là một câu chuyện riêng: một khách hàng đã bấm "Thanh toán" trên ứng dụng thương mại điện tử, đã thấy màn hình quay, đã thấy thông báo "Giao dịch không thành công", đã nhìn vào số dư tài khoản và thấy đã bị trừ tiền.

Trong vòng năm phút, customer service nhận hàng nghìn ticket cùng nội dung: "Tôi bị trừ tiền nhưng đơn hàng chưa cập nhật". Đội operations chạy lệnh reconciliation thủ công, tra cứu từng giao dịch. Trong vòng hai giờ, mọi giao dịch được khôi phục về trạng thái đúng. Không ai mất tiền vĩnh viễn. Nhưng niềm tin khách hàng đã bị mài mòn một chút. Một số khách hàng sẽ chuyển sang cổng thanh toán đối thủ trong những lần mua sắm tiếp theo.

Sau ba ngày điều tra, nguyên nhân được ghi nhận trong báo cáo: một xung điện vài chục microsecond từ tủ điều hoà của khối office tầng kế bên, đẩy qua đường nguồn chung của khu kỹ thuật, gây "ho" trên một bộ load balancer ngay tại đỉnh tải. Bộ load balancer không hỏng, không reboot, không alarm. Nó chỉ "ngạt" trong nửa giây và bỏ qua một số lệnh đang trong hàng đợi.

Trên báo cáo hàng tuần gửi Ban Tổng giám đốc, có một dòng "Sự cố tỷ lệ timeout bất thường, 0.3% trong cửa sổ 30 giây tại đỉnh tải 11/11" với câu hỏi tiếp theo: "Sẽ phòng ngừa lại bằng cách nào?".

Bốn loại "rác điện" đặc thù của môi trường tài chính

Cao điểm tải có chu kỳ rất đặc trưng. Tết Nguyên đán có cao điểm chi trả lương Tết. Ngày 25 hằng tháng có cao điểm chi trả lương cho doanh nghiệp. Ngày 11/11 và Black Friday có cao điểm thương mại điện tử. Tuần cuối tháng có cao điểm batch processing đóng sổ. Tuần đầu tiên quý mới có cao điểm tính NAV và công bố. Mùa làm thuế quý I có cao điểm xử lý hồ sơ tại các công ty bảo hiểm. Mùa bão lũ có cao điểm yêu cầu giám định thiệt hại bảo hiểm. Đầu giờ phiên giao dịch chứng khoán có cao điểm matching lệnh. Cuối phiên có cao điểm clearing và settlement. Mỗi cao điểm tạo ra một kiểu áp lực khác nhau lên hạ tầng số.

Theo dữ liệu kỹ thuật ngành điện sạch quốc tế, khoảng 80% sự cố điện ảnh hưởng đến thiết bị điện tử nhạy được sinh ra từ chính bên trong toà nhà, không phải từ lưới ngoài. Toà nhà trụ sở của một ngân hàng thương mại lớn thường tích hợp data center thứ cấp với khu văn phòng nhân viên, sảnh giao dịch, khu vực ATM tự phục vụ. Tất cả chia sẻ trục cấp điện. Khi văn phòng tầng cao tan ca và chiller chuyển công suất, một xung lan ngược có thể đến tận rack thiết bị tại tầng kỹ thuật.

Đa địa điểm với phụ thuộc liên kết. Một ngân hàng có trụ sở chính, data center chính, data center dự phòng, hàng trăm chi nhánh, hàng nghìn ATM. Một công ty bảo hiểm có HQ, văn phòng vùng, chi nhánh đại diện, văn phòng đại lý. Một công ty quản lý quỹ có sàn giao dịch chính, văn phòng quan hệ nhà đầu tư, custodian bank kết nối. Mỗi điểm có hồ sơ phụ tải riêng. Một sự cố nguồn tại chi nhánh tỉnh có thể không gây mất kết nối ngay (data đã đi qua DC chính), nhưng có thể làm corrupt audit log nội bộ tại chi nhánh, để lại lỗ hổng trong audit chain mà chỉ phát hiện được khi kiểm toán định kỳ.

Sét lan truyền tại chi nhánh tỉnh và phòng giao dịch khu vực giông bão. Khác với data center chính thường được bảo vệ kỹ, chi nhánh và phòng giao dịch của ngân hàng tại các tỉnh miền Trung, Tây Nguyên, đồng bằng sông Cửu Long thường có thiết kế chống sét cơ bản theo quy chuẩn xây dựng. Một cú sét cách chi nhánh vài cây số đủ tạo xung lan truyền đến workstation tại quầy giao dịch và rack switch tầng tủ kỹ thuật chi nhánh. Lớp toà nhà chặn được phần cú đỉnh; phần năng lượng dư đi tiếp vào nội bộ.

Chuyển nguồn giữa lưới và máy phát. Trụ sở chính của định chế tài chính có máy phát điện dự phòng cao cấp, ATS chuyển nguồn rất nhanh. Nhưng chuyển nguồn dù nhanh vẫn tạo ra một chu kỳ transient trên đường ra. Trong cửa sổ chuyển nguồn, một giao dịch đang trong middle-of-flight có thể nhận một bit error nhẹ; UPS giữ cho thiết bị không reboot nhưng không lọc được transient dạng sóng.

Hai câu hỏi từ Giám đốc Hạ tầng IT

Câu hỏi thứ nhất: Mainframe core banking đã có UPS công nghiệp + biến áp cách ly chuyên dụng, tại sao cần thêm tầng lọc nguồn?

Câu trả lời nằm ở việc bảo vệ điện cho mainframe core banking và bảo vệ điện cho hạ tầng IT bên ngoài mainframe là hai bài toán khác nhau.

UPS công nghiệp và biến áp cách ly cho mainframe core banking được spec bởi chính nhà sản xuất (IBM, Unisys, các đối tác hardware tương đương), thường được hiệu chuẩn riêng cho dải công suất và profile tải của mainframe. Đây là bảo vệ tốt cho lớp thiết bị chuyên dụng spec nhà sản xuất.

Nhưng workflow nghiệp vụ tài chính không chỉ chạy trên mainframe. Có hàng trăm server phụ trợ chạy quanh mainframe: audit log server, batch coordination, message queue, monitoring stack, ETL pipeline, integration middleware. Có hàng nghìn endpoint tại chi nhánh: workstation giao dịch viên, KIOSK khách hàng, máy đọc thẻ, camera, queue management. Có hệ thống call center, video conferencing, hybrid board meeting. Toàn bộ chuỗi này không nằm trong scope UPS của mainframe.

Theo khuyến nghị của chính các nhà sản xuất UPS lớn nhất thế giới, cách phối hợp đúng là cascade một thiết bị bảo vệ chống xung với UPS. Cấu hình điển hình: thiết bị lọc nguồn chuyên dụng đặt phía thượng nguồn UPS cho các tải IT không thuộc spec mainframe, để bảo vệ chính UPS và lọc sạch đầu vào trước khi UPS phân phối.

UPS giữ điện không tắt. Lọc nguồn chuyên dụng giữ điện sạch. Toàn bộ chuỗi IT nghiệp vụ tài chính cần cả hai.

Câu hỏi thứ hai: Data Center của chúng tôi đạt Uptime Tier III với cascade IEEE C62.41 đầy đủ, tại sao chưa đủ?

Uptime Tier III là một chuẩn cao và là kiến trúc đúng cho data center có yêu cầu fault-tolerant. Cascade IEEE Type 1/2/3 giải quyết bài toán chống sét và xung lưới có nguồn từ ngoài toà nhà.

Tuy nhiên, Tier III áp dụng cho bên trong ranh giới data center. Workflow nghiệp vụ của một định chế tài chính có một phần rất lớn xảy ra bên ngoài data center: tại trụ sở văn phòng (workstation, hybrid meeting, board room), tại chi nhánh (quầy giao dịch, KIOSK, ATM cluster), tại văn phòng vùng và đại lý, tại trung tâm điều hành và contact center. Phần bên ngoài này không được phủ bởi chuẩn Tier III của DC.

Hơn nữa, dữ liệu ngành cho thấy phần lớn xung điện làm hỏng thiết bị điện tử nhạy được sinh ra từ bên trong toà nhà, không phải từ lưới ngoài. Tại trụ sở chính nơi văn phòng + DC thứ cấp + sảnh giao dịch + khu vực ATM cùng chia sẻ một hệ trục điện, cascade IEEE bảo vệ rất tốt cho phần "từ ngoài vào", nhưng không nhìn thấy xung "từ trong tự sinh" của HVAC, thang máy, hệ chiếu sáng, biến tần, máy đếm tiền tại sảnh.

Tầng lọc nguồn chuyên dụng cho lớp hạ tầng số được lắp tại điểm cuối, ở các tủ phân phối phục vụ trực tiếp rack thiết bị nhạy. Nó nhìn thấy mọi xung đi vào tải, dù xung có nguồn từ ngoài hay từ trong toà nhà. Tier III của DC không thay thế được điều này, vì Tier III được thiết kế cho bài toán khác.

Bảy cụm hạ tầng số cần được bảo vệ

Cụm Server phụ trợ Core Banking và Core Insurance. Audit log server, batch processing coordinator, message queue, integration middleware, monitoring stack, ETL pipeline, regulatory reporting server. Đây là các server nằm ngoài scope UPS dành riêng cho mainframe nhưng có vai trò quyết định trong chuỗi nghiệp vụ. Một corrupted log trong audit server đồng nghĩa với một lỗ hổng pháp lý trong audit chain định kỳ. Lọc nguồn cho cụm này lắp ở tủ phân phối điện của Trung tâm Tích hợp Hệ thống.

Cụm Hạ tầng IT chi nhánh và phòng giao dịch. Workstation giao dịch viên. KIOSK tự phục vụ. Máy đọc thẻ và bộ điều khiển access control quầy. Hệ thống xếp hàng và lấy số. Digital signage hiển thị tỷ giá và sản phẩm. Camera giám sát compliance. Switch và router của chi nhánh. Hệ thống Pro AV cho phòng họp nội bộ chi nhánh. Cụm này phân tán địa lý, có quy mô lớn, và đặc biệt rủi ro với sét lan truyền tại các chi nhánh tỉnh.

Cụm Phòng họp Ban Điều hành và Hội đồng Quản trị. Đây là cụm có yêu cầu cao nhất về tính ổn định và bảo mật trong toàn bộ hạ tầng nội bộ định chế. Hệ hội nghị truyền hình kết nối với chi nhánh và văn phòng vùng. Hệ biểu quyết điện tử cho phiên họp HĐQT và ĐHĐCĐ thường niên. Hệ Pro AV với màn LED, micro hội nghị, hệ phân vùng âm thanh. Bộ ghi âm và ghi hình phiên họp theo quy định lưu trữ. Hệ tích hợp Board Management platform.

Một sự cố trong phiên họp HĐQT về một quyết định có giá trị hàng nghìn tỷ đồng có thể tạo tranh chấp pháp lý nếu biên bản ghi âm bị corrupt. Lọc nguồn cho cụm này tuân theo cùng triết lý kiến trúc mà các định chế quốc tế lớn áp dụng cho boardroom của mình.

Cụm Trung tâm Điều hành Vận hành. NOC giám sát hạ tầng IT 24/7. Phòng Vận hành An toàn Thông tin (SOC) giám sát sự kiện an ninh. Trung tâm Vận hành Rủi ro (Risk Operations Center) giám sát giao dịch khả nghi và rủi ro thị trường. Phòng Điều phối Sự cố nghiệp vụ. Video wall điều hành, workstation chuyên trách, server xử lý dữ liệu giám sát. Hệ thống cảnh báo và escalation. Cụm này có yêu cầu uptime cao nhất sau mainframe, vì sự cố ở đây đồng nghĩa với "mắt mù" trong tình huống cần phản ứng nhanh nhất.

Cụm Mạng và switch của hệ ATM. Lưu ý phạm vi: bản thân máy ATM có spec nguồn riêng từ nhà sản xuất, không thuộc bài viết này. Nhưng mạng kết nối giữa cluster ATM tại chi nhánh, switch của khu vực giao dịch tự động, bộ điều khiển access control khu vực, camera giám sát ATM, hệ thống bảo mật vật lý khu vực ATM đều thuộc lớp hạ tầng số hỗ trợ. Một sự cố nhỏ trên switch khu vực có thể làm cluster ATM mất kết nối tạm thời với DC chính, gây trải nghiệm xấu cho khách hàng đang cần tiền mặt khẩn cấp.

Cụm Cổng thanh toán, payment switch, hệ giao dịch. Đối với cổng thanh toán, công ty chứng khoán, sàn giao dịch, công ty quản lý quỹ: cụm này là "ruột" của định chế. Payment processor, transaction switch, message router với mạng quốc gia (NAPAS) và quốc tế (Visa, Mastercard, SWIFT), engine matching lệnh, hệ thống tính NAV, hệ thống reconciliation. Yêu cầu lọc nguồn cho cụm này tương đương với data center cấp 1, áp dụng nguyên tắc cascade SPD + UPS đầy đủ.

Cụm Call Center, Contact Center và Hệ tương tác khách hàng. Workstation tổng đài viên với tai nghe IP phone. Server xử lý cuộc gọi và ghi âm theo quy định lưu trữ. Hệ IVR và voicebot. Bộ codec hội nghị cho điểm cầu khu vực. Hệ thống dashboard giám sát call center. Đối với công ty bảo hiểm và công ty tài chính tiêu dùng, đây có thể là cụm có quy mô lớn nhất về số lượng workstation, đặc biệt trong mùa bão lũ hoặc mùa kê khai bảo hiểm. Một sự cố giữa cao điểm có thể đẩy hàng trăm khách hàng đang nói chuyện về việc bồi thường vào trạng thái cụt cuộc gọi.

Tầng quản trị thông minh cho định chế vận hành 24/7

Ngắt khẩn cấp khi điện áp ngoài ngưỡng. Khi điện áp lưới tụt sâu hoặc vọt cao bất thường, thiết bị tự động ngắt tải xuống trong vài chu kỳ, sau đó tự khôi phục khi điện trở lại bình thường. Ngưỡng có thể điều chỉnh theo từng cụm. Đối với batch processing đang chạy tính NAV cho hơn hai trăm quỹ với deadline công bố pháp lý, một khoảnh khắc điện áp bất thường đủ làm corrupt phiên batch và phải chạy lại toàn bộ. Năng lực này bảo vệ tính toàn vẹn của các phiên xử lý có deadline pháp lý cứng.

Đo lường và ghi nhật ký chất lượng điện thời gian thực với log không sửa được. Tham số điện được ghi với mốc thời gian, lưu trong bộ nhớ nội bộ thiết bị, đẩy về log server on-premise. Khi có sự cố nghi vấn liên quan đến nguồn (timeout đột biến trên payment switch, ticket khách hàng tăng vọt vào một khoảng thời gian cụ thể, audit phát hiện log gap), đội kỹ thuật có dữ liệu để truy vết với mốc thời gian khớp với log của các hệ nghiệp vụ. Nhật ký này cũng phục vụ trực tiếp cho kiểm toán định kỳ của Ngân hàng Nhà nước, Bộ Tài chính, Uỷ ban Chứng khoán Nhà nước, và Cục An toàn Thông tin.

Điều khiển và mở rộng qua mạng nội bộ với quyền truy cập phân vai. Bật tắt từng outlet qua giao diện web nội bộ, có RBAC (role-based access control), có log đầy đủ mọi thao tác. Lập lịch tự động cho thiết bị không cần chạy 24/7 (phòng họp chi nhánh ngoài giờ giao dịch). Reset từ xa khi sự cố nhỏ xảy ra trong đêm, tránh phải điều cán bộ kỹ thuật đến tận chi nhánh tỉnh trong điều kiện thời tiết xấu.

Năm vai trò của Bá Hùng

Tư vấn kiến trúc giải pháp. Mỗi định chế tài chính có cấu hình lưới điện, kiến trúc đa địa điểm, hồ sơ tải nghiệp vụ, yêu cầu compliance riêng. Đội ngũ Bá Hùng khảo sát hiện trạng, xác định điểm tới hạn theo bảy cụm, phân định rõ ranh giới với vùng mainframe và ATM (thuộc nhà sản xuất thiết bị) và vùng toà nhà chung (thuộc MEP). Đề xuất bố trí thiết bị theo nguyên tắc tập trung đầu tư vào nơi rủi ro cao nhất, có pha rollout từ trụ sở chính đến mạng lưới chi nhánh.

Phân phối thiết bị chuyên nghiệp. Đảm bảo chuỗi sản phẩm đồng bộ. Không ít định chế đầu tư hệ thống core trị giá hàng chục triệu đô nhưng dùng ổ cắm chống sét phổ thông ở khâu cuối, vô tình làm vô hiệu hoá lớp bảo vệ phía sau. Bá Hùng làm việc trực tiếp với đối tác công nghệ Bắc Mỹ, đảm bảo thiết bị nhập khẩu chính ngạch, đầy đủ giấy tờ xuất xứ G7 phục vụ thủ tục mua sắm theo Luật Đấu thầu và yêu cầu compliance về nguồn gốc thiết bị.

Tích hợp và triển khai có ý thức bảo mật. Phối hợp với MEP toà nhà, với Phòng An toàn Thông tin, với Phòng Quản trị Rủi ro Vận hành ngay từ giai đoạn thiết kế. Triển khai theo nguyên tắc tách biệt mạng AV và mạng IT nghiệp vụ với mạng văn phòng. Ưu tiên hạ tầng on-premise cho dữ liệu quản trị. Để lại audit log đầy đủ và bất biến cho công tác kiểm toán định kỳ. Lựa chọn thiết bị có thể truy xuất chuỗi cung ứng nếu Phòng An toàn Thông tin yêu cầu kiểm tra.

Bảo hành và bảo trì dài hạn. Thuộc nhóm "lắp một lần, vận hành nhiều năm". Bá Hùng cam kết bảo hành theo chuẩn nhà sản xuất, dịch vụ kiểm tra định kỳ trùng với chu kỳ kiểm toán nội bộ và kiểm toán cơ quan quản lý, sẵn linh kiện thay thế trong nước, đồng hành suốt vòng đời mười năm trở lên. Đối với định chế tài chính, đây là cam kết đặc biệt quan trọng vì đầu tư hạ tầng có chu kỳ rà soát hiệu quả lâu dài.

Phản ứng nhanh khi sự kiện trọng đại có bất ổn về nguồn. Đội ngũ Bá Hùng có sẵn kịch bản ứng phó cho từng tình huống: phiên ĐHĐCĐ thường niên với hàng nghìn cổ đông kết nối, cao điểm thương mại điện tử 11/11 và Black Friday, đợt chi trả lương Tết, năm tài chính kết thúc, cú khuyến mãi của ngân hàng có thể tạo cao điểm tải tự nhiên. Cam kết có mặt trong khung giờ ngắn nhất theo thoả thuận dịch vụ. Hiểu rằng định chế tài chính không có khoảng thời gian "có thể chờ đến mai" cho các sự kiện đã được lên lịch và được công bố cho cổ đông và khách hàng.

Sổ cái không có bản nháp.

Một giao dịch đã được commit không thể "lùi lại". Một audit log đã được ghi không thể "viết lại". Một phiên họp HĐQT đã được biên bản hoá không thể "đổi ý". Một báo cáo NAV đã công bố không thể "rút lại không kèm thông cáo điều chỉnh". Một SMS thông báo trừ tiền đã gửi đến điện thoại khách hàng không thể "thu hồi".

Định chế tài chính tồn tại được vì khách hàng tin rằng mỗi điểm dữ liệu là chính xác. Số dư đúng. Lệnh chuyển đúng. Báo cáo đúng. Ghi nhận pháp lý đúng. Niềm tin đó được xây dựng qua nhiều năm và có thể bị xói mòn bởi những sự cố tưởng chừng rất nhỏ. Không cần phải mất tiền vĩnh viễn để mất khách. Chỉ cần một lần khách hàng nhìn vào tài khoản và nghi ngờ "tôi có bị trừ nhầm không", niềm tin đã bị thử thách.

Một xung điện vài chục microsecond không gây hại ai trực tiếp. Nhưng nó có thể làm "ho" một bộ load balancer giữa cao điểm xử lý 11/11, để hàng chục nghìn khách hàng nhận thông báo "Giao dịch không thành công" trong khi tiền đã bị trừ. Có thể làm corrupt một audit log buffer trong giờ cuối ngày, để lại một gap mà ba tháng sau mới phát hiện trong kiểm toán nội bộ. Có thể làm reboot bộ codec hội nghị truyền hình giữa phiên họp HĐQT về một quyết định đầu tư trị giá hàng nghìn tỷ. Có thể làm "ngạt" engine tính NAV ngay trước deadline công bố 18 giờ chiều của ngày làm việc cuối tháng.

Không có sự cố nào trong số đó là mất điện. Tất cả đều xảy ra trong khoảnh khắc mà nguồn điện vẫn đang được cấp đầy đủ, nhưng dạng sóng không sạch trong vài chục microsecond.

Một lớp nền vô hình, đứng sau mỗi giao dịch thanh toán, mỗi audit log được ghi, mỗi phiên họp HĐQT được biên bản, mỗi cuộc gọi của khách hàng tới tổng đài bồi thường bảo hiểm, mỗi báo cáo NAV được công bố. Khi mọi sự cố không xảy ra, đó không phải may mắn. Đó là kết quả của một tầng phòng thủ thầm lặng đứng sẵn từ phút thiết bị được cấp điện, kéo dài suốt vòng đời mười năm trở lên.

Liên hệ tư vấn khảo sát hạ tầng số cho định chế tài chính: Đội ngũ kỹ sư Bá Hùng sẵn sàng làm việc trực tiếp với Phòng Hạ tầng IT, Phòng An toàn Thông tin, Phòng Quản trị Rủi ro Vận hành, Phòng Quản trị Cơ sở vật chất và đơn vị tư vấn MEP của Quý định chế để đánh giá hiện trạng lớp hạ tầng số hỗ trợ vận hành, phân định rõ ranh giới với vùng thiết bị chuyên dụng có spec nhà sản xuất (mainframe, ATM, máy đếm tiền) và vùng toà nhà chung (thuộc MEP), đề xuất phương án kiến trúc giải pháp phù hợp với đặc thù vận hành, quy mô mạng lưới và yêu cầu compliance, từ ngân hàng thương mại tier 1 đến công ty fintech, từ trụ sở chính đến mạng lưới chi nhánh tỉnh. Mọi thông tin trao đổi trong quá trình khảo sát được giữ kín theo cam kết bảo mật chuyên ngành tài chính.

 Công Ty TNHH Thương Mại Công Nghệ Bá Hùng | bahung.com