Database Migration

Database Migration là quá trình chuyển đổi cơ sở dữ liệu từ hệ thống hoặc cấu trúc này sang hệ thống khác với kế hoạch kiểm thử đồng bộ dữ liệu cutover và khôi phục rõ ràng.
Database Migration với AI: Đừng để một câu lệnh làm mất dữ liệu cả hệ thống
Hướng dẫn Database Migration an toàn khi dùng AI Coding: Expand–Contract, SQL Server, backfill dữ liệu, kiểm tra tương thích, backup, rollback và Go-live nhiều phiên bản.

Database Migration là gì? Cách chuyển đổi cơ sở dữ liệu an toàn

Database Migration là quá trình chuyển đổi cơ sở dữ liệu từ môi trường cấu trúc phiên bản hoặc hệ quản trị hiện tại sang một trạng thái đích mới.

Nghe khá đơn giản.

Copy database.

Xong.

Thực tế thường không như vậy.

Một database không chỉ có dữ liệu.

Nó còn có:

Schema.

Tables.

Indexes.

Primary Keys.

Foreign Keys.

Constraints.

Views.

Stored Procedures.

Functions.

Triggers.

Permissions.

Sequences.

Jobs.

Và những ứng dụng đang phụ thuộc vào tất cả những thứ đó.

Vì vậy Database Migration trước hết là một bài toán thay đổi hệ thống.

Không chỉ là bài toán sao chép dữ liệu.

Database Migration có thể xảy ra trong nhiều tình huống.

Chuyển database sang server mới.

Chuyển từ on-premises lên cloud.

Nâng cấp phiên bản database.

Chuyển từ SQL Server sang PostgreSQL.

Chuyển từ MySQL sang PostgreSQL.

Thay đổi schema khi triển khai phiên bản ứng dụng mới.

Tách một database monolith thành nhiều database.

Gộp dữ liệu từ nhiều hệ thống.

Hoặc chuyển từ một kiến trúc lưu trữ sang kiến trúc khác.

Những trường hợp đó đều có thể được gọi là Database Migration nhưng độ khó rất khác nhau.

Homogeneous Migration là migration giữa hai hệ thống database tương tự hoặc cùng engine.

Ví dụ:

SQL Server sang SQL Server.

PostgreSQL sang PostgreSQL.

MySQL sang MySQL.

Schema và kiểu dữ liệu thường tương thích hơn.

Nhưng điều đó không có nghĩa migration chắc chắn dễ.

Version khác nhau.

Collation khác.

Extension khác.

Configuration khác.

Và lượng dữ liệu lớn

vẫn có thể tạo ra rủi ro.

Heterogeneous Migration là migration giữa các database engine khác nhau.

Ví dụ:

Oracle sang PostgreSQL.

SQL Server sang PostgreSQL.

MySQL sang Aurora PostgreSQL.

Lúc này bài toán không còn đơn giản là copy schema.

Cần xem xét:

Data type mapping.

Stored procedure syntax.

Function.

Trigger.

Sequence.

Identity.

Transaction behavior.

Collation.

Case sensitivity.

SQL dialect.

Và behavior của application.

Schema Migration và Data Migration không phải một.

Schema Migration thay đổi cấu trúc dữ liệu.

Ví dụ:

Thêm column.

Đổi kiểu dữ liệu.

Tạo table.

Thêm index.

Thay constraint.

Trong khi Data Migration tập trung vào dữ liệu nằm bên trong cấu trúc đó.

Ví dụ:

Copy customer từ database cũ sang database mới.

Transform mã trạng thái.

Merge duplicate records.

Hoặc chuyển dữ liệu sang mô hình mới.

Một Database Migration thực tế thường cần cả hai.

Đầu tiên target phải có cấu trúc phù hợp.

Sau đó dữ liệu mới được chuyển sang.

Với heterogeneous migration còn có thể phải chuyển đổi database code.

Database Migration cũng khác Backup và Restore.

Backup tạo bản sao có thể phục hồi của dữ liệu.

Restore đưa dữ liệu từ backup trở lại.

Migration có mục tiêu thay đổi trạng thái hệ thống.

Một migration có thể sử dụng backup và restore như một kỹ thuật thực hiện.

Nhưng hai khái niệm không đồng nghĩa.

Backup không phải Migration Plan.

Đây là một điểm khá quan trọng.

Có file backup không có nghĩa chắc chắn rollback được.

Backup phải:

Tồn tại.

Đọc được.

Restore được.

Và restore trong khoảng thời gian nghiệp vụ chấp nhận được.

Restore Test quan trọng hơn ảnh chụp màn hình thư mục backup.

Một file .bak 200 GB nằm yên trong ổ đĩa trông khá yên tâm.

Cho tới ngày cần restore.

Database Migration nên bắt đầu bằng assessment.

Trước khi viết script hãy biết mình đang chuyển cái gì.

Cần inventory:

Database.

Schema.

Table.

Record volume.

Data types.

Dependencies.

Indexes.

Foreign Keys.

Stored Procedures.

Functions.

Triggers.

Jobs.

Users.

Permissions.

Application connection.

Integration.

Không có inventory thì migration plan rất dễ bỏ sót thứ tưởng rằng không tồn tại.

Application Dependency thường là phần dễ bị đánh giá thấp.

Database có thể migrate thành công.

Nhưng application vẫn lỗi.

Vì code đang phụ thuộc:

Một stored procedure cũ.

Một column đã đổi tên.

Một collation cụ thể.

Một query sử dụng syntax riêng của database engine.

Một identity behavior.

Hoặc một connection string cũ.

Database xanh không có nghĩa hệ thống xanh.

Data Mapping cần được xác định trước.

Source field nào sang target field nào?

Data type có thay đổi không?

NULL được xử lý thế nào?

Default value là gì?

Code cũ có cần map sang code mới không?

Date timezone được giữ thế nào?

Character encoding có thay đổi không?

Relationship được bảo toàn ra sao?

Những câu hỏi này nên được viết thành mapping rõ ràng.

Đừng sửa dữ liệu trong đầu khi migration.

Nếu một giá trị từ hệ thống cũ được chuyển thành giá trị khác trong hệ thống mới phải có rule.

Rule đó cần:

Document.

Review.

Test.

Và có thể truy vết.

Data Cleansing và Database Migration cũng không hoàn toàn giống nhau.

Migration có thể là cơ hội để làm sạch dữ liệu.

Nhưng việc vừa migrate vừa thay đổi hàng loạt business meaning làm rủi ro tăng đáng kể.

Nếu có thể nên tách rõ:

Dữ liệu nào được copy nguyên trạng?

Dữ liệu nào được transform?

Dữ liệu nào được loại bỏ?

Dữ liệu nào được merge?

Và tại sao?

Full Load là một chiến lược cơ bản.

Toàn bộ dữ liệu hiện tại được chuyển từ source sang target.

Phương pháp này đơn giản để hiểu.

Nhưng nếu hệ thống vẫn tiếp tục có giao dịch trong khi migration chạy thì dữ liệu source có thể thay đổi trước khi quá trình hoàn tất.

Đó là lúc cần nghĩ tới synchronization.

Change Data Capture hay CDC có thể được sử dụng để chuyển những thay đổi xảy ra sau hoặc trong quá trình Full Load.

Một mô hình migration phổ biến là:

Full Load.

Sau đó replicate các change.

Đợi source và target gần bắt kịp.

Rồi mới cutover.

Cách này giúp giảm downtime trong nhiều tình huống.

Nhưng Near-Zero Downtime không có nghĩa Zero Risk.

Càng cố giữ hai hệ thống hoạt động đồng thời càng cần kiểm soát:

Replication lag.

Ordering.

Duplicate.

Missing transaction.

Schema changes.

Conflict.

Và cutover point.

Offline Migration thường dừng hệ thống hoặc dừng ghi dữ liệu trong thời gian chuyển đổi.

Ưu điểm là logic đơn giản hơn.

Source ngừng thay đổi.

Copy.

Validate.

Switch.

Nhược điểm là downtime.

Online Migration cố giữ source hoạt động trong phần lớn thời gian migration.

Dữ liệu mới được replicate liên tục.

Cuối cùng mới thực hiện một cutover window ngắn.

Phức tạp hơn.

Nhưng phù hợp hơn với hệ thống khó chấp nhận downtime dài.

Không có chiến lược tốt nhất cho mọi hệ thống.

Một website nội bộ có thể chấp nhận downtime một giờ.

Một hệ thống booking hoặc thanh toán có thể không chấp nhận điều đó.

Business requirement phải đi trước tool.

RPO và RTO nên được xác định.

RPO trả lời:

Mức dữ liệu tối đa có thể chấp nhận mất là bao nhiêu?

RTO trả lời:

Hệ thống có thể ngừng hoạt động bao lâu?

Hai con số này ảnh hưởng trực tiếp tới migration strategy và rollback plan.

Cutover là thời điểm quyết định.

Đây là lúc traffic hoặc workload được chuyển từ database cũ sang database mới.

Cutover cần checklist cụ thể.

Ví dụ:

Source đã dừng ghi chưa?

Replication lag bằng bao nhiêu?

Final data sync đã hoàn tất chưa?

Validation đã đạt chưa?

Application connection đã đổi chưa?

Smoke Test đã chạy chưa?

Monitoring có hoạt động không?

Rollback trigger là gì?

Đừng quyết định rollback bằng cảm giác.

Trước Go-live nên xác định rõ điều kiện.

Ví dụ:

Error rate vượt ngưỡng.

Data reconciliation không đạt.

Latency vượt ngưỡng.

Critical transaction thất bại.

Replication mất consistency.

Hoặc application không thể thực hiện business flow quan trọng.

Rollback Plan phải tồn tại trước migration.

Không phải sau khi production lỗi mới họp xem rollback bằng cách nào.

Một rollback plan nên trả lời:

Quay lại hệ thống cũ như thế nào?

Dữ liệu phát sinh sau cutover xử lý ra sao?

Connection được trả lại thế nào?

Ai có quyền quyết định?

Thời gian tối đa để quyết định là bao lâu?

Rollback sau khi target đã nhận transaction mới khó hơn rollback trước khi mở traffic.

Đây là lý do cutover cần được xem như một boundary về dữ liệu.

Nếu cả source và target cùng nhận write mà không có chiến lược rõ ràng thì dữ liệu có thể phân kỳ.

Đến lúc đó rollback không còn là đổi connection string.

Nó trở thành một migration ngược.

Dual Write rất hấp dẫn.

Và cũng rất nguy hiểm.

Ý tưởng là application ghi cùng lúc vào source và target.

Nghe rất tiện.

Nhưng nếu:

Một bên ghi thành công.

Một bên thất bại.

Thì transaction consistency xử lý thế nào?

Retry có tạo duplicate không?

Ordering ra sao?

Đó là một bài toán distributed systems.

Không chỉ database migration.

Validation không nên chỉ đếm row.

Source có 10 triệu row.

Target cũng 10 triệu row.

Tốt.

Nhưng chưa đủ.

Có thể dữ liệu đã bị:

Mapping sai.

Truncated.

Encoding lỗi.

Relationship sai.

Timezone lệch.

Decimal mất precision.

Hoặc record thuộc nhầm customer.

Validation nên có nhiều lớp.

Row count.

Checksum khi phù hợp.

Aggregate.

Business totals.

Referential integrity.

Sample record.

Critical business query.

Và end-to-end transaction.

Business Reconciliation đặc biệt quan trọng.

Ví dụ migration hệ thống thương mại.

Không chỉ hỏi:

Có đủ order không?

Cần hỏi:

Tổng order bằng bao nhiêu?

Tổng payment bằng bao nhiêu?

Outstanding balance có khớp không?

Status distribution có giống không?

Transaction quan trọng có bị thiếu không?

Dữ liệu kỹ thuật đúng chưa chắc dữ liệu nghiệp vụ đúng.

Foreign Key và Referential Integrity cần kiểm tra.

Customer tồn tại nhưng order của customer mất relationship thì row vẫn còn.

Database vẫn có dữ liệu.

Nhưng hệ thống đã sai.

Migration Order cũng quan trọng.

Không thể luôn copy table theo alphabet.

Có thể cần:

Master trước.

Transaction sau.

Parent trước.

Child sau.

Hoặc tạm xử lý constraint theo chiến lược đã thiết kế.

Index có thể ảnh hưởng tốc độ migration.

Load lượng dữ liệu rất lớn vào target có đầy đủ index có thể chậm hơn đáng kể.

Một số migration strategy có thể tạo hoặc rebuild index sau khi bulk load.

Nhưng điều này phải được thiết kế cẩn thận.

Không nên xóa toàn bộ index chỉ vì đọc một mẹo trên Internet.

Performance Test nên được thực hiện trên target.

Dữ liệu đã đủ chưa?

Chưa.

Query có chạy nhanh không?

Index có phù hợp không?

Connection pool hoạt động ra sao?

Locking thế nào?

Execution plan có thay đổi không?

Capacity có đủ không?

Một database mới chứa đủ dữ liệu nhưng query chậm gấp mười lần vẫn chưa phải migration thành công.

Schema Compatibility cần kiểm tra cùng application version.

Đây là vấn đề rất hay gặp trong deployment.

Ứng dụng version mới cần column mới.

Ứng dụng version cũ chưa biết column đó.

Nếu deploy database và application không đúng thứ tự hệ thống có thể lỗi giữa chừng.

Backward-compatible migration giúp giảm rủi ro.

Ví dụ thay vì:

Xóa column cũ ngay.

Có thể:

Thêm column mới.

Deploy code hỗ trợ cả hai.

Backfill dữ liệu.

Chuyển application sang column mới.

Xác nhận ổn định.

Sau đó mới xóa column cũ ở release sau.

Expand and Contract là một pattern hữu ích cho loại thay đổi này.

Expand:

Thêm cấu trúc mới mà chưa phá cấu trúc cũ.

Migrate application và dữ liệu.

Contract:

Loại bỏ phần cũ khi không còn dependency.

Cách này giảm rủi ro breaking change trong deployment.

Database Migration trong CI/CD cần được quản lý như code.

Migration script nên:

Có version.

Nằm trong source control.

Review.

Test.

Được chạy theo thứ tự xác định.

Và có lịch sử.

Không nên thay đổi production database thủ công rồi vài tháng sau mới nhớ cập nhật script.

Migration script nên idempotent khi thiết kế cho trường hợp cần thiết.

Nghĩa là việc retry không tạo ra trạng thái sai hoặc duplicate ngoài ý muốn.

Nhưng không phải mọi migration đều có thể hoặc cần hoàn toàn idempotent.

Quan trọng là hiểu behavior khi script chạy lại.

AI Coding Agent làm Database Migration cần có guardrail.

AI có thể hỗ trợ:

Viết SQL migration.

So sánh schema.

Tạo rollback script.

Phát hiện dependency.

Viết validation query.

Nhưng không nên cho agent tự ý chạy migration trên production chỉ vì code compile thành công.

Database Migration là thay đổi có blast radius lớn.

Một câu SQL sai có thể ảnh hưởng hàng triệu record trong vài giây.

Vì vậy những thay đổi production cần:

Human review.

Backup phù hợp.

Test.

Permission control.

Audit.

Và rollback plan.

Generated SQL không phải bằng chứng migration an toàn.

Dù SQL được viết bởi developer AI ORM hay migration framework vẫn cần kiểm tra.

Đặc biệt với:

DROP.

ALTER lớn.

UPDATE không có WHERE phù hợp.

Data type conversion.

Index rebuild.

Long-running transaction.

Và thay đổi có lock table.

Migration nên được chạy thử trên dữ liệu đại diện.

Database dev chỉ có 100 record có thể chạy migration trong 0,2 giây.

Production có 100 triệu record có thể là câu chuyện hoàn toàn khác.

Test data phải đủ đại diện về:

Volume.

Distribution.

Relationship.

Edge case.

Và data quality.

Staging Migration rất đáng làm.

Có thể restore hoặc tạo một bản dữ liệu phù hợp trong môi trường staging rồi thực hiện toàn bộ quy trình:

Migration.

Timing.

Validation.

Application Test.

Rollback Test.

Nhờ đó migration production không phải lần đầu cả đội thử procedure.

Dry Run không phải lãng phí thời gian.

Nó là lúc phát hiện:

Script mất hai giờ thay vì mười phút.

Disk thiếu.

Index build quá lâu.

Permission thiếu.

Connection timeout.

Encoding lỗi.

Hoặc một table mà chẳng ai nhớ đang tồn tại.

Phát hiện trước Go-live thường rẻ hơn nhiều.

Observability cũng cần tồn tại trong migration.

Cần biết:

Đã xử lý bao nhiêu record?

Error bao nhiêu?

Replication lag thế nào?

Throughput bao nhiêu?

CPU.

Memory.

Disk.

Locks.

Database connections.

Và application error rate.

Không nên chạy một script ba giờ rồi cả đội nhìn terminal im lặng.

Security không được bỏ qua.

Migration thường yêu cầu account có quyền lớn.

Dữ liệu cũng có thể được copy qua network hoặc lưu tạm ở staging.

Cần kiểm soát:

Credential.

Encryption.

Least privilege.

Temporary files.

Logs.

Backup.

Và dữ liệu nhạy cảm.

Đừng để migration log trở thành nơi rò rỉ dữ liệu.

Log lỗi không nên vô tình dump:

Password.

Token.

Thông tin cá nhân.

Payment data.

Hoặc toàn bộ record production.

Database Migration thành công không kết thúc ngay khi cutover xong.

Sau cutover cần một giai đoạn monitoring.

Kiểm tra:

Error rate.

Slow query.

CPU.

Memory.

Connection.

Business transaction.

Data consistency.

Background jobs.

Reports.

Integrations.

Old database cũng không nên xóa ngay lập tức.

Cần có retention plan phù hợp với rollback compliance backup và security requirement.

Nhưng giữ hệ thống cũ mãi mãi cũng tạo:

Chi phí.

Security risk.

Data duplication.

Và confusion.

Cần có ngày decommission rõ ràng.

Một checklist Database Migration cơ bản nên có ít nhất:

Source inventory.

Target design.

Schema mapping.

Data mapping.

Dependency analysis.

Backup.

Restore test.

Migration dry run.

Performance test.

Validation rule.

Cutover plan.

Rollback plan.

Owner.

Monitoring.

Post-migration reconciliation.

Điều quan trọng nhất không phải migration chạy thành công.

Mà là sau migration:

Dữ liệu đúng.

Nghiệp vụ đúng.

Ứng dụng hoạt động.

Và đội ngũ biết phải làm gì nếu có sự cố.

Nếu chỉ nhớ một điều về Database Migration tôi sẽ nhớ:

Đừng coi migration là một câu lệnh chuyển dữ liệu. Hãy coi nó là một thay đổi production có kế hoạch kiểm chứng cutover và đường quay lại rõ ràng.

Tag Database Migration tổng hợp các bài viết và kiến thức về schema migration data migration database conversion CDC replication cutover rollback validation backup restore deployment và cách thay đổi cơ sở dữ liệu an toàn trong quá trình phát triển phần mềm.

Giới thiệu

Tìm kiếm Google

Liên kết

Mạng thư viện
Quà tặng con gái và con trai
Dotgrid Planner 2023
Mua hàng tại amazone
Bàn phím cơ