AI viết Unit Test: Vì sao 100% test PASS vẫn có thể sai?

    17/11/2026    12    5.00/5 trong 1 lượt 
AI viết Unit Test: Vì sao 100% test PASS vẫn có thể sai?
Hướng dẫn dùng AI viết Unit Test đúng cách, phát hiện test giả, hiểu Code Coverage, thực hành Mutation Testing với C# và kiểm chứng phần mềm bằng lỗi thực tế.

Xem nhanh:

Có một tình huống khá thú vị khi lập trình với AI.

Chúng ta giao cho AI viết một chức năng. AI tạo code, viết thêm Unit Test rồi chạy kiểm thử.

Kết quả xuất hiện:

Test Run Successful Total tests: 25 Passed: 25 Failed: 0

25 bài test. Tất cả đều PASS.

Nghe vui thật.

Nhưng chú Nha 27 tuổi muốn hỏi thêm một câu: Nếu cố tình sửa một dòng code cho sai đi, những bài test ấy có phát hiện được không?

Đây là một câu hỏi rất đáng thử.

Vì test PASS chỉ chứng minh rằng trong những điều kiện đã kiểm tra, chương trình đáp ứng các điều kiện mà test đang xác nhận. Nó không chứng minh mọi tình huống đều đúng.

Đặc biệt khi AI vừa viết code vừa viết test, cả hai có thể cùng dựa trên một cách hiểu sai về yêu cầu.

Trong các bài trước của series lập trình với AI, tôi đã chia sẻ cách giao Task, viết Acceptance Criteria và sử dụng AI Code Review.

Bài này sẽ không lặp lại quy trình review. Chúng ta đi sâu vào một chuyện khác: Làm thế nào để biết bộ test thực sự có khả năng phát hiện lỗi?

Tôi sẽ sử dụng C#, xUnit và Stryker.NET để làm một ví dụ có thể chạy thử. Từ đó, chúng ta tìm hiểu Code Coverage, Mutation Testing, cách giao AI viết test và những lỗi thường bị bỏ sót.

1. Unit Test là gì?

Unit Test là bài kiểm thử nhằm xác nhận hành vi của một đơn vị phần mềm, thường là một hàm, một lớp hoặc một thành phần logic có thể kiểm tra tương đối độc lập.

Ví dụ, chúng ta có hàm tính tiền cọc. Unit Test có thể kiểm tra rằng khi giá trị đơn hàng là 1.000.000 đồng và tỷ lệ cọc là 30%, kết quả bằng 300.000 đồng.

Một Unit Test tốt nên có đặc điểm:

  • Chạy nhanh.
  • Có kết quả lặp lại ổn định.
  • Không phụ thuộc vào dữ liệu hoặc dịch vụ bên ngoài nếu không cần thiết.
  • Có điều kiện xác nhận rõ ràng.
  • Thất bại khi hành vi được kiểm tra không còn đúng.

Điểm cuối cùng rất quan trọng.

Một bài test luôn PASS bất kể code đúng hay sai gần như không giúp chúng ta phát hiện lỗi.

2. Vì sao AI có thể viết test nhưng vẫn bỏ sót lỗi?

Có nhiều nguyên nhân.

AI viết test dựa trên chính cách hiểu của nó

Giả sử business rule yêu cầu: Tiền cọc tối thiểu là 20% giá trị đơn hàng.

AI lại hiểu thành tối đa 20%.

Nếu cả code và test đều được viết theo cách hiểu sai ấy, test vẫn có thể PASS.

Đó là lý do expected result cần được đối chiếu với yêu cầu nghiệp vụ đã được phê duyệt, không chỉ với logic hiện tại của code.

AI chỉ kiểm tra tình huống thông thường

Ví dụ, hàm tính tiền cọc chạy đúng khi giá trị đơn hàng là số dương và tỷ lệ hợp lệ.

Nhưng điều gì xảy ra khi giá trị bằng không, tỷ lệ vượt giới hạn, số tiền lớn hoặc cần làm tròn?

Nếu không kiểm tra những trường hợp này, chúng ta chưa biết hành vi tương ứng có đúng không.

AI viết assertion quá yếu

Ví dụ:

Assert.NotNull(result);

Assertion này chỉ kiểm tra kết quả khác null.

Nếu mục tiêu nghiệp vụ là tính đúng số tiền, việc kết quả khác null chưa đủ.

AI mock quá nhiều

Mock có thể giúp cô lập một thành phần để Unit Test nhanh và ổn định.

Nhưng nếu chúng ta mock cả những thành phần chứa logic cần kiểm chứng, test có thể chỉ xác nhận hành vi giả lập do chính người viết test tạo ra.

Vì vậy, cần phân biệt Unit Test với Integration Test và chọn mức kiểm thử phù hợp.

3. Test PASS, Code Coverage và phần mềm đúng là ba chuyện khác nhau

Test PASS nghĩa là những bài test được chạy đã thỏa mãn assertion của chúng.

Code Coverage đo mức độ mã nguồn được thực thi trong quá trình kiểm thử, theo cách đo và phạm vi cấu hình của công cụ.

Còn phần mềm đúng nghĩa là hành vi thực tế đáp ứng yêu cầu, quy tắc nghiệp vụ và những điều kiện cần thiết.

Ba khái niệm có liên quan nhưng không đồng nhất.

Ví dụ, một bài test có thể chạy qua toàn bộ một hàm nhưng chỉ kiểm tra kết quả khác null.

Khi đó, coverage có thể cao nhưng khả năng phát hiện lỗi tính toán vẫn thấp.

Microsoft cũng lưu ý rằng Code Coverage cao không đồng nghĩa với việc chất lượng mã nguồn hoặc bộ test chắc chắn cao.

Coverage là tín hiệu hữu ích để tìm vùng chưa được kiểm thử, không phải giấy chứng nhận phần mềm không có lỗi.

4. Thực hành: Một hàm tính tiền cọc có lỗi nhỏ

Chúng ta sẽ sử dụng một ví dụ đơn giản để thấy cách một bài test có thể bỏ sót lỗi.

Giả sử nghiệp vụ được phê duyệt như sau:

  • Giá trị đơn hàng phải lớn hơn 0.
  • Tỷ lệ cọc được phép từ 10% đến 50%, bao gồm cả hai mốc.
  • Tiền cọc bằng giá trị đơn hàng nhân với tỷ lệ cọc.
  • Kết quả được làm tròn đến số nguyên đồng theo quy tắc làm tròn đã thống nhất.

Trong ví dụ này, chúng ta chọn MidpointRounding.AwayFromZero để minh họa. Hệ thống thật phải sử dụng quy tắc làm tròn được nghiệp vụ phê duyệt.

Đầu tiên, xem một phiên bản có lỗi:

public static decimal CalculateDeposit(

decimal orderAmount,

decimal depositRate) {

if (orderAmount <= 0)

throw new ArgumentOutOfRangeException(

nameof(orderAmount));

if (depositRate <= 0.10m ||

depositRate > 0.50m)

throw new ArgumentOutOfRangeException(

nameof(depositRate));

return Math.Round(

orderAmount * depositRate,

0,

MidpointRounding.AwayFromZero); }

Bạn phát hiện vấn đề chưa?

Điều kiện depositRate <= 0.10m đã loại bỏ cả tỷ lệ 10%, trong khi nghiệp vụ cho phép đúng 10%.

Đây là dạng lỗi ở ranh giới rất dễ xuất hiện.

5. Một Unit Test PASS nhưng không phát hiện được lỗi

Giả sử AI viết test như sau:

[Fact] public void CalculateDeposit_ValidRate_ReturnsAmount() {

decimal result = CalculateDeposit(

1_000_000m,

0.30m);

Assert.Equal(300_000m, result); }

Test này sẽ PASS với phiên bản hàm có lỗi phía trên.

Vì sao?

Bởi vì tỷ lệ 30% nằm trong vùng mà cả logic đúng và logic sai đều xử lý giống nhau.

Bài test chưa kiểm tra ranh giới 10%.

Đừng vội trách AI. Một lập trình viên viết test bằng tay cũng có thể mắc sai sót này.

Vấn đề là cách chúng ta lựa chọn các trường hợp kiểm thử.

6. Bổ sung Boundary Value Testing

Boundary Value Testing tập trung kiểm tra những giá trị nằm tại hoặc gần ranh giới của điều kiện nghiệp vụ.

Với tỷ lệ cọc từ 10% đến 50%, chúng ta nên kiểm tra:

  • Ngay dưới 10%: không hợp lệ.
  • Đúng 10%: hợp lệ.
  • Giữa khoảng: hợp lệ.
  • Đúng 50%: hợp lệ.
  • Trên 50%: không hợp lệ.

Ví dụ sử dụng xUnit:

[Theory] [InlineData(0.10, 100_000)] [InlineData(0.30, 300_000)] [InlineData(0.50, 500_000)] public void ValidRates_ReturnExpectedDeposit(

double rate,

int expected) {

decimal result = DepositCalculator.Calculate(

1_000_000m,

(decimal)rate);

Assert.Equal(expected, result); }

Với hàm bị lỗi phía trên, trường hợp 10% sẽ FAIL.

Đó chính là điều chúng ta mong muốn: Test phát hiện hành vi không đúng.

Ở ví dụ ngắn này, InlineData dùng số thực để minh họa dữ liệu đầu vào. Với nghiệp vụ tài chính thực tế, nên ưu tiên xây dựng test case bằng decimal một cách tường minh để tránh những nhầm lẫn không cần thiết về biểu diễn số.

7. Sửa mã nguồn và tạo một ví dụ có thể chạy

Bây giờ chúng ta xây dựng lớp DepositCalculator hoàn chỉnh hơn.

namespace Demo;

public static class DepositCalculator {

public static decimal Calculate(

decimal orderAmount,

decimal depositRate)

{

if (orderAmount <= 0m)

throw new ArgumentOutOfRangeException(

nameof(orderAmount));

if (depositRate < 0.10m ||

depositRate > 0.50m)

throw new ArgumentOutOfRangeException(

nameof(depositRate));

return Math.Round(

orderAmount * depositRate,

0,

MidpointRounding.AwayFromZero);

} }

Chúng ta kiểm tra các hành vi chính bằng xUnit.

using Demo; using Xunit;

public class DepositCalculatorTests {

[Theory]

[InlineData("1000000", "0.10", "100000")]

[InlineData("1000000", "0.30", "300000")]

[InlineData("1000000", "0.50", "500000")]

[InlineData("101", "0.25", "25")]

public void ValidValues_ReturnExpectedAmount(

string amount,

string rate,

string expected)

{

var result = DepositCalculator.Calculate(

decimal.Parse(amount,

System.Globalization.CultureInfo.InvariantCulture),

decimal.Parse(rate,

System.Globalization.CultureInfo.InvariantCulture));

Assert.Equal(

decimal.Parse(expected,

System.Globalization.CultureInfo.InvariantCulture),

result);

}

[Theory]

[InlineData("0")]

[InlineData("-100")]

public void InvalidAmount_Throws(string amount)

{

Assert.Throws<ArgumentOutOfRangeException>(

() => DepositCalculator.Calculate(

decimal.Parse(amount,

System.Globalization.CultureInfo.InvariantCulture),

0.30m));

}

[Theory]

[InlineData("0.09")]

[InlineData("0.51")]

public void InvalidRate_Throws(string rate)

{

Assert.Throws<ArgumentOutOfRangeException>(

() => DepositCalculator.Calculate(

1_000_000m,

decimal.Parse(rate,

System.Globalization.CultureInfo.InvariantCulture)));

} }

Các test này bao phủ nhiều điều kiện hơn bài test ban đầu, gồm tỷ lệ ở hai ranh giới, giá trị không hợp lệ và tình huống làm tròn.

Chúng vẫn chưa chứng minh hàm hoàn toàn không có lỗi. Nhưng chúng kiểm tra được nhiều quy tắc quan trọng hơn.

8. Tạo project để chạy ví dụ với .NET

Nếu muốn thử từ đầu, bạn cần cài .NET SDK tương thích với project đang sử dụng.

Ví dụ lệnh tạo solution và project:

dotnet new sln -n AiTestingDemo

dotnet new classlib -n Demo

dotnet new xunit -n Demo.Tests

dotnet sln add Demo/Demo.csproj

dotnet sln add Demo.Tests/Demo.Tests.csproj

dotnet add Demo.Tests/Demo.Tests.csproj reference Demo/Demo.csproj

Đặt lớp DepositCalculator trong project Demo, còn DepositCalculatorTests trong project Demo.Tests.

Sau đó chạy:

dotnet test

Tùy phiên bản SDK và bộ test runner, cơ chế thực thi có thể khác nhau. Hãy kiểm tra cấu hình project nếu lệnh không phát hiện bài test.

Ở bước này, chúng ta đã có bộ test chạy được. Nhưng vẫn cần tìm hiểu sức mạnh thực tế của chúng.

9. Mutation Testing là gì?

Mutation Testing là một kỹ thuật đánh giá bộ kiểm thử bằng cách cố tình tạo ra những thay đổi nhỏ trong mã nguồn để xem test có phát hiện được không.

Những phiên bản code bị thay đổi có chủ đích được gọi là mutant.

Ví dụ, công cụ Mutation Testing có thể thay:

depositRate < 0.10m

thành:

depositRate <= 0.10m

Đây chính là lỗi mà chúng ta vừa thảo luận.

Nếu bộ test có kiểm tra tỷ lệ 10%, mutant sẽ khiến test thất bại.

Trong thuật ngữ Mutation Testing, mutant đó được gọi là killed.

Nếu tất cả test vẫn PASS, mutant có thể được xem là survived, nghĩa là bộ test chưa phát hiện được thay đổi ấy.

Tuy nhiên, không phải mọi mutant sống sót đều đại diện cho lỗi nghiệp vụ thực tế. Một số thay đổi có thể không làm khác biệt hành vi quan sát được hoặc không liên quan đến phạm vi cần kiểm tra.

10. Mutation Score khác Code Coverage như thế nào?

Code Coverage trả lời câu hỏi: Những phần mã nguồn nào đã được thực thi khi chạy test?

Mutation Testing đặt câu hỏi khác: Nếu hành vi của mã nguồn bị thay đổi, test có phát hiện được không?

Ví dụ minh họa, không phải kết quả đo từ dự án thật:

Line Coverage:

95%

Mutants Created:

20 Mutants Killed:

12 Mutants Survived:

8

Simple Mutation Score: 60%

Với ví dụ này, dù có tỷ lệ dòng code được thực thi cao, bộ test chỉ phát hiện được 12 trong 20 thay đổi thử nghiệm.

Những mutant sống sót là nơi đáng kiểm tra tiếp.

Trong thực tế, các công cụ có thể phân loại thêm mutant timeout, no coverage, ignored, compile error hoặc equivalent. Vì vậy, công thức Mutation Score cụ thể cần đọc theo tài liệu và báo cáo của công cụ.

Đừng tự coi Mutation Score là tỷ lệ phần mềm đúng.

Không có một con số Mutation Score duy nhất phù hợp cho mọi dự án.

11. Thực hành Mutation Testing bằng Stryker.NET

Stryker.NET là công cụ Mutation Testing dành cho hệ sinh thái .NET.

Để cài đặt dạng global tool:

dotnet tool install -g dotnet-stryker

Sau đó, chuyển đến thư mục test project:

cd Demo.Tests

Chạy:

dotnet stryker

Stryker.NET sẽ phân tích project, tạo các mutant phù hợp, chạy test để kiểm tra những thay đổi ấy và tạo báo cáo.

Báo cáo HTML thường được lưu trong thư mục StrykerOutput.

Khi xem báo cáo, hãy chú ý đến những mutant còn sống sót trong các phần logic quan trọng.

Ví dụ, nếu toán tử so sánh tỷ lệ cọc bị thay đổi nhưng test không phát hiện, hãy kiểm tra xem bộ test đã bao phủ các giá trị ở ranh giới chưa.

Mutation Testing có thể tiêu tốn đáng kể thời gian và tài nguyên vì phải thực hiện nhiều lượt kiểm thử. Với dự án lớn, nên chạy có phạm vi trước, chẳng hạn một module nghiệp vụ quan trọng, thay vì áp dụng toàn repository ngay từ đầu.

12. Không nên yêu cầu AI tăng Mutation Score bằng mọi giá

Đây là một sai lầm đáng tránh.

Giả sử kết quả Mutation Testing thấp. Chúng ta giao cho AI:

Hãy tăng Mutation Score lên 90%.

AI có thể bổ sung nhiều test. Nhưng nếu không ràng buộc vào nghiệp vụ, nó có thể chỉ tập trung làm cho những mutant cụ thể bị killed mà không cải thiện đáng kể khả năng kiểm tra hành vi người dùng cần.

Thay vì vậy, hãy hỏi:

Phân tích các mutant còn sống sót.

Với mỗi mutant:
1. Xác định hành vi bị thay đổi.
2. Đối chiếu business rules.
3. Đánh giá khả năng gây lỗi thực tế.
4. Đề xuất test còn thiếu.
5. Chỉ sửa test khi expected result

có nguồn từ yêu cầu được duyệt.

Không sửa production code chỉ để làm đẹp Mutation Score.

Mục tiêu không phải sở hữu một báo cáo đẹp.

Mục tiêu là có một bộ test giúp phát hiện lỗi đáng quan tâm.

13. Phân biệt Unit Test, Integration Test và End-to-End Test

Mutation Testing rất hữu ích, nhưng không thay thế những loại kiểm thử khác.

Unit Test

Kiểm tra logic tương đối độc lập.

Ví dụ, hàm tính tiền cọc có trả kết quả đúng không?

Integration Test

Kiểm tra cách các thành phần phối hợp với nhau.

Ví dụ, API tạo yêu cầu thanh toán có lưu đúng trạng thái vào database không?

End-to-End Test

Kiểm tra hành trình của người dùng qua nhiều thành phần.

Ví dụ, khách hàng đăng nhập, tạo đơn hàng, yêu cầu thanh toán và nhận kết quả.

Một hệ thống thanh toán có thể có Unit Test rất tốt nhưng vẫn gặp lỗi khi tích hợp với cổng thanh toán, xử lý callback hoặc ghi nhận giao dịch.

Do đó, cần lựa chọn các loại kiểm thử dựa trên rủi ro và kiến trúc thực tế.

14. Những tình huống AI thường cần được nhắc kiểm thử thêm

Khi giao AI viết test, tôi thường muốn nó chủ động kiểm tra những nhóm tình huống sau:

  • Giá trị tại ranh giới điều kiện.
  • Giá trị không hợp lệ.
  • Dữ liệu rỗng hoặc thiếu trường bắt buộc.
  • Giá trị quá lớn hoặc quá nhỏ.
  • Làm tròn số và độ chính xác tài chính.
  • Trạng thái nghiệp vụ không được phép.
  • Người dùng không đủ quyền.
  • Dữ liệu thuộc người dùng hoặc tenant khác.
  • Thao tác trùng lặp.
  • Hai yêu cầu chạy đồng thời.
  • Timeout và retry.
  • Lỗi dịch vụ bên ngoài.
  • Lỗi database hoặc transaction.
  • Thời gian, múi giờ và ngày đặc biệt.
  • Khả năng tương thích với hành vi cũ.

Không phải hàm nào cũng cần tất cả những test này.

Hãy lựa chọn theo chức năng và rủi ro thực tế, tránh tạo một bộ test lớn nhưng thiếu mục đích.

15. Prompt để AI thiết kế test trước khi nhìn vào code

Một cách đáng thử là yêu cầu AI Reviewer hoặc QA Agent thiết kế bộ test dựa trên nghiệp vụ trước, sau đó mới cho nó xem phần triển khai.

Cách này giúp giảm sự phụ thuộc vào những giả định có sẵn trong code.

ROLE: Senior QA Engineer

OBJECTIVE: Design behavior-focused test cases.

INPUT:
- Approved SRS
- Business Rules
- Acceptance Criteria

DO NOT READ: Implementation code in this phase.

TASK:
1. Identify expected behaviors.
2. Identify boundary values.
3. Identify invalid inputs.
4. Identify business state transitions.
5. Identify authorization scenarios.
6. Identify failure scenarios.
7. Identify concurrency risks.
8. Identify missing requirements.

OUTPUT:
- Test Case ID
- Requirement Reference
- Preconditions
- Input
- Expected Result
- Risk Level
- Test Type
- Open Questions

RULES:
- Do not invent business rules.
- Do not copy expected results

from implementation code.
- Mark assumptions clearly.
- Prioritize business-critical behavior.

Sau khi bộ test case được xem xét và phê duyệt theo quy trình, AI mới viết test code và đối chiếu với chương trình hiện tại.

Đây không phải hình thức bảo đảm độc lập tuyệt đối. Nhưng nó tạo ra sự phân tách hữu ích giữa việc xác định hành vi mong muốn và việc đọc cách hành vi đang được triển khai.

16. Prompt để AI viết Unit Test và bổ sung Mutation Testing

ROLE: Senior .NET Test Engineer

OBJECTIVE: Create meaningful automated tests for approved business behavior.

INPUT:
- Approved test cases
- Business Rules
- Acceptance Criteria
- Relevant source code

REQUIREMENTS:
1. Use xUnit for unit tests.
2. Test exact expected values.
3. Include boundary conditions.
4. Include invalid input scenarios.
5. Avoid assertions that are too weak.
6. Mock only external dependencies

when appropriate.
7. Keep tests deterministic.
8. Run the tests.
9. Report actual results.
10. Do not change business rules.

MUTATION TESTING:
- Identify critical pure logic.
- Propose a limited mutation scope.
- Run Stryker.NET when authorized.
- Analyze surviving mutants.
- Suggest tests tied to requirements.

FINAL REPORT:
- Test files created or changed
- Test cases covered
- Commands executed
- Passed / Failed / Skipped
- Coverage result if measured
- Mutation result if measured
- Surviving mutants
- Remaining risks

Never claim verification passed unless there is execution evidence.

Nếu AI chưa có quyền chạy lệnh, hãy yêu cầu nó cung cấp hướng dẫn để người phát triển thực hiện.

Không nên ghi "All tests passed" chỉ vì mã nguồn nhìn có vẻ đúng.

17. Tổ chức thư mục test trong repository

Một dự án .NET có thể có cấu trúc:

project/
|
+-- AGENTS.md
+-- docs/
|
+-- business-rules.md
|
+-- acceptance-criteria.md
|
+-- src/
|
+-- Demo/
|
+-- DepositCalculator.cs
|
+-- tests/
|
+-- Demo.UnitTests/ |
|
+-- DepositCalculatorTests.cs |   |
|
+-- Demo.IntegrationTests/
|
+-- PaymentApiTests.cs
|
+-- reports/
+-- test-results/
+-- coverage/
+-- mutation/

Không bắt buộc phải tổ chức đúng như ví dụ.

Điều cần giữ là test dễ tìm, có trách nhiệm rõ ràng và có thể chạy trong quy trình phát triển.

Những báo cáo sinh tự động nên được lưu ở vị trí phù hợp, tránh đưa quá nhiều file tạm hoặc dữ liệu nhạy cảm vào Git.

18. Đo Code Coverage trong .NET

Với project sử dụng runner VSTest và đã cấu hình Coverlet Collector, có thể chạy:

dotnet test --collect:"XPlat Code Coverage"

Lệnh này tạo báo cáo coverage để phân tích những vùng mã nguồn được thực thi trong quá trình chạy test.

Tùy phiên bản .NET và test runner, cách thu thập coverage có thể khác. Ví dụ, các project sử dụng Microsoft.Testing.Platform có thể dùng cơ chế extension riêng.

Hãy kiểm tra bộ test runner và package đang sử dụng thay vì sao chép một lệnh cho mọi dự án.

Khi xem kết quả, hãy đặt câu hỏi:

  • Có logic nghiệp vụ quan trọng nào chưa được thực thi bởi test?
  • Những nhánh điều kiện quan trọng đã được kiểm tra chưa?
  • Test có xác nhận đúng kết quả hay chỉ gọi hàm?
  • Có rủi ro nào không thể kiểm tra đầy đủ bằng Unit Test?

Coverage giúp phát hiện khoảng trống cần nghiên cứu. Nhưng muốn đánh giá sức mạnh của bộ test, chúng ta còn phải nhìn vào assertion, test case và những lỗi thực tế mà bộ test có thể phát hiện.

19. Nên đưa Mutation Testing vào CI/CD như thế nào?

Không nhất thiết phải chạy Mutation Testing trên mọi commit.

Với repository lớn, chi phí chạy nhiều mutant có thể đáng kể.

Tôi đề xuất bắt đầu từ những module có business logic quan trọng và tương đối dễ kiểm thử độc lập.

Ví dụ:

  • Tính giá và giảm giá.
  • Tiền cọc và công nợ.
  • Quy tắc trạng thái đơn hàng.
  • Phân quyền nghiệp vụ.
  • Quy tắc tính phí.

Có thể chạy Unit Test và static checks trong CI thường xuyên.

Mutation Testing có thể chạy định kỳ, theo yêu cầu hoặc khi thay đổi những module quan trọng, tùy quy mô và thời gian thực thi.

Không nên đặt một ngưỡng Mutation Score tùy ý rồi sử dụng nó như điều kiện chặn merge cho toàn bộ repository mà chưa đo dữ liệu thực tế.

Tốt hơn là thiết lập baseline, xác định các vùng nghiệp vụ ưu tiên và cải thiện dần theo mức rủi ro.

20. Những sai lầm cần tránh khi để AI viết test

Viết test để xác nhận chính code hiện tại

Expected result cần xuất phát từ yêu cầu và hành vi mong muốn, không chỉ là kết quả chương trình đang trả về.

Tin rằng 100% coverage nghĩa là không còn lỗi

Coverage không đo đầy đủ độ chính xác của assertion hoặc các tình huống chưa được nghĩ đến.

Mock mọi thứ

Mock quá mức có thể khiến test không kiểm tra được sự phối hợp giữa những thành phần thực tế.

Chỉ kiểm tra happy path

Những lỗi nghiêm trọng thường nằm ở trạng thái không hợp lệ, xử lý thất bại hoặc thao tác đồng thời.

Sửa code để làm test PASS mà không kiểm tra nghiệp vụ

Khi test FAIL, cần xác định code sai, test sai hay yêu cầu chưa rõ.

Không nên tự động thay đổi expected result hoặc production code chỉ để có màu xanh.

Chạy Mutation Testing trên mọi thứ ngay từ đầu

Hãy bắt đầu từ phạm vi nhỏ, có giá trị và dễ giải thích kết quả.

Đánh giá chất lượng bằng một con số

Test count, coverage và mutation score đều là tín hiệu, không phải câu trả lời đầy đủ về chất lượng phần mềm.

21. Checklist 15 mục đánh giá bộ test do AI tạo

  1. Test có tham chiếu đến yêu cầu nghiệp vụ được phê duyệt không?
  2. Expected result có độc lập với logic code hiện tại không?
  3. Test có assertion đủ cụ thể không?
  4. Đã kiểm tra những giá trị ranh giới chưa?
  5. Đã kiểm tra đầu vào không hợp lệ chưa?
  6. Đã kiểm tra ngoại lệ quan trọng chưa?
  7. Đã kiểm tra phân quyền nếu có liên quan chưa?
  8. Đã kiểm tra trạng thái nghiệp vụ không hợp lệ chưa?
  9. Đã kiểm tra làm tròn và tính toán tài chính khi cần chưa?
  10. Đã kiểm tra tình huống trùng lặp hoặc đồng thời nếu cần chưa?
  11. Test có thể chạy ổn định nhiều lần không?
  12. Các dependency có được mock hợp lý không?
  13. Có cần Integration Test bổ sung không?
  14. Đã chạy test và lưu kết quả thực tế chưa?
  15. Đã đánh giá những khoảng trống test quan trọng bằng review hoặc Mutation Testing chưa?

Checklist này không nhằm tạo thêm thủ tục cho mọi hàm nhỏ. Nó giúp người phát triển lựa chọn những kiểm tra có giá trị với từng loại logic.

22. Kết luận: Đừng chỉ hỏi có bao nhiêu test PASS

Trước đây, khi viết một chức năng xong, chúng ta thường chạy test để xem kết quả.

Bây giờ, AI có thể giúp viết cả chức năng lẫn bộ test trong thời gian ngắn.

Điều đó rất hữu ích.

Nhưng càng dễ tạo nhiều test, chúng ta càng cần biết test ấy đang bảo vệ điều gì.

Với chú Nha 27 tuổi, một bộ test tốt không phải là bộ test có nhiều dòng code nhất hoặc số lượng test case lớn nhất.

Đó là bộ test có thể giúp chúng ta nhận ra khi một hành vi quan trọng bị thay đổi sai.

Code Coverage cho biết những vùng nào đã được thực thi.

Mutation Testing giúp thử xem test có phát hiện được một số thay đổi cố tình tạo ra trong mã nguồn hay không.

Acceptance Criteria giúp chúng ta biết hành vi mong muốn từ đâu mà có.

Và người phát triển phần mềm vẫn cần xem xét những tình huống mà công cụ tự động chưa kiểm tra được.

Không có một con số nào thay thế được tất cả những việc ấy.

Lần tới, nếu AI báo "100% test PASS", tôi nghĩ chúng ta có thể vui một chút.

Rồi hỏi thêm:

"Nếu chú cố tình sửa code cho sai, test của cháu có bắt được không?"

Câu hỏi ấy đôi khi giúp chúng ta học được nhiều hơn cả một báo cáo màu xanh.

Nguồn tham khảo

Cảm ơn bạn đã đọc hết bài viết!

Nha thân tặng bộ source code blog này cho những ai quan tâm.
☕

Mời tác giả tách cà phê / Tiếp sức cho Blog

Nếu nội dung này hữu ích với bạn, hãy ủng hộ một khoản nhỏ để tiếp thêm động lực cho tác giả duy trì và chia sẻ nhiều kiến thức chất lượng hơn!

Giới thiệu

Tìm kiếm Google

Liên kết

Mạng thư viện
Quà tặng con gái và con trai
Dotgrid Planner 2023
Mua hàng tại amazone
Bàn phím cơ
AI viết Unit Test: Vì sao 100% test PASS vẫn có thể sai? | Mãnh Tử Nha