Nội dung sẽ xuất hiện trong bài thi ISTQB Foundation (CTFL)
- Nhớ lại các chỉ số phổ biến được sử dụng để theo dõi quá trình chuẩn bị và thực hiện kiểm thử. (K1)
- Hiểu và giải thích các chỉ số kiểm thử cho việc báo cáo kiểm thử (test report) và kiểm soát việc kiểm thử (ví dụ: các lỗi được tìm thấy và sửa chữa cũng như các bài kiểm thử đã vượt qua và bài kiểm thử bị thất bại). (K2)
- Tóm tắt mục đích và nội dung của tài liệu báo cáo tóm tắt kiểm thử theo [IEEE 829]. (K2)
Trong phần này, chúng ta sẽ xem xét các kỹ thuật và chỉ số thường được sử dụng để theo dõi quá trình chuẩn bị và thực hiện kiểm thử. Chúng ta sẽ đặc biệt tập trung vào việc sử dụng và diễn giải các chỉ số kiểm thử đó để báo cáo, kiểm soát và phân tích nỗ lực kiểm thử, bao gồm cả những số liệu dựa trên lỗi và những số liệu dựa trên dữ liệu kiểm thử.
Chúng ta cũng sẽ xem xét các tùy chọn để báo cáo trạng thái kiểm thử bằng cách sử dụng các số liệu đó và thông tin khác.
Các thuật ngữ được sử dụng: mật độ lỗi (defect density), tỷ lệ lỗi (failure rate), kiểm soát việc kiểm thử (test control), độ bao phủ kiểm thử (test coverage), theo dõi kiểm thử (test monitoring) và báo cáo kiểm thử (test report).
THEO DÕI TIẾN ĐỘ CỦA CÁC HOẠT ĐỘNG KIỂM THỬ
Sau khi đã phát triển các kế hoạch, xác định các chiến lược và phương pháp kiểm thử cũng như ước tính công việc sẽ hoàn thành, giờ đây chúng ta phải theo dõi công việc kiểm thử của mình khi thực hiện. Theo dõi kiểm thử có thể phục vụ các mục đích khác nhau trong dự án, bao gồm:
- Cung cấp cho nhóm kiểm thử và người quản lý kiểm thử thông tin phản hồi về cách công việc kiểm thử đang diễn ra, tạo cơ hội để hướng dẫn và cải thiện kiểm thử và dự án.
- Cung cấp cho nhóm dự án khả năng hiển thị về kết quả kiểm thử.
- Đo lường trạng thái của kiểm thử, phạm vi kiểm thử và các hạng mục kiểm thử so với các tiêu chí đầu ra để xác định xem công việc kiểm thử đã được thực hiện hay chưa.
- Thu thập dữ liệu để sử dụng trong việc ước tính các nỗ lực kiểm thử trong tương lai.
Đặc biệt đối với các dự án nhỏ, trưởng nhóm kiểm thử hoặc người được ủy quyền có thể thu thập thông tin giám sát tiến độ kiểm thử theo cách thủ công bằng cách sử dụng tài liệu, bảng tính và cơ sở dữ liệu đơn giản. Khi làm việc với các nhóm lớn, các dự án phân tán và các nỗ lực kiểm thử dài hạn, ta nhận thấy rằng hiệu quả và tính nhất quán của việc thu thập dữ liệu được hỗ trợ bằng việc sử dụng các công cụ tự động (xem Chương 6).
Một cách để thu thập thông tin tiến độ kiểm thử là sử dụng mẫu nhật ký kiểm thử IEEE 829. Mặc dù nhiều thông tin liên quan đến các sự kiện ghi nhật ký có thể được ghi lại một cách hữu ích trong tài liệu, nhưng chúng tôi muốn ghi lại thông tin kiểm thử trong bảng tính (xem Hình 5.1).
Trong Hình 5.1, cột A và B hiển thị ID của bài kiểm thử và tên trường hợp kiểm thử hoặc bộ kiểm thử. Trạng thái của trường hợp kiểm thử được hiển thị trong cột C (“Cảnh báo” cho biết một kiểm thử dẫn đến lỗi nhỏ). Cột D hiển thị cấu hình đã kiểm thử, trong đó các mã A, B và C tương ứng với các môi trường kiểm thử được mô tả chi tiết trong kế hoạch kiểm thử. Cột E và F hiển thị số ID khiếm khuyết (defect) (hoặc lỗi (bug)) (từ cơ sở dữ liệu theo dõi lỗi) và số ưu tiên rủi ro của lỗi (từ 1, tồi tệ nhất, đến 25, ít rủi ro nhất). Cột G hiển thị tên viết tắt của người kiểm thử đã thực hiện kiểm thử. Các cột từ H đến L thu thập dữ liệu cho từng bài kiểm thử liên quan đến ngày tháng, nỗ lực và thời lượng (tính bằng giờ). Các chỉ số cho nỗ lực thực tế và theo kế hoạch cũng như ngày hoàn thành sẽ cho phép tóm tắt tiến độ so với lịch trình và ngân sách đã lên kế hoạch. Bảng tính này cũng có thể được tóm tắt theo tỷ lệ phần trăm bài kiểm thử đã được chạy và tỷ lệ phần trăm bài kiểm thử đạt và không đạt
Hình 5.1 có thể hiển thị ảnh chụp nhanh về tiến trình kiểm thử trong thời gian thực hiện kiểm thử hoặc thậm chí có thể là khi kết thúc kiểm thử nếu việc bỏ qua một số bài kiểm thử được coi là chấp nhận được. Trong quá trình phân tích, thiết kế và triển khai các bài kiểm thử, một bảng tính như vậy sẽ hiển thị trạng thái của các bài kiểm thử về trạng thái phát triển của chúng.
Ngoài trạng thái trường hợp kiểm thử, việc theo dõi tiến độ kiểm thử trong suốt thời gian thực hiện kiểm thử bằng cách xem số lượng lỗi được tìm thấy và sửa chữa cũng rất phổ biến. Hình 5.2 cho thấy một biểu đồ biểu thị tổng số lỗi đã mở và đóng trong quá trình thực hiện kiểm thử cho đến hiện tại.
Nó cũng hiển thị ngày kết thúc giai đoạn kiểm thử theo kế hoạch và số lượng lỗi dự kiến sẽ được tìm thấy. Lý tưởng nhất là khi dự án tiến đến ngày kết thúc theo kế hoạch, tổng số lỗi đã mở sẽ ổn định ở con số dự đoán và tổng số lỗi đã đóng sẽ hội tụ với tổng số đã mở. Hai kết quả này cho biết rằng chúng ta đã tìm thấy đủ lỗi để cảm thấy yên tâm rằng mình đã hoàn thành việc kiểm thử, rằng không có lý do gì để nghĩ rằng còn nhiều lỗi khác đang ẩn trong sản phẩm và rằng tất cả các lỗi đã biết đã được giải quyết.
Các biểu đồ như Hình 5.2 cũng có thể được sử dụng để hiển thị tỷ lệ lỗi (failure rates) hoặc mật độ lỗi (defect density). Khi độ tin cậy là mối quan tâm chính, chúng ta có thể quan tâm nhiều hơn đến tần suất xảy ra lỗi hơn là có bao nhiêu lỗi gây ra lỗi. Trong các tổ chức đang tìm cách sản xuất phần mềm cực kỳ đáng tin cậy, họ có thể vẽ biểu đồ số lượng lỗi chưa được giải quyết được chuẩn hóa theo kích thước của sản phẩm, trong hàng nghìn dòng mã nguồn (KSLOC), điểm chức năng (FP – Function Point) hoặc một số chỉ số khác của kích thước mã. Khi số lượng lỗi chưa được giải quyết giảm xuống dưới một số ngưỡng được xác định trước (ví dụ: ba trên một triệu dòng mã) thì sản phẩm có thể được coi là đã đáp ứng tiêu chí dừng.
Đo lường tiến độ kiểm thử dựa trên các lỗi được tìm thấy và sửa chữa là phổ biến và hữu ích (nếu được sử dụng cẩn thận). Tránh chỉ sử dụng các số liệu về lỗi, vì có thể đạt được tỷ lệ tìm thấy lỗi cố định và khắc phục tất cả các lỗi đã biết bằng cách dừng mọi kiểm thử tiếp theo (bằng cách cản trở việc báo cáo lỗi và bằng cách cho phép lập trình viên từ chối, hủy bỏ hoặc đóng các báo cáo lỗi mà không có bất kỳ đánh giá độc lập nào).
Điều đó nói rằng, các kỹ thuật giám sát tiến độ kiểm thử thay đổi đáng kể tùy thuộc vào sở thích của người kiểm thử và các bên liên quan, nhu cầu và mục tiêu của dự án, yêu cầu quy định, hạn chế về thời gian và tiền bạc và các yếu tố khác.
Ngoài các loại thông tin được hiển thị trong Nhật ký kiểm thử IEEE 829, Hình 5.1 và Hình 5.2, các chỉ số phổ biến khác để theo dõi tiến độ kiểm thử bao gồm:
- Mức độ hoàn thành việc chuẩn bị môi trường kiểm thử
- Mức độ bao phủ kiểm thử đạt được (được đo lường dựa trên các yêu cầu, rủi ro, mã, cấu hình hoặc các lĩnh vực quan tâm khác)
- Tình trạng của việc kiểm thử (bao gồm phân tích, thiết kế và thực hiện) so với các mốc kiểm thử khác nhau
- Tính kinh tế của kiểm thử, chẳng hạn như chi phí và lợi ích của việc tiếp tục thực hiện kiểm thử về mặt tìm ra lỗi tiếp theo hoặc chạy kiểm thử tiếp theo.
Là một kỹ thuật giám sát bổ sung, có thể đánh giá mức độ tin cậy chủ quan của người kiểm thử đối với các hạng mục kiểm thử. Tuy nhiên, tránh đưa ra các quyết định quan trọng chỉ dựa trên các đánh giá chủ quan, vì ấn tượng của mọi người thường không chính xác và mang màu sắc thiên vị
Bản gốc Tiếng Anh các bạn có thể Tải về Tại đây
