- Tóm tắt các lợi ích và rủi ro tiềm ẩn của kiểm thử tự động và công cụ hỗ trợ kiểm thử. (K2)
- Nhận ra rằng các công cụ thực hiện kiểm thử có các các kỹ thuật viết kịch bản, bao gồm kỹ thuật dựa trên dữ liệu và dựa trên từ khóa. (K1)
Lý do mua các công cụ hỗ trợ kiểm thử là để đạt được lợi ích, bằng cách sử dụng một chương trình phần mềm để thực hiện một số nhiệm vụ mà máy tính thực hiện tốt hơn so với con người.
Bạn có thể tìm thấy lời khuyên về việc đưa các công cụ vào tổ chức trong các bài báo trên web, tạp chí và sách như [Dustin và cộng sự, 1999], [Siteur, 2005] và [Fewster và Graham, 1999].
6.2.1 Lợi ích tiềm năng của việc sử dụng các công cụ
Có rất nhiều lợi ích có thể đạt được bằng cách sử dụng các công cụ hỗ trợ kiểm thử, bất kể loại công cụ cụ thể nào. Lợi ích bao gồm:
- Giảm công việc lặp đi lặp lại
- Tính nhất quán và khả năng lặp lại cao hơn
- Đánh giá khách quan
- Dễ dàng tiếp cận thông tin về các bài kiểm thử hoặc công việc kiểm thử.
Công việc lặp đi lặp lại là tẻ nhạt khi làm thủ công. Mọi người trở nên buồn chán và phạm sai lầm khi làm đi làm lại cùng một công việc. Ví dụ về loại công việc lặp đi lặp lại này bao gồm chạy kiểm thử hồi quy, nhập đi nhập lại cùng một dữ liệu kiểm thử (cả hai đều có thể được thực hiện bằng công cụ thực thi kiểm thử), kiểm thử các tiêu chuẩn mã hóa (có thể được thực hiện bằng công cụ phân tích tĩnh) hoặc tạo cơ sở dữ liệu kiểm thử cụ thể (có thể được thực hiện bằng công cụ chuẩn bị dữ liệu kiểm thử).
Mọi người có xu hướng thực hiện cùng một nhiệm vụ theo một cách hơi khác ngay cả khi họ nghĩ rằng họ đang lặp lại chính xác điều gì đó. Một công cụ sẽ tái tạo chính xác những gì nó đã làm trước đó, vì vậy, mỗi lần nó chạy, kết quả sẽ nhất quán. Các ví dụ về lợi ích của khía cạnh này bao gồm kiểm thử để xác nhận tính chính xác của bản sửa lỗi (có thể được thực hiện bởi công cụ sửa lỗi hoặc công cụ thực hiện kiểm thử), nhập đầu vào kiểm thử (có thể được thực hiện bởi công cụ thực hiện kiểm thử) và tạo kiểm thử từ các yêu cầu (có thể được thực hiện bởi công cụ thiết kế kiểm thử hoặc có thể là công cụ quản lý yêu cầu).
Nếu một người tính toán giá trị từ phần mềm hoặc báo cáo sự cố, họ có thể vô tình bỏ sót điều gì đó hoặc định kiến chủ quan có thể khiến họ hiểu sai dữ liệu đó. Sử dụng một công cụ có nghĩa là sự thiên vị chủ quan bị loại bỏ và việc đánh giá được tính toán một cách nhất quán và lặp lại nhiều hơn.
Các ví dụ bao gồm đánh giá mức độ phức tạp theo chu kỳ hoặc mức độ lồng nhau của một thành phần (có thể được thực hiện bằng công cụ phân tích tĩnh), phạm vi (công cụ đo lường mức độ phù hợp), hành vi hệ thống (công cụ giám sát) và thống kê sự cố (công cụ quản lý kiểm thử).
Có nhiều dữ liệu không có nghĩa là thông tin được truyền đạt. Thông tin được trình bày trực quan sẽ dễ dàng hơn nhiều, giúp con người dễ dàng hơn trong việc tiếp nhận và giải thích. Ví dụ: biểu đồ hoặc đồ thị là cách tốt hơn để hiển thị thông tin hơn là một danh sách dài các số (đây là lý do tại sao biểu đồ và đồ thị trong bảng tính lại rất hữu ích). Các công cụ có mục đích đặc biệt cung cấp các tính năng này trực tiếp cho thông tin mà chúng xử lý. Ví dụ số liệu thống kê và biểu đồ về tiến độ kiểm thử (công cụ thực hiện kiểm thử hoặc quản lý kiểm thử), tỷ lệ sự cố (công cụ quản lý kiểm thử hoặc quản lý sự cố) và hiệu năng (công cụ kiểm thử hiệu năng).
Ngoài những lợi ích chung này, mỗi loại công cụ còn có những lợi ích cụ thể liên quan đến khía cạnh kiểm thử mà công cụ cụ thể đó hỗ trợ. Những lợi ích này thường là những lợi ích nổi bật cho các thông tin bán hàng có sẵn cho các loại công cụ. Rất đáng để nghiên cứu một số công cụ khác nhau để có cái nhìn tổng quát về các lợi ích
6.2.2 Rủi ro khi sử dụng công cụ
Mặc dù có những lợi ích đáng kể có thể đạt được khi sử dụng các công cụ hỗ trợ hoạt động kiểm thử, nhưng có rất nhiều tổ chức đã không đạt được những lợi ích mà họ mong đợi.
Việc chỉ mua một dụng cụ không đảm bảo bạn sẽ đạt được lợi ích, giống như việc mua tư cách thành viên trong phòng tập thể dục không đảm bảo rằng bạn sẽ có thân hình cân đối hơn. Mỗi loại công cụ đều cần đầu tư công sức và thời gian để đạt được những lợi ích tiềm năng.
Có nhiều rủi ro xuất hiện khi giới thiệu và sử dụng công cụ hỗ trợ kiểm thử, bất kể loại công cụ cụ thể nào.
Rủi ro bao gồm:
- Kỳ vọng không thực tế cho công cụ
- Đánh giá thấp thời gian, chi phí và nỗ lực cho lần đầu giới thiệu một công cụ
- Đánh giá thấp thời gian và nỗ lực cần thiết để đạt được những lợi ích đáng kể và liên tục từ công cụ
- Đánh giá thấp nỗ lực cần thiết để duy trì tài sản kiểm thử do công cụ tạo ra
- Quá phụ thuộc vào công cụ.
Kỳ vọng không thực tế có thể là một trong những rủi ro lớn nhất để thành công với các công cụ. Các công cụ chỉ là phần mềm và tất cả chúng ta đều biết rằng có nhiều vấn đề với bất kỳ loại phần mềm nào! Điều quan trọng là phải có mục tiêu rõ ràng về những gì công cụ có thể làm và những mục tiêu đó là thực tế.
Giới thiệu một cái gì đó mới vào một tổ chức hiếm khi đơn giản.
Sau khi mua một công cụ, bạn sẽ muốn chuyển từ việc mở chiếc hộp sang việc một số người có thể sử dụng công cụ đó theo cách mang lại lợi ích.
Sẽ có những vấn đề kỹ thuật cần khắc phục, nhưng cũng sẽ có sự phản đối từ những người khác (cả hai đều cần được giải quyết để thành công trong việc giới thiệu một công cụ).
Hãy nhớ lại lần gần đây nhất bạn làm điều gì đó mới mẻ lần đầu tiên (học lái xe, đi xe đạp, trượt tuyết). Những nỗ lực đầu tiên của bạn có thể không tốt lắm nhưng với nhiều kinh nghiệm hơn, bạn đã trở nên tốt hơn rất nhiều. Sử dụng công cụ kiểm thử lần đầu tiên cũng sẽ không phải là cách sử dụng công cụ tốt nhất của bạn. Cần có thời gian để phát triển các cách sử dụng công cụ để đạt được những gì có thể.
May mắn thay, có một số lối tắt (ví dụ: đọc sách và bài báo về kinh nghiệm của người khác và học hỏi từ họ).
Việc lập kế hoạch không đầy đủ để bảo trì các tài sản mà công cụ tạo ra là nguyên nhân chủ yếu dẫn đến việc các công cụ cuối cùng trở thành “đồ cũ”, cùng với các rủi ro đã liệt kê trước đó. Mặc dù đặc biệt phù hợp với các công cụ thực hiện kiểm thử, lập kế hoạch bảo trì cũng là một yếu tố với các loại công cụ khác.
Công cụ chắc chắn không phải là ma thuật! Chúng có thể làm rất tốt những gì chúng được thiết kế để làm (ít nhất là một công cụ chất lượng tốt có thể làm được), nhưng chúng không thể làm mọi thứ.
Một công cụ chắc chắn có thể hữu ích, nhưng nó không thay thế trí thông minh cần thiết để biết cách sử dụng nó tốt nhất và cách đánh giá việc sử dụng công cụ hiện tại và tương lai.
Ví dụ: một công cụ thực hiện kiểm thử không thay thế nhu cầu thiết kế kiểm thử tốt và không nên được sử dụng cho mọi kiểm thử (một số bài kiểm thử vẫn được thực hiện thủ công tốt hơn). Một bài kiểm thử mất nhiều thời gian để tự động và sẽ không được chạy thường xuyên thì tốt hơn là thực hiện thủ công.
Danh sách rủi ro này không đầy đủ. Hai yếu tố quan trọng khác là:
- Kỹ năng cần thiết để tạo ra các bài kiểm tra tốt
- Kỹ năng cần thiết để sử dụng tốt các công cụ, tùy thuộc vào loại công cụ.
Kỹ năng của người kiểm thử không giống như kỹ năng của người sử dụng công cụ. Người kiểm thử tập trung vào những gì nên được kiểm thử, các trường hợp kiểm thử nên là gì và cách ưu tiên kiểm thử. Người sử dụng công cụ tập trung vào cách tốt nhất để công cụ thực hiện công việc của nó một cách hiệu quả và cách mang lại lợi ích ngày càng tăng từ việc sử dụng công cụ.
