Quy trình kiểm thử mobile app
Quy trình kiểm thử trên android cũng như kiểm thử trên các thiết bị khác và cũng như trên máy tính PC. Trước tiên, cũng phải đọc tài liệu rồi viết test case cho ứng dụng và tạo data test nếu cần, rồi cài đặt ứng dụng vào android, sau đó tiến hành test như app bình thường khác. Test theo test case, hết test case rồi thì thực hiện adhoc testing.
Vậy ad hoc testing là gì?
Kiểm thử Adhoc (ad hoc testing) là một thuật ngữ thường được sử dụng trong việc thực hiện kiểm thử phần mềm mà không có kế hoạch và tài liệu hướng dẫn (nhưng có thể được áp dụng vào giai đoạn đầu trong nghiên cứu khoa học thực nghiệm).
Các kiểm thử được dự định chỉ được chạy một lần, trừ khi có phát hiện lỗi. Kiểm thử ad hoc là phương pháp thử nghiệm ít chính thức nhất. Vì vậy, nó đã bị chỉ trích vì nó không có cấu trúc, do đó lỗi được tìm thấy bằng cách sử dụng phương pháp này có thể rất khó tái hiện lại (vì không viết test case). Tuy nhiên, sức mạnh của kiểm thử ad hoc là khiếm khuyết quan trọng có thể được tìm thấy một cách nhanh chóng.
Nó được thực hiện theo ngẫu hứng: thử tìm kiếm để tìm lỗi bởi bất kỳ phương tiện nào có vẻ thích hợp. Kiểm thử ad hoc đặc biệt có thể được xem như là một phiên bản nhẹ của đoán lỗi, mà chính nó là một phiên bản ánh sáng của kiểm thử thăm dò.
Một số ý kiến về kiểm thử ad hoc:
- Kiểm thử ad hoc là quan tâm với các ứng dụng thử nghiệm mà không theo bất kỳ quy tắc hoặc các trường hợp thử nghiệm.Đối với một thử nghiệm đặc biệt Quảng cáo cần phải có kiến thức vững chắc về các ứng dụng.
- Kiểm thử ad hoc có nghĩa là kiểm thử các ứng dụng ngẫu nhiên theo phong cách riêng của chúng ta với có kiến thức tốt về yêu cầu hệ thống.
- Kiểm thử Adhoc và "kiểm thử khỉ" (monkey testing - làm như khỉ quơ quào chỗ này chỗ kia :D) là khác nhau. Đối với kiểm thử Adhoc, chúng ta cần phải có kiến thức đầy đủ và hiểu rõ ứng dụng. Còn "kiểm thử khỉ" thì giống như kiểm thử các ứng dụng mà không cần bất kỳ kiến thức gì về hệ thống.
- Khỉ thử nghiệm chức năng bảo hiểm cơ bản ngẫu nhiên như là ad-hoc thử nghiệm: những người có thể có ý nghĩa hiểu về các phần mềm anh / cô ấy có thể làm.
=> Những điều cần chú ý khi test trên android nói riêng và trên các thiết bị di động nói chung, ngoài chức năng của ứng dụng, chúng ta còn chú ý đến GUI (vì kích thước màn hình nhỏ), tốc độ xử lý, và độ mượt (vì dung lượng RAM nhỏ và tốc độ cpu thấp). Hơn nữa, vì các ứng dụng trên điện thoại di động thường bị mất kết nối do mạng chậm hoặc không ổn định (wifi và cả 3G, 2G, GPRS,...). Bạn nên tham khảo test cases android ở đây.
- Mặt khác về những điểm khác biệt khi test một website trên PC với mobile.
Nếu bạn thường vào web bằng điện thoại (nếu thực sự web đó có hỗ trợ điện thoại thì thường có dạng m.domain-name.com) bạn sẽ thấy web trên phone sẽ có ít items hơn web trên máy tính. Điều này là hiển nhiên đúng, vì màn hình của máy tính lớn gấp N lần màn hình điện thoại thông thường.
Khi test trên phone, chú ý đến số lượng item hiển thị trên màn hình, kích thước của các item đủ lớn để "touch", nếu button nhỏ và nằm gần nhau sẻ dễ làm cho users touch nhầm.
Nếu hỗ trợ 2 chiều - ngang dọc thì cũng nên chú ý xoay điện thoai trong khi testing - trên máy tính không có chức năng này (ý mình là xoay ngay tức thì. Nếu muốn chỉnh lại chiều hiển thị của màn hình máy tính cũng có thể làm được. Một số máy tính có card màn hình hỗ trợ thì thử Ctrl + Shift + phím mũi tên trái / phải sẽ thấy kết quả).
Điểm khác biệt chính là ở giao diện và các trường hợp gián đoạn khi test trên phone.
Mobile game testing
Khi test game trên mobile cần chú ý những điều sau:
Kiểm tra nhạc nền và hiệu ứng âm thanh:
Nhạc nền và hiệu ứng âm thanh trong trò chơi , giúp người chơi không bị nhàm chán.Mặc dù chỉ chiếm, một phần nhỏ nhưng cũng không phải là không có lỗi.Nên để kiểm tra nhạc nền chúng ta nên chú ý và mẹo cách kiểm tra thông thường như sau
- On/off âm thanh và nhạc nền xem có lỗi gì sảy ra không?
- Nhận cuộc gọi (đến và đi) và kiểm tra
- Xác minh nếu hiệu ứng âm thanh có đồng bộ với các hành động trong game không ?
- Kiểm tra chế độ rung nếu có
Giao diện
Giao diện cũng là phần quan trọng của trò chơi .Để giao diện được đẹp hơn ta nên kiểm tra như sau :
- Kiểm tra màn hình dọc và ngang
- Kiểm tra các hành động , chuyển động của nhân vật, đồ họa, Zoom In/Out (tất cả các hành động)
- Kiểm tra giao diện không bị cắt
- Kiểm tra xem các đối tượng có bị đè lên nhau không
- Kiểm tra biểu tượng loading xuất hiện nơi cần thiết
- Nhân vật không nên di chuyển ra khỏi màn hình/ khu vực nhất định
- Kiểm tra kích hoạt hoặc vô hiệu hóa các hình ảnh/ biểu tượng và nút
- Kiểm tra tiêu đề màn hình
- Kiểm tra tiêu đề của tin nhắn , mô tả thông báo, nhãn (tiêu đề của textbox) có phù hợp không
- Kiểm tra thanh cuộn
- Font chữ hiển thị (màu sắc, kích thước …)
- Kiểm tra các đối tương khác (ví dụ đua xe bạn cần nhìn vào con đường, con người .Nhưng các đối tượng khác là tòa nhà, cây cối…. )
Hiệu năng
- Kiểm tra thời gian tải của một game
- Đảm bảo dòng chảy game phải được chạy nhanh và các hành động khác là không đáng kể
Score (Điểm)
- Kiểm tra chế độ tính điểm
- Kiểm tra phần thông báo Chung/Tất cả thời gian/ Hằng tuần và hiện tại
- Kiểm tra chức năng đăng kí điểm
- Kiểm tra định dạng dấu ”,”, hay là “.” Cho chữ hàng tỉ hoặc hang ngàn
- Kiểm tra sự đồng bộ cách tính điểm
Time Out / hết giờ
- Kiểm tra thời gian cho người dùng khi hết giờ là bao lâu. Và có thông báo gì không. Sau ấn OK từ thông báo thì chương trình load vào đâu.
Đa nhiệm
- Sử dụng nhiều ứng dụng cùng một lúc, xem game có hoạt động bình thường không
- Kiểm tra chế độ dừng của game khi nhận cuộc gọi, sử dụng nhiều ứng dụng một lúc, và chế độ sleep
Save Setting
- Kiểm tra chế độ cài đặt đã được lưu và nó thực hiện đúng không ?
User Profile
- Upload nhiều loại ảnh khác nhau như png, jpg, gif… và tiến hành kiểm tra
- Nhập các kí tự đặc biệt, số và khoảng trắng trong username và kiểm tra
- Mật khẩu có được mã hóa hay là hiển thị ra ngoài
Tính năng chat
- Kiểm tra hồ sơ cá nhân
- Kiểm tra giới hạn tối đa của phần mô tả chat
- Nhập chuỗi rỗng, ký tự đặc biệt và kiểm tra
- Đối với đối thủ cần thông báo rằng ông đã nhận được tin nhắn
Chức năng
- Để kiểm tra chức năng ta chú ý đến
- Kiểm tra khu vực trò chơi, trò chơi logic
- Chơi đến cùng để phát hiện ra lỗi
- Nhận được các code ăn gian từ đội ngũ phát triển và kiểm tra các cấp, mức độ
- Kiểm tra các tính năng mà sẽ được mở khóa một cách khôn ngoan
- Kiểm tra điểm thưởng
- Kiểm tra mức tăng điểm khi mức độ được tang lên
- Kiểm tra nhiều hoạt động cùng một lúc (ví dụ đua xe chúng ta tăng tốc độ ,rẽ phải hoặc rẽ trái cùng một lúc xem có hiện tượng gì xảy ra)
- Tùy chọn menu
- Chế độ chơi, vị trí chơi khác nhau
Trợ giúp và thông tin
- Phải có định dạng dễ hiểu
- Không được có lỗi chính tả
- URL phải có hyperlink
Multiplayer game
- Kiểm tra các phiên bản hết han
- Đăng nhập , đăng xuất, đăng kí
- Xác nhập tài khoản
- Đăng nhập bằng tài khoản đã đăng kí nhưng không được xác nhận (không nhấp vào liên kết xác minh)
- Kiểm tra mật khẩu đã quên
Bộ nhớ bị tràn (Memory leak)
- Kiểm tra các trò chơi khi bộ nhớ điện thoại thấp
- Kiểm tra điều gì xảy ra khi mất mạng
Check for localization
- Nên hỗ trợ nhiều ngôn ngữ khác nhau
- Kiểm tra các định dạng thời gian
- Thay đổi thời gian thiết bị, định dạng ….
Kích thước (Size)
- Người sử dụng sẽ không thích nếu game của bạn chiếm rất nhiều không gian thiết bị, vì vậy nên chú ý đến kích thước tập tin của trò chơi
- Kiểm tra các kích cỡ màn hình , hệ diều hành nào hỗ trợ (về cơ bản phụ thuộc vào yêu cầu khách hàng)
- Tùy chọn chế độ share
- Gửi điểm qua mail/facebook/ Twitter
- Kiểm tra các tin nhắn được đăng/ gửi trong facebook/ Twitter/ Mail.Kiểm tra liên kết và biểu tượng ứng dụng được hiển thị
- Kiểm tra những gì sẽ xẩy ra khi nhập nhiều kí tự ví dụ Twitter giới hạn là 140 kí tự
Music playing during app
- Nếu máy nghe nhạc chạy và cài đặt bất kì ứng dụng trò chơi nào, nghe nhạc nên tạm dừng mà không cần nhắc cho phép người sử dụng
- Các bước để kiểm tra
- Chơi một tập tin nhạc
- Khởi động ứng dụng
- Xác minh rằng trong khi tải ứng dụng nó không bị dừng lại, tiếp tục hay bị dừng lại âm nhạc
Interruption
- Nếu ứng dụng (game) đang chạy . Ta kiểm tra các hành vi như CALL/ SMS/ MMS ,Bluetooth
Cập nhập trò chơi
- Nếu nâng cấp lên các phiên bản mới nhất và trong khi di chuyển tất cả dữ liệu nên vẫn tồn tại (Tên , điểm...)