tестирование dot com
Шрифт:
Ways, my friend... Those were the days... (непереводимо).
Зачастую опыт пользователя тестируется самими продюсерами
во время написания спека и создания макетов. Есть также про-
фессиональные юзабилити-инженеры.
ТЕСТИРОВАНИЕ СОВМЕСТИМОСТИ
(compatibility testing)
Это проверка того, как наш веб-сайт взаимодействует с
• "железом" (например, модемами) и
• ПО (браузерами/операционными системами) наших поль-
зователей.
Пример
МНОГО
Виндоуз была еще в 98 версии, мы нашли такой баг:
"Краткое описание:
"Проблема совместимости: Win'98 перезагружается при входе в
систему с Netscape Navigator версии Х.Х"
156
Тестирование Дот Ком. Часть 2
Описание и шаги для воспроизведения проблемы:
1. Открой www.main.testshop.rs с помощью Netscape Navigator вер-
сии Х.Х, установленной на Win'98 (можно использовать машину
из тест-лаборатории).
2. Введи "rsavin-testuser11@testshop.rs" в поле "Имя пользователя"
и "121212" в поле "Пароль".
3. Нажми на кнопку "Вход".
Баг: Win'98 начинает перезагружаться.
Ожидаемый результат: вход в систему.
Комментарий:
баг воспроизводится только при таком сочетании браузера и ОС".
Из примера почерпнем по крайней мере три вещи:
• при тестировании было найдено такое сочетание браузе-
ра/операционной системы, при котором существовал фа-
тальный баг, из-за которого пользователь не только не
смог бы войти в www.main.testshop.rs, но и терял бы всю
свою несохраненную работу;
• проблемы, связанные с совместимостью между веб-сайтом
и браузером/ОС, реальны и могут вести к серьезным багам;
• можно (и нужно) создать тест-лабораторию с наиболее по-
пулярными сочетаниями браузер/ОС, установленными на
компьютерах наших пользователей.
Как найти эти популярные сочетания? Очень просто — покопайтесь
в Интернете и поищите статистику о пользовании браузеров и ОС.
Что дальше? Дальше включаем компы с популярными ОС, запус-
каем на них популярные браузеры и исполняем наши тест-кейсы.
Тестирование с разными браузерами называется кросс-браузер-
тестированием (cross-browser testing).
Тестирование с разными ОС называется кросс-платформ-тести-
рованием (cross-platform testing).
Примером тестирования совместимости вашего сайта и "железа" явля-
ется ситуация, когда полноценное пользование вашим сайтом возможно
только при наличии видеокарты определенного типа, например поддер-
живающей технологию DirectX версии Х.Х. Здесь мы можем, например,
протестировать, каков будет опыт пользователя, если у того на машине
установлена устаревшая и неподдерживаемая видеокарта (кстати, такое
тестирование будет называться негативным, но об этом позднее).
За исключением тех случаев, когда тест-кейсы специально созда-
ны для тестирования совместимости, я не рекомендую указывать
Классификация видов тестирования
157
в них детали, например, по типу и версии браузера, так как типы
и особенно версии меняются. Как мы помним, излишняя детали-
зация приводит к трате времени на поддержание тест-кейсов.
3. По субъекту тестирования
• альфа-тестировщик (alpha tester);
• бета-тестировщик (beta tester).
АЛЬФА-ТЕСТИРОВЩИК (alpha tester)
Это сотрудники компании, которые профессионально или непро-
фессионально проводят тестирование: тестировщики, програм-
мисты, продюсеры, бухгалтеры, сисадмины, секретарши. В стар-
тапах накануне релиза нередко все работники, включая Харито-
ныча, сидят по 16 часов кряду, пытаясь найти непойманные баги.
БЕТА-ТЕСТИРОВЩИК (beta tester)
Это нередко баловень судьбы, который не является сотрудником
компании и которому посчастливилось пользоваться новой сис-
темой до того, как она станет доступна всем остальным. За бета-
тестирование иногда даже платят деньги (вспомните пример с 50
долл. в час за юзабилити-тестирование).
4. По времени проведения тестирования
ДО передачи пользователю — альфа-тестирование (alpha
testing):
• тест приемки (smoke test, sanity test или confidence test);
• тестирования новых функциональностей (new feature
testing);
• регрессивное тестирование (regression testing);
• тест сдачи (acceptance или certification test),