 |
|
Ad hoc – (англ.) устроенный для данной цели.
Ad hoc тестирование – интуитивное тестирование, выполняемое без тест-кейсов, планирования и документации.
Выполняется:
• При приемке/сдаче продукта, если тесты не формализованы
• В довесок к документированному тестированию
• Код уже написан, нужно срочно протестировать
16. Общепринятый порядок выполнения различных разновидностей тестирования.
Связь уровней тестирования(по порядку их выполнения)
Модульное тестирование
Интеграционное тестирование
Системное тестирование
Приемочное тестирование
17. Качество ПО. Когда продукт обладает хорошим качеством?
Качество ПО (Quality) – характеристика ПО как степень соответствия ПО требованиям к нему.
По стандарту ISO 9001: качество есть степень соответствия присущих характеристик требованиям.
Говорят, что программный продукт обладает хорошим качеством, если:
• При работе пользователя с программным продуктом возникает небольшое
число отказов. Этот факт свидетельствует о том, что на рабочее место просочилось лишь небольшое число дефектов.
• Программный продукт надежен, а это означает ,что его прогон редко завершается аварийным отказом или что он редко демонстрирует непредсказуемое поведение при работе в среде заказчика .
• Программный продукт удовлетворяет требованиям большинства пользователей.
18. Критерии качества ПО.
Критерии качества ПО
Корректность
наличие/отсутствие дефектов в спецификации, проекте и реализации
Практичность
легкость изучения и использования
Эффективность
степень использования системных ресурсов
Надежность
способность системы выполнять необходимые функции; интервал между отказами
Целостность
способность предотвращать неавторизованный или некорректный доступ
Адаптируемость
возможность использования в других областях и средах
Правильность
степень безошибочности данных, выдаваемых системой
Живучесть
способность продолжать работу при недопустимых данных или в напряженных условиях
19. Зачем нужны стратегии тестирования?
Невозможно найти все ошибки в программе!
Необходимо выбирать мизерное подмножество входных данных…
… Но так, чтобы найти как можно больше дефектов.
Выбор должен делаться не случайно, а на основании некоторой стратегии
20. Как организовать тестирование для выявления всех ошибок?
Организация тестирования для выявления всех ошибок:
Подготовить все возможные наборы входных данных, включая некорректные.
Выполнить программу на всех возможных перестановках и сочетаниях входных данных.
Проанализировать все выходные данные и установить, что каждый тестовый выходной набор соответствует правильному.
Для реализации подобного тестирования потребовалось бы колоссальные временные, финансовые и человеческие ресурсы.
Простейшая программа, имеющая три входных параметра – символа латинского алфавита, имеет ~16 млн. комбинаций ввода (с учетом негативных тестов)
Если тестировщик сможет проверять одну комбинацию в секунду, ему потребуется 190 суток беспрерывной работы!
А если программа работает с оперативной памятью, аппаратными приборами, сетью, базами данных, где результат работы на некотором наборе входных данных зависит от данных, поступивших в программу ранее?
Исчерпывающее тестирование за разумное время невозможно!
21. Понятие Black-box, White-box, Gray-box тестирования.
Black-box - поведенческое, функциональное структурное
Неизвестно, как объект (программа) сконструирован внутри. Он как бы представляет собой черный ящик, о котором известна лишь информация о его
входах и выходах – функциональные требования к программе. При этом нет никакой информации о том, как именно программа преобразует входные данные в
выходные.
White-box: процедура тестирования строится исходя из знания того, как объект (программа) сконструирован внутри. Объект – это прозрачный ящик, о котором известна не только информация о его входах и выходах, но, прежде всего, известен механизм преобразования входных данных в выходные.
Gray-box: в исследованиях по методу "серого ящика"" объединены методы "белого ящика" и способы тестирования с помощью входных данных по методу "черного ящика". Удачным примером простого анализа по методу "серого ящика" является запуск программы внутри отладчика и подача на вход этой программы различных данных. При этом идет выполнение программы, а отладчик используется для выявления ошибок и некорректных состояний.
22. Скриптовое тестирование. Роли в скриптовом тестировании.
Скриптовое тестирование – пример философии «plan your work, work your plan»
Зародилось как компонента водопадного (waterfall) подхода к разработке ПО:
Роли в скриптовом тестировании:
В скриптовом тестировании определяется несколько ролей: тест-аналитик, тест-дизайнер и тестировщик. При этом важно заметить, что роль не обязательно должность! Один человек может выполнять несколько ролей одновременно.
Тест-аналитик
Тест-аналитик определяет, что должно быть протестировано, и этот процесс называется тест-анализом.
Результаты тест-анализа чаще всего представляются в виде таблиц с перечнем "что должно быть перечислено".
Тест-дизайнер
Тест-дизайн отвечает на вопрос как должен быть протестирован продукт. Тест-дизайнеры оптимизируют последовательность выполнения тестов, подготавливают тестовые данные для проверки и документируют тесты. Результаты работы тест-дизайнера:
· Чек-листы
· Тест-кейсы
Тестировщик
В скриптовом подходе задачи тестировщика сводятся к проверке тестовых сценариев, сохранении результатов и регистрации ошибок.
23. Артефакты и документы скриптового тестирования согласно стандарту IEEE 829.
Артефакты и документы скриптового тестирования описаны в стандарте «IEEE Standard for Software Test Documentation.»
Стандарт выделяет 8 артефактов и документов:
Test plan
Test design specification
Test case specification
Test procedure specification
Test item transmittal report (информация об итерации тестирования)
Test log
Test incident report
Test summary report
24. Достоинства и недостатки скриптового тестирования.