Недостатки исследовательского тестирования

 Не направлено на предотвращение дефектов. В скриптовом тестировании тесты создаются на этапе формирования требований и дизайна ПО, что позволяет находить дефекты раньше.

 Требует высокой квалификации тестировщика. Качество зависит от тестировщика.

 Нет документированных артефактов – каждая следующая итерация тестирования содержит новую фазу тест-анализа и тест-дизайна.

27. Парадокс пестицида.

 В сельском хозяйстве: После обработки поля часть вредителей погибала. Но оставшиеся приспособились к яду и с высокой вероятностью выживут при последующих обработках

 В тестировании: Эффективность неизменяемого набора тестов постепенно уменьшается по мере исправления дефектов, найденных этим набором. Тесты устаревают.

28. Что включает в себя проектирование тестов? Что такое тест-анализ и тест-дизайн?

29. Описание процесса проектирования тестов.

30. Разделение по категориям. Шаги метода.

Разделение по категориям основано на серии декомпозиций всего множества входных данных. Каждая декомпозиция зависит от характеристик этого множества.

! Разделение по категориям обычно не удается сделать полным.

Основу метода составляют три шага:

 Создание набора категорий, описывающих свойства множества входных данных.

 Разделение каждой категории на подмножества значений или диапазонов значений (классов эквивалентности), каждое из которых по специфике отличается от другого.

 Определение условий, при которых одни подмножества влияют на другие.

31. Разделение по категориям. Категории и подмножества. Свой пример.

Основу метода составляют три шага:

 Создание набора категорий, описывающих свойства множества входных данных.

 Определение условий, при которых одни подмножества влияют на другие.

! Разделение по категориям обычно не удается сделать полным.

32. Анализ граничных значений. Идея метода. Как выбирать тесты?

Обычно для проверки «позитивных» классов берется еще одно типичное

значение из каждого класса эквивалентности.

32. Анализ граничных значений. Свой пример.

33. Определение и идея синтаксического тестирования.

Синтаксическое тестирование – метод проверки для:

1. Командно-управляемого ПО

2. Элементов ПО, где требуется проверка корректности некоторого ввода.

Синтаксическое тестирование сводится к разбору строки и ответу на вопрос: «соответствует ли строка определенным для нее правилам?»

Правила для строки называются грамматикой

Форма Бэкуса-Наура (сокращенно БНФ) – формальный метод записи грамматики, в которой одни синтаксические элементы последовательно определяются через другие.

БНФ состоит из символов (<нетерминалов>) и букв (терминалов).

! Метод синтаксического тестирования может оказаться трудоемким.

Перед применением следует оценить затраты ресурсов и целесообразность применения.

34. Разновидности синтаксического тестирования.

Существует две разновидности синтаксического тестирования:

Чистое:

Постоим граф, соответствующий грамматике. Обеспечим покрытие всех ребер графа. Подбираются такие тесты, которые нормально распознаются графом – позитивные тесты.

Дополнительные тесты для циклов в графе.

Грязное:

Тесты подбираются с синтаксическими ошибками, специально

чтобы нарушить нормальную работу программы.

35. Как строить синтаксический граф на основе грамматики.

Граф строится от более глобальных правил к более простым, то есть постепенно раскрывается.

Вершины можно даже и не обозначать: основной упор делается на рёбра.

Граф является ориентированным.

36. Как подбирать позитивные синтаксические тесты.

Позитивный тест для анализатора контекстных условий – это такое синтаксически корректное предложение, на котором анализатор контекстных условий выдает вердикт «истина», т.е. предложение, корректное с точки зрения статической семантики целевого языка.Подбор должен вестись так, чтобы обеспечить полное покрытие рёбер графа.

37. Как подбирать негативные синтаксические тесты.

Негативный тест для анализатора контекстных условий – это такое синтаксически корректное предложение, на котором анализатор контекстных условий выдает вердикт «ложь», т.е. предложение, не корректное с точки зрения статической семантики целевого языка.

38. Комбинаторика тестов для негативных тестов.

Негативные тесты

• Негативные тесты не участвуют в комбинаторике тестов!

• В «типичный» позитивный тест по одному поочередно вносятся негативные

значения.

39. Комбинаторика тестов: Метод минимальных проверок.

• В каждом тесте комбинируется максимальное число значений.

• Когда все значения параметра уже поучаствовали в тесте, можно в другие тесты

подставлять типичное значение или чередовать.

• Метод дает минимально допустимое количество тестов.

• Кол-во тестов = максимальное кол-во значений у параметра – 5

40. Комбинаторика тестов: Метод перебора значений.

• Набор тестов содержит все возможные комбинации параметров.

• Позволяет проверить не только сами значения, но и их влияние друг на друга.

• Метод обеспечивает максимальное тестовое покрытие.

• Кол-во тестов = умножение кол-ва значений всех параметров: 2*2*2*5*2 = 80

41. Комбинаторика тестов: Метод атомарных проверок.

• Определяется типичный тест

• Каждый следующий тест отличается от предыдущего ровно одним значением.

• Дефекты легко локализуемы по результатам тестов

• Кол-во тестов = сумма значений – кол-во параметров: 13 – 5 = 8

42. Комбинаторика тестов: Метод Pairwise.

• По статистике, 97% ошибок кроется в комбинации не более, чем двух параметров.

• Тестовый набор содержит все возможные пары значений разных параметров.

• Для построения набора используются готовые алгоритмы (лучший AllPairs)

• Дефекты сложно локализуемы

• Кол-во тестов = произведение двух максимальных наборов значений: 2*5 = 10

43. Комбинаторика тестов: Метод взаимосвязанных проверок.

• Необходимо анализировать, как связаны параметры

• Эффективность метода зависит от квалификации тестировщика

• Полный перебор или pairwise для связанных параметров

• Минимальные проверки для не связанных параметров

• Кол-во тестов – дифференцированное - ?

44. Что такое таблица решений? Как составить таблицу решений.

Таблицы решений (Decision Tables) – способ представления сложных бизнес-правил (бизнес-логики), которые программа должна реализовывать. Метод еще называют тест-анализ на основе бизнес-логики.

Бизнес-логика - совокупность правил, принципов, зависимостей, ограничений поведения объектов предметной области, реализация предметной области в программе.

⇐ Предыдущая 1 2 345 Следующая ⇒