Статусы тестов в формате тестовых фреймворков (JUnit, NUnit и т.п.)

[artbear]

Статусы тестов в формате тестовых фреймворков (JUnit, NUnit и т.п.)

• Failed - отдельные статусы для падения после проверки (по assert)
• Broken - для падения из-за возникшего исключения
• Pending показывает исключенные из запуска тесты (аннотация @ignore в JUnit)
• Canceled — тесты, пропущенные в рантайме из-за падения предусловия (assume failure)
• Passed - "зеленые" тесты (уже есть)

Статусы удобны для анализа результатов тестирования.

[ghost]

меня очень волнует статус Pending - для менеджера продукта тесты которого сгенерированы на основе gherkin таким образом появляется прямая метрика оценки недотестированности приложения

[pumbaEO]

Ну еще как пример Pending теста - это тесты использующие COM , при этом на linux платформе они будут всегда Failed, а с использованием Pending - можно понимать, что пропущены, а не упали.

[ghost]

Я кстати как делать платформо-зависимые тесты так и не нашел ни в одной из спецификаций.
Везде стоит в основном что-то типа IF windows ELSEIF linux с помощью директив препроцессора

[artbear]

@ValeraS

Сейчас все ошибки выглядят одинаково, была ли это ошибка проверки или это какая-то не запланированная ошибка. Предлагается ввести две категории ошибок:
errors - не запланированные ошибки
failures - ошибки, возникшие при выполнении проверочных методов.

При формировании отчета в mxl для ошибок failures не выводить служебную информацию (имя модуля, строка модуля и т.д.), так как, в данном случае, эта информация не информативна.

[ValeraS]

Предлагаю для реализации функциональности статуса Pending(skip), добавить метод

ЮТест.ПропуститьТест(ПричинаПропуска);

Вызывать его из метода теста.

Для пропущенных тестов, в дереве тестов устанавливать состояние мЗначенияСостоянияТестов.НеРеализован?
Но при этом выводить отчет по ошибкам, с указанием пропущенных тестов.

Про статус Canceled, кажется он излишен. Например, в JUnit, в раннере по умолчанию, такие тесты обрабатываются как пропущенные(https://github.com/junit-team/junit/wiki/Assumptions-with-assume).

[artbear]

1 Canceled - заготовка на будущее, я написал, чтобы не забыть. у нас все равно нет предусловий :)

2 по ПропуститьТест согласен.

3

Для пропущенных тестов, в дереве тестов устанавливать состояние мЗначенияСостоянияТестов.НеРеализован?

Сейчас так и есть, состояние же ставится именно так.

4

Но при этом выводить отчет по ошибкам, с указанием пропущенных тестов.

Здесь не понял, поясни. сейчас пропущенные тесты указываются в хмл-файле как пропущенные/pending

[ValeraS]

3. Сейчас, состояние НеРеализован устанавливается, если тестовый метод заявлен, а по факту отсутствует. В тестах есть места, где так сделано специально (например, есть тест где при формировании списка тестов на linux к именам методов добавляется суффикс). А в большинстве случаев, если тестовые методы в текущем режиме запуска должны пропускаться, то они просто не добавляются в список тестов.
   Предлагается, тесты, которые реализованы, но не должны выполнятся обозначать вызовом ПропуститьТест, и считать их выполненными со статусом Pending. А если отсутствует реализация, то просто пропускать тест (как сейчас и делается)
4. При формировании отчета в xml, на текущий момент, указывается только два статуса passed и failure. Причем, не реализованные тесты отмечаются как пройденные успешно.

[artbear]

1. Возможно, мы об одном.
   Предлагаю совместить оба варианта - тесты с вызовом ПропуститьТест получают статус Pending + тесты, у которых нет метода-реализации, также пропускаются и получают этот статус (как и сейчас).
2. Когда выполнял предыдущую доработку для pending, я смотрел xsd-файл для JUnit XML, не увидел там варианта для записи количества pending в итоговые атрибуты. Плохо смотрел?

[ValeraS]

1. Наверное о разном)) Состояния тестов в обоих случаях будет одинаковым, а статус результата выполнения, предлагаю делать только для явно указанных.
2. там вроде skipped должен быть.

[artbear]

1. Нет, тогда не соглашусь. Нужно совместить оба подхода, юзабилити наше все.

[ValeraS]

1. Хорошо, тогда в xml тесты без реализации писать как skipped c сообщением "Отсутствует реализация тестового метода".

[artbear]

Со skipped в хмл согласен