При первом запуске тесты не выполняются

[PashaMak]

Описание ошибки
При первом запуске заполняется дерево тестов, но тесты не выполняются при синхронном режиме.

Сценарий воспроизведения
Шаги по воспроизведению:

1. Открыть очистить кэш известных шагов и перевести конфигурацию в синхронный режим
2. Загрузить и выполнить тесты через командную строку
3. Тесты загрузятся но не выполнятся, при этом тесты посчитаются выполненными и не будет алюра.

Ожидаемое поведение, если бы ошибки не было
Тесты должны начать прогоняться.

Скриншоты

Окружение:

• Версия операционной системы: Windows 10 (64)
• Редакция платформы 1С 8.3.12
• Версия Vanessa.ADD 6.4.0
• Версия OneScript 1.0.21

Дополнительный контекст

Проверил на версиях 6.0-6.4 ошибка воспроизводится.
По отладчику видно что метод НачатьПеремещениеФайлов выполняется и управление передается на построение сценариев по известным шагам, после этого управление передается на перемещение, в процессе которого и заполняются эти шаги. При переводе в асинхронный режим работает.
Синхронность режима определяется настройкой конфигурации, которая не переносится на новые базы в EDT. Зачем синхронность расширений и внешних компонент связывать с синхронностью тестов? Может стоит вынести настройки асинхронного режима отдельно в файл настроек?

[artbear]

@PashaMak Спасибо за анализ, проверю.

[artbear]

@PashaMak исправление планируем в первую очередь. должно быть в релизе 6.5.0 на этой неделе

[PashaMak]

Что насчет выноса настройки асинхронного режима в настройки?

[artbear]

@PashaMak не удалось полностью повторить твою проблему, она воспроизвелась у меня всего один раз за множество попыток.

но удалось повторить и исправить очень похожую проблему с отсутствием шагов фич при сбросе кеша.

я сделал исправление.

проверил его на куче вариантов и платформ в разных режимах синхронности.

все работает.

Могу выложить дев-сборку, чтобы ты смог потестировать.

потестишь?

PS "насчет выноса настройки асинхронного режима в настройки" - думаю

[artbear]

@PashaMak заодно в этой сборке я сделал возможность сброса кеша через настройки, а не только интерактивно.

теперь можно сбросить гарантированно сбросить кеш перед запуском фичи в начале работы Ванессы.

чтобы ручками не сбрасывать каждый раз )

[PashaMak]

потестишь?

Уже нет.
Пока решили проблему переводом в асинхронный режим.

[artbear]

@PashaMak А можешь мне свою конфигурацию на тест выдать?
только мне для тестов, NDA соблюдем )

[PashaMak]

Контур у нас создается автоматически, поэтому при каждом запуске все окружение чистое.
Чтобы воспроизвести ошибку достаточно почистит кэш шагов.
Конфа не отправляется на [email protected].
Письмо принимается за спам и возвращается.

[artbear]

@PashaMak можешь в облако куда-нибудь положить, дать мне ссылку через мою почту, я скачаю, потом удалить сразу можно из облако

[StupnikovVG]

@artbear удалось в итоге воспроизвести и понять, как исправить?

[VladFrost]

@artbear у меня, кстати, в 6.5.0 тоже не запускается прогон в пакетном режиме.
Воспроизведение такое:

1. удалить все папки сборочной линии
2. развернуть тестовую базу из .dt
3. выполнить команду vrunner vanessa --vanessasettings VBParams.json

Результат:
Сразу после заполнения кэша выполнение сценариев не начинается, 1С:Предприятие закрывается.

Тесты начинают прогоняться только после повторного запуска.

Для обхода ошибки временно добавил retry:

    stage('Прогон BDD-сценариев') {
        retry(2) {
            cmd_failsafe("vrunner vanessa --vanessasettings VBParams.json")
            junit 'junitreport/junit.xml'
        }
    }

VBParams.json:

{
    "$schema":"https://raw.githubusercontent.com/silverbulleters/vanessa-runner/develop/behavior-schema.json",
    "ИмяСборки": "SBM",
    "ВерсияПлатформы": "8.3.15",
    "ВыводитьСообщенияВФайл": "$workspaceRoot/build/message.txt",
    "ПутьКVanessaBehavior": "$workspaceRoot/bddRunner.epf",
    "КаталогФич": "$workspaceRoot/features/",
    "КаталогиБиблиотек": [
        "$instrumentsRoot/features/libraries/",
        "$workspaceRoot/features/libraries/"
    ],
    "ВыполнитьСценарии": "Истина",
    "ЗавершитьРаботуСистемы": "Истина",
    "ЗакрытьTestClientПослеЗапускаСценариев": "Истина",
    "ДелатьЛогВыполненияСценариевВЖР": "Истина",
    "ДелатьОтчетВФорматеАллюр": "Истина",
    "ДелатьОтчетВФорматеjUnit": "Истина",
    "ДелатьОтчетВФорматеCucumberJson": "Истина",
    "ДелатьЛогВыполненияСценариевВТекстовыйФайл": "Истина",
    "КаталогOutputAllureБазовый": "$workspaceRoot/allure-results",
    "КаталогOutputjUnit": "$workspaceRoot/junitreport",
    "КаталогOutputCucumberJson": "$workspaceRoot/cucumber",
    "СоздаватьПодкаталогВКаталогеAllureДляЭтойСборки": "Ложь",
    "ДелатьСкриншотПриВозникновенииОшибки": "Истина",
    "КаталогOutputСкриншоты": "$workspaceRoot/allure-results/",
    "ИмяФайлаЛогВыполненияСценариев": "$workspaceRoot/build/vanessaonline.txt",
    "КомандаСделатьСкриншот": "\"C:\\Program Files\\IrfanView\\i_view64.exe\" /capture=1 /convert=",
    "СписокТеговИсключение": [
        "IgnoreOnCIMainBuild",
        "IgnoreOn8310",
        "IgnoreOnUFBuilds",
        "Ignore",
        "IgnoreIfNotIrfanView",
        "NotOnSRC",
        "IgnoreOnLinux",
        "Video",
        "Email",
        "EmptyIB",
        "RLS"
    ],
    "СписокТеговОтбор": [],
    "ТаймаутЗапуска1С": "100"
}

[artbear]

@VladFrost @StupnikovVG @PashaMak Коллеги в #674 (comment) подтвердили, что исходная проблема решена.

проверьте готовый бинарник c bddRunner.epf из #674 (comment)

жду.

[artbear]

я выполнил условия из шапки, у меня на последних исправлениях все штатно выполняется и выдаются результаты

@VladFrost @StupnikovVG @PashaMak

[VladFrost]

Проверил: с новым бинарником тестирование запускается с первого раза.

[artbear]

@VladFrost Большое спасибо!

Отлично, значит, проблема решена окончательно!

[PashaMak]

Проверил, тесты отработали, аллюр соформировался.

@VladFrost @StupnikovVG @PashaMak Коллеги в #674 (comment) подтвердили, что исходная проблема решена.

проверьте готовый бинарник c bddRunner.epf из #674 (comment)

жду.

[StupnikovVG]

В связи со сменой работы временно не могу проверить. Но уважаемому сообществу разработчиков верю на слово ))

@VladFrost @StupnikovVG @PashaMak Коллеги в #674 (comment) подтвердили, что исходная проблема решена.

проверьте готовый бинарник c bddRunner.epf из #674 (comment)

жду.