Мой опыт использования ChatGPT в процессе тестирования качества

СОДЕРЖАНИЕ СТАТЬИ:

Мой опыт использования ChatGPT в процессе тестирования качества

Привет! Меня зовут Диана, и я уже 7 лет работаю QA manual, 5 из которых в компании ApexTech. На современном этапе развития технологий, быстрое продвижение искусственного интеллекта открывает неограниченные возможности для внедрения инновационных методов во всех сферах жизни. Одной из этих сфер является тестирование качества (Quality Assurance (QA)), которое играет важную роль в обеспечении функциональности и надежности программного обеспечения. В этой статье я хочу поделиться своим опытом использования ChatGPT в процессе тестирования.

Эксперимент 1: Генерация тестовых сценариев

В моем первом эксперименте я решила использовать ChatGPT для генерации различных тестовых сценариев для веб-приложения - процесса, который, обычно, требует много времени и творчества.

 

После нескольких попыток, я получила впечатляющие результаты. Даже при начальной инструкции "Создать тестовый сценарий для проверки даты и времени" ChatGPT смог сгенерировать различные вариации сценариев, включая случаи с сообщениями об ошибках и неожиданными взаимодействиями с системой.
 

 

Эксперимент 2: Тестирование реакции на некорректные данные

Программное обеспечение должно корректно реагировать на некорректные данные пользователей. Используя ChatGPT, я попыталась сгенерировать различные варианты некорректных данных и проверить, как программа реагирует на них.

 

Например, я спросила модель, как можно сломать форму ввода электронной почты, и получила ряд вариантов ввода, которые могут вызвать ошибки обработки данных. Таким образом, я улучшила безопасность и надежность формы в веб-приложении.
 

Эксперимент 3: Генерация Pairwise тестов

Pairwise testing (парное тестирование) - это техника формирования наборов тестовых данных из полного набора входных данных в системе, которая позволяет существенно уменьшить количество тест-кейсов. Проще говоря, это формирование таких наборов данных, в которых каждое тестируемое значение каждого из проверяемых параметров хотя бы один раз сочетается с каждым тестируемым значением всех других параметров, которые проверяются. Эта техника помогает значительно уменьшить количество проверок, при этом охватывая все данные. Таким образом, с помощью чата GPT создать такие тесты можно быстро и качественно, сэкономив время. Например, вот парное тестирование формы создания заявки с такими полями как: pipeline, amount, product и deal owner:
 

 

Как видно из изображения, у нас получилось всего 5 тестовых кейсов вместо 81 (3x3x3x3=81), что делает жизнь QA гораздо проще 🙂

Эксперимент 4: Тестирование UI

В этом эксперименте я решила использовать ChatGPT для создания тестовых сценариев и вопросов, которые будут проверять различные аспекты интерфейса.

 

Благодаря способности модели генерировать варианты взаимодействия пользователя с интерфейсом, мне удалось создать сложные сценарии, такие как взаимодействие с различными элементами меню, ввод данных в формы, переход между разными страницами и так далее. Таким образом, я охватила больше тестовых сценариев и выявила неясные или недостижимые для ручного тестирования UI проблемы.
 

Эксперимент 5: Оптимизация тестовых сценариев

Время и ресурсы для проведения тестирования ограничены, поэтому важно максимизировать эффективность тестовых сценариев. В этом эксперименте я использовала ChatGPT для оптимизации набора тестовых сценариев.

 

Вместо случайного выбора тестовых сценариев, я спросила модель, какие из них являются наиболее критичными и наиболее эффективными для обнаружения проблем. Это позволило сделать тестирование более сосредоточенным на ключевых аспектах программы.

Выводы

Мой опыт использования ChatGPT в QA показал, что этот инструмент может быть очень полезным, помогает экономить время, оптимизировать процесс тестирования и уменьшить возможные ошибки.

 

Однако важно помнить, что ChatGPT имеет свои ограничения. Он может генерировать правдоподобный контент, но не всегда понимает ситуации, которые связаны с особенностями бизнес-логики или специфическими аспектами тестирования.

 

Несмотря на ограничения, ChatGPT может быть ценным дополнением к инструментарию QA-инженера. Если вы планируете использовать ChatGPT в процессе тестирования, вот несколько советов из моего опыта:

• Четко формулируйте задание: Подготовьте четкую и конкретную инструкцию для ChatGPT. Это поможет получить более точные результаты.
• Проверяйте результаты на практике: Полученные ответы стоит проверить путем выполнения сгенерированных сценариев тестирования или анализа реакции программы на данные.
• Контролируйте процесс: Помните, что ChatGPT может генерировать неверную информацию, и поэтому использовать модель можно только как дополнительный ресурс.
• Творчество и эксперименты: ChatGPT открывает новые возможности творческого подхода к тестированию. Экспериментируйте с различными задачами и вариациями, чтобы найти лучшие.

Вы также используете ChatGPT в тестировании? Поделитесь своими самыми интересными находками. Давайте помогать друг другу и вместе соберем лучшие кейсы использования ChatGPT в QA.