Мій досвід використання ChatGPT у процесі тестування якості

ЗМІСТ СТАТТІ:

Мій досвід використання ChatGPT у процесі тестування якості

Привіт! Мене звуть Діана і вже 7 років я працюю QA manual, 5 з яких в компанії ApexTech. На сучасному етапі розвитку технологій, швидкий розвиток штучного інтелекту відкриває безмежні можливості для впровадження інноваційних методів у всі сфери життя. Однією з цих сфер є тестування якості (Quality Assurance (QA)), яке грає важливу роль у забезпеченні функціональності та надійності програмного забезпечення. У цій статті я хочу поділитися своїм досвідом використання ChatGPT у процесі тестування.

Експеримент 1: Генерація тестових сценаріїв

У моєму першому експерименті я вирішила використати ChatGPT для генерації різних тестових сценаріїв для веб додатку - процесс, що, зазвичай, вимагає багато часу та творчості.

 

Після кількох спроб, я отримала вражаючі результати. Навіть при стартовій інструкції "Створити тестовий сценарій для перевірки дати та часу" ChatGPT зміг згенерувати різні варіації сценаріїв, включаючи випадки з повідомленнями про помилку та неочікуваними взаємодіями з системою.
 

 

Експеримент 2: Тестування реакції на некоректні дані

Програмне забезпечення повинно коректно реагувати на некоректні дані користувачів. Використовуючи ChatGPT, я спробувала згенерувати різні варіанти некоректних даних і перевірити, як програма реагує на них.

 

Наприклад, я запитала модель, як можна зламати форму вводу електронної пошти, та отримала низку варіантів вводу, які можуть викликати помилки обробки даних. Так я покращила безпеку та надійність форми у веб-додатку.

 

Експеримент 3: Генерація Pairwise тестів 

Pairwise testing (попарне тестування)– це техніка формування наборів тестових даних з повного набору вхідних даних в системі, яка дозволяє істотно скоротити кількість тест-кейсів. Якщо по простому, то це формування таких наборів даних, в яких кожне тестоване значення кожного з перевірених параметрів хоча б один раз поєднується з кожним тестованим значенням всіх інших параметрів, які перевіряються. Ця техніка допомагає значно зменшити кількість перевірок і при цьому охопити всі дані. Так за допомогою чату GPT створити такі тести можна швидко і якісно, зекономивши час.

 

Наприклад, ось попарне тестування форми створення заявки з такими полями: pipeline, amount, product та deal owner:

 

 

Як видно із зображення в нас вийшло всього 5 тест кейсів замість 81 (3х3х3х3=81), що робить життя QA набагато легшим 🙂

Експеримент 4: Тестування UI

У цьому експерименті я вирішила використати ChatGPT для створення тестових сценаріїв та запитань, які перевірять різні аспекти інтерфейсу.

 

Завдяки здатності моделі генерувати варіанти взаємодії користувача з інтерфейсом, я змогла створити складні сценарії, такі як взаємодія з різними елементами меню, ввод даних у форми, перехід між різними сторінками тощо. Так я охопила більше тестових сценаріїв та виявила незрозумілі або недосяжні для ручного тестування UI проблеми.
 

Експеримент 5: Оптимізація тестових сценаріїв

Час і ресурси для проведення тестування обмежені, тому важливо максимізувати ефективність тестових сценаріїв. У цьому експерименті я використала ChatGPT для оптимізації набору тестових сценаріїв.

 

Замість випадкового вибору тестових сценаріїв, я запитала модель, які з них є найбільш критичними й найефективнішими для виявлення проблем. Це дало можливість зробити тестування більш зосередженим на ключових аспектах програми.

Висновки

Мій досвід використання ChatGPT в QA показав, що цей інструмент може бути дуже корисним, допомагає зберегти час, оптимізувати процес тестування та зменшити можливі помилки.

 

Проте важливо пам'ятати, що ChatGPT має свої обмеження. Він може генерувати правдоподібний контент, але не завжди розуміє ситуації, які пов'язані з конкретикою бізнес-логіки або специфічними аспектами тестування.

 

Попри обмеження, ChatGPT може бути цінним доповненням до інструментарію QA-інженера. Якщо ви плануєте використовувати ChatGPT у процесі тестування, ось кілька порад з мого досвіду:

• Чітко формулюйте завдання: Підготовте чітку та конкретну інструкцію для ChatGPT. Це допоможе отримати більш точні результати.
• Перевіряйте результати на практиці: Отримані відповіді варто перевірити шляхом виконання згенерованих сценаріїв тестування або аналізу реакції програми на дані.
• Контролюйте процес: Пам'ятайте, що ChatGPT може генерувати невірну інформацію, а отже використовувати модель можливо лише як додатковий ресурс.
• Творчість і експерименти: ChatGPT відкриває нові можливості творчого підходу до тестування. Експериментуйте з різними задачами та варіаціями, щоб знайти найкращі.

Чи ви теж використовуєте ChatGPT в тестуванні? Поділіться своїми найкрутішими знахідками. Допоможімо динодному і разом зберемо найкращі кейси використання ChatGPT в QA.