Mengorkestrasi Test Suite

Setelah membuat test suite, Anda perlu menambahkan konten pengujian. Apidog menyediakan mode "Static" dan "Dynamic" yang fleksibel untuk memenuhi berbagai kebutuhan manajemen pengujian.

Mengimpor Konten Pengujian

Pada halaman detail test suite di bawah tab Orchestration, klik + Add Endpoint Test Case atau + Add Test Scenario. Di jendela pilihan popup, Anda dapat beralih antara mode Static atau Dynamic.

1. Mode Static

Mode Static digunakan untuk menentukan secara presisi item pengujian yang akan dijalankan.

🎯 Logika Inti

Sistem mencatat ID kasus pengujian tertentu yang Anda pilih. Meskipun kasus pengujian baru ditambahkan ke kategori sumber, cakupan eksekusi suite ini tidak akan berubah, sehingga memastikan hasil pengujian tetap terkendali.

🚀 Skenario Penggunaan Terbaik

Verifikasi Perbaikan Bug (Hotfix): Pilih 3-5 kasus pengujian yang sangat terkait dengan bug, bentuk sebuah "paket verifikasi", lalu verifikasi hasil perbaikan dengan cepat tanpa membuang waktu menjalankan kasus yang tidak terkait.

Stabilisasi Bisnis Inti (Core Path): Untuk proses yang sangat inti dan stabil seperti "order-payment". Kita tidak ingin peringatan pemantauan terpicu karena pendatang baru secara tidak sengaja menambahkan kasus pengujian yang belum lengkap.

Pengujian Kompatibilitas Versi Lama: Pilih sekumpulan kasus pengujian endpoint lama secara khusus untuk memverifikasi kompatibilitas klien versi lama.

⚠️ Karakteristik Pemeliharaan

Biaya Pemeliharaan Tinggi: Jika kasus baru perlu disertakan dalam pengujian khusus ini, kasus tersebut harus ditambahkan secara manual.

2. Mode Dynamic

Mode Dynamic digunakan untuk secara otomatis memfilter item pengujian yang akan dijalankan melalui aturan.

🎯 Logika Inti

Sistem menyimpan "Aturan Filter" (Scope & Filter). Setiap kali dijalankan, sistem memindai seluruh proyek secara real time dan memasukkan semua kasus terbaru yang memenuhi kriteria ke dalam rencana eksekusi.

🚀 Skenario Penggunaan Terbaik

Pengujian Regresi Tingkat Modul: Tetapkan folder "Trading Center" sebagai folder sumber. Penguji hanya perlu menulis kasus baru di folder tersebut, dan suite akan secara otomatis menyertakannya saat dijalankan.

Smoke Test: Buat suite dinamis dengan aturan Priority = P0. Jalankan sebelum setiap rilis untuk secara otomatis mencakup semua kasus utama yang ditandai sebagai P0.

Verifikasi Iterasi Versi: Gunakan fitur tag, tetapkan aturan menjadi Tag = v2.5.0. Setelah pengembangan selesai, jalankan suite ini untuk memverifikasi semua fitur baru untuk versi ini.

⚠️ Karakteristik Pemeliharaan

Biaya Pemeliharaan Nol: Setelah aturan dikonfigurasi, tidak perlu memelihara suite itu sendiri setelahnya; cukup pelihara atribut kasus (lokasi, tag, prioritas).

Menyesuaikan Urutan Eksekusi

Konten yang diimpor akan ditampilkan dalam daftar, dan Anda dapat menyeret item daftar untuk menyesuaikan urutan eksekusi.

Untuk item yang ditambahkan secara "statis", Anda dapat menggunakan Edit untuk menghapus kasus pengujian satu per satu atau menghapus seluruh grup.

Untuk grup yang ditambahkan secara "dinamis", Anda hanya dapat menghapus seluruh grup atau mengedit kriteria filter, dan tidak dapat menghapus item individual di dalam grup.

Konfigurasi Lanjutan

Di sisi kanan halaman desain test suite, Anda dapat memperluas Advanced Config untuk memiliki kontrol yang lebih terperinci atas cara test suite dijalankan.

Lingkungan

Definisi: Secara default, mewarisi lingkungan eksekusi yang sudah ditetapkan dalam test suite. Jika lingkungan ditentukan di sini, konfigurasi lingkungan tersebut akan diprioritaskan selama eksekusi.

Kasus Penggunaan: Sesuai untuk skenario ketika Anda perlu menggunakan kembali set langkah pengujian yang sama di lingkungan yang berbeda.

Data Pengujian

Digunakan untuk menentukan apakah akan menggunakan data pengujian selama eksekusi.

Tanpa Data Pengujian: Langkah pengujian dieksekusi hanya sekali, tanpa menjalankan pengujian berbasis data.

Gunakan Data Pengujian: Jalankan beberapa kali berdasarkan data pengujian, umumnya digunakan untuk pengujian berparameter.

Saat Terjadi Kesalahan

Konfigurasikan bagaimana pengujian harus menangani kesalahan, yang dapat mencakup kegagalan aservi, kegagalan validasi format data, pengecualian permintaan endpoint, kesalahan server, dan sebagainya.

Abaikan: Lanjutkan mengeksekusi langkah berikutnya ketika terjadi kesalahan, tanpa menginterupsi eksekusi saat ini.

Lanjutkan: Ketika terjadi kesalahan, lewati sisa langkah pada putaran saat ini dan langsung masuk ke putaran eksekusi berikutnya.

Akhiri eksekusi: Segera hentikan langkah berikutnya setelah terjadi kesalahan.

Iterasi

Definisi: Jumlah kali setiap thread mengulangi semua langkah.

Kasus Penggunaan: Umumnya digunakan untuk verifikasi stabilitas atau skenario pengujian tekanan sederhana.

Penundaan

Definisi: Tetapkan berapa milidetik (ms) yang harus ditunggu setelah setiap langkah pengujian selesai sebelum mengeksekusi langkah berikutnya.

Kasus Penggunaan: Mencegah pemicu mekanisme rate-limiting atau circuit breaker pada server target akibat frekuensi permintaan yang tinggi, sehingga memastikan eksekusi pengujian berjalan lancar.

Simpan Permintaan/Respons

Definisi: Mengontrol apakah laporan pengujian menyertakan data detail permintaan dan respons (seperti Header, Body, dan sebagainya).

Opsi:

Semua: Simpan detail lengkap semua langkah tanpa mempertimbangkan lulus/gagal. Volume data besar, sesuai untuk debugging mendalam.

Hanya yang Gagal: Hanya simpan detail untuk langkah yang gagal selama eksekusi. Direkomendasikan, menghemat ruang penyimpanan dan memudahkan identifikasi cepat alasan kegagalan.

Jangan Simpan: Jangan simpan detail apa pun; hanya catat status lulus/gagal dan durasi.

Nilai Variabel Lingkungan/Global

Nilai variabel lingkungan/global menentukan nilai aktual mana yang akan digunakan untuk variabel lingkungan/global dalam skenario pengujian ini. Terdapat dua pilihan. Informasi detail dapat dilihat di sini. Saat memilih untuk menggunakan nilai variabel yang disimpan di Runner, Anda akan diminta untuk memilih lebih lanjut cakupan variabel yang akan digunakan.

Tujuan cakupan ini adalah membantu pengguna memisahkan variabel dengan lebih baik sesuai kebutuhan aktual, sehingga menghindari situasi ketika satu eksekusi tugas terjadwal menyebabkan tugas lain gagal akibat perubahan variabel. Setelah memilih cakupan, Anda juga dapat melihat nilai variabel dalam cakupan ini melalui entri yang muncul di antarmuka produk.

Cakupan Variabel di Runner	Baca/Tulis Variabel Lingkungan/Global	Deskripsi
Bagikan hanya dalam skenario pengujian saat ini	Dalam Runner yang ditentukan saat ini, skenario pengujian ini memiliki file khusus untuk menyimpan variabel lingkungan/global secara persisten. Hanya skenario pengujian saat ini yang dapat membaca dan menulis variabel dalam file ini.	Cakupan variabel terkecil dengan dampak minimal. Sesuai untuk kasus ketika hasil eksekusi sebelumnya dari skenario pengujian ini perlu digunakan dalam eksekusi berikutnya. File variabel untuk skenario pengujian, tugas, dan folder tugas semuanya disimpan di jalur kontainer Runner `/opt/runner/variables`.
Bagikan ke seluruh skenario pengujian dalam tugas terjadwal saat ini	Dalam Runner yang ditentukan saat ini, tugas terjadwal memiliki file untuk menyimpan variabel lingkungan/global yang dapat digunakan di seluruh skenario pengujiannya. Semua skenario pengujian dalam tugas terjadwal saat ini dapat membaca dan menulis variabel dalam file ini.	Cakupan variabel yang direkomendasikan dengan dampak sedang. Sesuai untuk kasus ketika data perlu dibagikan antara skenario pengujian yang berbeda dalam tugas terjadwal yang sama.
Bagikan ke seluruh tugas terjadwal dalam folder tugas terjadwal saat ini	Dalam Runner yang ditentukan saat ini, folder tugas terjadwal memiliki file untuk menyimpan variabel lingkungan/global yang dapat digunakan di seluruh tugas terjadwal dan skenario pengujiannya. Semua skenario pengujian di semua tugas terjadwal dalam folder saat ini dapat membaca dan menulis variabel dalam file ini.	Cakupan variabel terbesar dengan dampak paling signifikan. Ada kemungkinan menjalankan tugas terjadwal tertentu mengubah nilai variabel, yang menyebabkan kegagalan tugas terjadwal lainnya. Sesuai ketika data perlu dibagikan di beberapa tugas dalam folder yang sama.

Mengorkestrasi Test Suite

Mengimpor Konten Pengujian#

1. Mode Static#

2. Mode Dynamic#

Menyesuaikan Urutan Eksekusi#

Konfigurasi Lanjutan#

Lingkungan#

Data Pengujian#

Saat Terjadi Kesalahan#

Iterasi#

Penundaan#

Simpan Permintaan/Respons#

Nilai Variabel Lingkungan/Global#