Eksperimen CTA perlu dimulai dari hipotesis, definisi keberhasilan, dan cara membandingkan versi secara adil. Mengganti teks tombol lalu melihat angka naik belum cukup untuk mengetahui penyebabnya.
Tentukan dulu masalah yang ingin diperiksa. Misalnya, pengunjung mengira tombol langsung membuat pesanan, padahal langkah berikutnya hanya mengecek kecocokan layanan.
Tulis hipotesis yang dapat diuji
Contoh ilustratif: “Jika label tombol menjelaskan bahwa pengguna akan mengecek cakupan layanan, lebih banyak pengunjung yang relevan akan menyelesaikan permintaan yang sesuai.”
Hipotesis menyebut alasan perubahan dan hasil yang diharapkan. Jangan hanya menulis “tombol baru lebih menarik”, karena kalimat itu tidak menjelaskan kebutuhan pengguna atau hasil yang harus diamati.
Pastikan kedua versi tetap jujur. Eksperimen tidak memerlukan janji berlebihan, informasi yang disembunyikan, atau tekanan palsu untuk menghasilkan perbedaan.
Tentukan unit dan paparan
Putuskan apakah pengukuran menggunakan pengguna, sesi, atau unit lain yang sesuai. Gunakan definisi yang konsisten untuk pembilang dan penyebut.
Catat siapa yang benar-benar mendapat kesempatan melihat versi. Jangan membandingkan semua kunjungan halaman dengan klik dari kelompok paparan yang berbeda.
Jika menjalankan pembagian versi secara bersamaan, tentukan mekanisme penugasan dan pertahankan konsistensinya. Jangan menganggap pembagian sudah acak hanya karena kedua versi terlihat bergantian pada browser penguji.
Pilih hasil utama dan pengaman
Klik dapat menjadi hasil antara. Jika tujuan CTA adalah permintaan yang sesuai, kamu perlu memeriksa pengiriman, validitas, dan kriteria kesesuaian.
Tambahkan pengaman yang relevan, seperti kesalahan formulir, permintaan di luar cakupan, atau beban penerima. Kenaikan klik yang disertai lebih banyak salah paham belum tentu membantu pengguna maupun layanan.
Jangan memilih metrik kemenangan setelah melihat hasil. Tentukan hasil utama dan cara membaca konsekuensi lain sebelum eksperimen berjalan.
Isi brief sebelum menerapkan
| Bagian | Isi yang disepakati |
|---|---|
| Masalah | Bukti atau pengamatan yang melandasi |
| Hipotesis | Mengapa perubahan dapat membantu |
| Perbedaan versi | Satu perubahan yang ingin dipahami |
| Unit dan paparan | Siapa yang dihitung serta kapan |
| Hasil utama | Kejadian valid yang diukur |
| Pengaman | Dampak yang tidak boleh diabaikan |
| Evaluasi | Rencana durasi, kebutuhan data, dan keputusan |
Kebutuhan data bergantung pada rancangan, tingkat kejadian awal, dan perbedaan yang ingin dideteksi. Tidak ada jumlah pengunjung universal yang membuat semua eksperimen layak disimpulkan.
Baca perhitungan dengan benar
Contoh berikut hanya ilustrasi aritmetika: versi A mendapat 20 hasil valid dari 1.000 paparan, sehingga rasionya 2%. Versi B mendapat 25 dari 1.000, sehingga 2,5%.
Selisihnya 0,5 poin persentase. Kenaikan relatifnya 25%, dihitung dari 0,5 dibagi 2. Angka relatif terlihat lebih besar, tetapi keduanya menjelaskan perbedaan yang sama.
Perhitungan itu belum membuktikan keunggulan yang andal atau sebab-akibat. Masih perlu memeriksa rancangan, ketidakpastian, konsistensi pengukuran, serta kondisi pelaksanaan.
Hindari keputusan karena satu lonjakan
Jangan menghentikan pengamatan begitu angka terlihat menguntungkan tanpa aturan yang telah ditentukan. Catat gangguan seperti perubahan sumber kunjungan, promosi lain, atau masalah penerimaan data.
Jika hanya membandingkan sebelum dan sesudah, sebutkan keterbatasannya. Periode yang berbeda dapat memiliki kondisi yang berbeda meskipun halaman terlihat sama.
Ketika data terlalu sedikit, hasil yang tepat dapat berupa belum dapat menyimpulkan. Itu bukan kegagalan laporan; itu batas bukti yang perlu dihormati.
Pilih alternatif saat trafik rendah
Gunakan uji tugas untuk memeriksa apakah label dipahami dan apakah pengguna mengetahui langkah berikutnya. Perbaiki kesalahan yang jelas, seperti tombol yang tidak berfungsi atau janji yang tidak sesuai.
Pengujian kualitatif membantu menemukan hambatan, tetapi tidak memberikan estimasi tingkat konversi populasi. Cocokkan metode dengan pertanyaan yang ingin dijawab.
Setelah evaluasi, simpan keputusan, bukti, dan batasnya. Pertahankan versi baru ketika alasan yang tersedia mendukungnya, atau lanjutkan pemeriksaan ketika perbedaannya belum dapat dipahami. Tujuan eksperimen adalah memperbaiki keputusan, bukan selalu menghasilkan versi yang dinyatakan menang.
