Performa total suatu kelompok creative dapat terlihat lebih tinggi karena lebih banyak traffic-nya masuk ke produk yang mudah dibeli. Untuk menilai pesan atau format, bandingkan hasil di dalam produk dan konteks yang sepadan. Tetap simpan angka total untuk membaca bisnis, tetapi jangan menjadikannya bukti bahwa satu format selalu lebih unggul.
Masalah ini bisa muncul meskipun rumus spreadsheet benar. Kamu sudah membagi total pembelian dengan total sesi, tetapi komposisi sesi kedua kelompok berbeda. Saya akan memakai contoh kecil untuk menunjukkan bagaimana ranking total bisa berlawanan dengan hasil di setiap produk.
Tentukan kelompok creative sebelum melihat pemenang
Creative family adalah kelompok materi dengan ciri yang kamu definisikan secara konsisten. Kamu dapat mengelompokkan berdasarkan demonstrasi penggunaan, pengalaman pelanggan, atau jenis penjelasan tertentu. Jangan menggabungkan semua perbedaan sekaligus ke satu label.
Misalnya, kategori “demo” ditentukan dari materi yang memperlihatkan cara memakai produk. Kategori “review” memperlihatkan penjelasan pengalaman pemakai yang benar-benar tersedia. Itu definisi kerja pada contoh, bukan klaim bahwa semua demo atau review memiliki kualitas yang sama.
Simpan ID aset, versi, produk yang ditampilkan, produk tujuan, offer, periode, channel, dan label family. Creative yang sekaligus memuat demo dan review boleh diberi kategori campuran atau label tambahan. Tetapkan cara mengelompokkannya sebelum memilih hasil yang terlihat bagus.
Pemisahan konsep, angle, hook, dan variasi membantu membuat label yang berarti. Dua warna subtitle tidak harus menjadi dua family yang berbeda.
Gunakan denominator yang benar-benar sama
Contoh berikut memakai sesi halaman produk yang dapat dikaitkan ke family tertentu melalui aturan pencatatan yang sama. Conversion adalah sesi dengan setidaknya satu pembelian valid SKU tersebut dibagi sesi halaman SKU yang memenuhi definisi analisis.
Kita tidak mencampur klik iklan, pengunjung unik, add to cart, dan purchase event. Angka-angka itu mewakili unit berbeda. Jika data yang kamu punya menggunakan unit lain, tulis definisinya dan jaga konsisten.
Simpan pula periode dan kematangan laporan. Satu kelompok yang sudah mempunyai waktu untuk menghasilkan pembelian tidak sepadan dengan kelompok yang baru mulai tayang. Jika definisi atau kelengkapan data belum jelas, tahan ranking sampai masalah tersebut diselesaikan.
Lihat bagaimana ranking total dapat berbalik
Seluruh angka berikut adalah data hipotetis untuk latihan, bukan hasil eksperimen nyata. Kedua produk mempunyai kelompok demo dan review, tetapi pembagian traffic-nya sangat berbeda.
| Produk | Family | Sesi halaman produk | Sesi dengan pembelian | Conversion |
|---|---|---|---|---|
| A | Demo | 1.000 | 20 | 2% |
| A | Review | 100 | 1 | 1% |
| B | Demo | 100 | 10 | 10% |
| B | Review | 1.000 | 80 | 8% |
Di produk A, demo mencatat 2%, sedangkan review 1%. Di produk B, demo mencatat 10%, sedangkan review 8%. Jadi, dalam dua kelompok produk yang diamati, rate demo lebih tinggi.
Sekarang hitung total per family:
| Family | Total sesi | Total sesi dengan pembelian | Conversion gabungan |
|---|---|---|---|
| Demo | 1.100 | 30 | Sekitar 2,73% |
| Review | 1.100 | 81 | Sekitar 7,36% |
Perhitungannya 30 ÷ 1.100 × 100% dan 81 ÷ 1.100 × 100%. Review terlihat jauh lebih tinggi pada angka gabungan.
Tidak ada kontradiksi dalam hitungannya. Sebagian besar sesi demo berada pada produk A, yang rate pembeliannya lebih rendah dalam contoh. Sebagian besar sesi review berada pada produk B, yang rate pembeliannya lebih tinggi. Komposisi traffic ikut membentuk hasil total.
Rata-rata sederhana 2% dan 10% juga bukan conversion total demo yang benar-benar terjadi. Gunakan numerator dan denominator asli seperti pada perhitungan rasio gabungan. Setelah rumusnya benar, barulah periksa apakah kesimpulan yang kamu tarik sesuai pertanyaan.
Angka total dan angka per produk menjawab hal berbeda
Jika pertanyaannya berapa banyak pembelian yang tercatat dari seluruh sesi dalam tiap family, angka gabungan berguna. Pada contoh, kelompok review memang mencatat 81 sesi bertransaksi, dibanding 30 pada demo.
Namun jika pertanyaannya apakah tim harus mengubah seluruh creative menjadi review, angka itu belum cukup. Kamu sedang mengambil keputusan tentang creative, sementara komposisi produk ikut berubah.
Melihat hasil per produk mempersempit masalah, tetapi belum membuktikan demo menyebabkan conversion lebih tinggi. Audience, harga, promo, placement, waktu tayang, dan kualitas eksekusi di dalam setiap produk masih bisa berbeda. Kelompok review A bahkan hanya mempunyai satu sesi bertransaksi; kesimpulannya sangat terbatas.
Jangan mengganti kekeliruan “review pasti menang” menjadi “demo pasti menang”. Hasil yang dapat dipertanggungjawabkan adalah: ranking gabungan dipengaruhi product mix, dan perbandingan per produk menghasilkan hipotesis yang perlu diperiksa.
Pecah kelompok berdasarkan perbedaan yang relevan
Mulai dari dimensi yang mempunyai alasan bisnis kuat. Produk dan offer sering menjadi titik awal karena keduanya menentukan apa yang dibeli serta syarat pembeliannya. Channel atau status pelanggan dapat menjadi dimensi tambahan ketika mengubah konteks keputusan.
Jangan memecah laporan ke setiap kombinasi yang tersedia. Produk × channel × usia × kota × hari × format dapat menghasilkan banyak kelompok kosong atau hanya satu pembelian. Tabelnya tampak detail, tetapi sulit mendukung keputusan.
Gunakan urutan pemeriksaan ini:
- Periksa keterbandingan utama. Apakah produk, offer, periode, dan definisi conversion cocok?
- Cari pergeseran komposisi terbesar. Family mana yang mendapat lebih banyak traffic dari produk atau sumber tertentu?
- Baca hasil dalam kelompok yang punya kedua pembanding. Pertahankan jumlah sesi dan transaksi, jangan hanya persentase.
- Tandai kelompok yang belum dapat dibandingkan. Tidak adanya review untuk suatu SKU bukan conversion review nol.
- Tulis penjelasan alternatif. Apa yang masih bisa menjelaskan selisih selain family creative?
Jika tidak ada produk yang sama-sama mempunyai demo dan review, laporan belum menyediakan pembandingan dalam produk. Kamu tidak perlu memaksakan ranking. Pilih satu produk yang relevan untuk uji berikutnya.
Jangan membagi revenue ke creative tanpa dasar
Analisis dapat menjadi lebih rumit ketika orang melihat iklan satu produk tetapi membeli produk lain. Produk yang ditampilkan dan produk yang dibeli adalah dua dimensi berbeda.
Kalau laporan tidak memungkinkan hubungan keduanya ditelusuri, jangan menyalin seluruh revenue SKU ke setiap creative yang menampilkan SKU itu. Sajikan hasil sesuai tingkat data yang tersedia. Kamu tetap dapat melihat bahwa family tertentu banyak menampilkan B, tetapi belum tentu dapat menentukan revenue item yang disebabkannya.
Begitu pula dengan spend. Alokasi yang lebih besar menunjukkan lebih banyak belanja diberikan kepada sebuah materi dalam konfigurasi tersebut. Itu tidak membuat exposure menjadi pembagian acak. Pembacaan spend allocation membantu membedakan hasil penayangan dari kesimpulan tentang sebab.
Ubah temuan menjadi satu pertanyaan tes
Setelah membaca tabel, tulis kartu perbandingan pendek. Isinya dapat seperti contoh ilustratif berikut:
| Bagian | Isi |
|---|---|
| Pertanyaan | Apakah pembuka demonstrasi layak diteruskan pada SKU A dengan offer normal? |
| Temuan awal | Rate demo A lebih tinggi pada data contoh, tetapi kelompok review kecil |
| Yang belum diketahui | Pengaruh audience, penempatan, dan kualitas eksekusi |
| Kondisi yang dijaga | SKU, offer, halaman tujuan, outcome, dan aturan pengamatan |
| Perubahan yang diuji | Pembuka demonstrasi versus pembuka pengalaman pemakai |
| Cara membaca | Outcome utama, jumlah pengamatan, biaya dan batas ketidakpastian |
Desain tes harus sesuai pertanyaan. Perbedaan A/B test dan flexible delivery menjelaskan mengapa memasukkan dua materi ke satu kumpulan penayangan tidak otomatis mengisolasi pengaruh creative.
Sesudah tes, simpan hasil total dan hasil pada konteks yang diuji. Jika belum cukup meyakinkan, catat itu sebagai hasil yang sah. Pembelajaran yang berguna membuat tim tahu pertanyaan berikutnya, tanpa memaksa satu format menjadi resep untuk seluruh katalog. Pilih artikel lain sesuai kebutuhanmu di topik Brand Growth.
