Apa Itu Pengujian A/B: Cara Melakukannya dan Contoh Praktis

Pelajari tentang pengujian A/B, riset konversi, cara memprioritaskan ide, hingga analisis pengujian serta manajemen arsip dari para ahli di Google, HubSpot, dan Shopify.

Baik Anda seorang pengusaha berpengalaman atau baru memulai, kemungkinan besar Anda sudah sering melihat artikel dan sumber tentang pengujian A/B. Bahkan, Anda mungkin sudah melakukan pengujian A/B pada baris subjek email atau postingan media sosial.

Meski sudah banyak yang membahas pengujian A/B dalam bidang pemasaran, banyak pengusaha masih kesulitan saat menerapkannya. Akibatnya, keputusan bisnis penting sering didasarkan pada hasil yang kurang akurat karena pengujian yang tidak dilakukan dengan tepat.

Pengujian A/B sering kali disederhanakan secara berlebihan, terutama dalam konten yang ditujukan untuk pemilik toko. Di bagian ini, Anda akan menemukan semua yang dibutuhkan untuk memulai berbagai jenis pengujian A/B untuk ecommerce, yang dijelaskan dengan sederhana tetapi tetap berguna. Pengujian A/B bisa menjadi faktor penentu dalam memilih posisi produk yang tepat, meningkatkan konversi pada halaman arahan (landing page), dan masih banyak lagi.

Apa itu pengujian A/B?

Pengujian A/B (A/B testing), yang juga disebut split testing atau bucket testing, adalah proses membandingkan dua versi halaman web, email, atau aset digital lainnya yang sama untuk menentukan mana yang berkinerja lebih baik berdasarkan perilaku pengguna.

Ini adalah alat yang berguna untuk meningkatkan performa kampanye pemasaran dan memahami lebih baik apa yang mendorong target audiens Anda untuk melakukan konversi (suatu tindakan). Pengujian A/B memungkinkan Anda menjawab pertanyaan bisnis penting, memaksimalkan pendapatan dari pengunjung yang sudah ada, serta membangun dasar strategi pemasaran yang berbasis data.

Cara kerja pengujian A/B

• Tentukan tujuan Anda. Tetapkan tujuan untuk pengujian A/B, seperti meningkatkan konversi, rasio klik-tayang (CTR), atau penjualan keseluruhan.
• Pilih elemen yang akan diuji. Anda dapat menguji judul, gambar, baris subjek email, pesan ajakan atau call to action (CTA), harga, tata letak, dll.
• Buat variasi. Kembangkan dua versi elemen: Versi A, yang merupakan versi asli aset Anda, atau "kontrol”. Versi B, versi baru dengan perubahan yang ingin Anda uji, dikenal sebagai "varian”. Dalam konteks pemasaran, biasanya Versi A ditampilkan kepada 50% pengunjung dan Versi B kepada 50% pengunjung lainnya.
• Jalankan pengujian. Tampilkan masing-masing versi kepada kelompok pengunjung selama periode yang ditetapkan. Misalnya, jika Anda menguji tombol CTA halaman beranda situs ecommerce, Anda mungkin menjalankan tes selama dua minggu untuk mencapai hasil yang signifikan secara statistik.
• Kumpulkan data. Pantau dan ukur konversi, klik tayang, tingkat interaksi, dan penjualan di kedua versi.
• Analisis hasil. Bandingkan performa Versi A dan Versi B untuk menentukan mana yang lebih efektif dalam memenuhi tujuan Anda. Versi dengan tingkat konversi lebih tinggi menjadi pemenangnya.
• Tentukan pemenang. Jika Versi B memiliki tingkat konversi lebih tinggi, jadikan versi tersebut sebagai pemenang dan arahkan 100% pengunjung ke sana. Ini menjadi kontrol baru dan Anda  bisa membuat variasi baru untuk pengujian berikutnya.
  

💡Pertimbangan: Tingkat konversi pengujian A/B tidak selalu menjadi ukuran keberhasilan yang sempurna.

Misalnya, jika Anda menetapkan harga item Rp750.000 di satu halaman dan gratis di halaman lain, hasilnya tidak akan memberikan wawasan atau temuan yang bernilai. Seperti alat atau strategi lain untuk bisnis, pengujian ini harus strategis.

Karena itu, penting untuk melacak nilai dari setiap konversi hingga ke tahap penjualan akhir.

Kapan sebaiknya melakukan pengujian A/B

Jika Anda mengelola situs maupun aplikasi seluler dengan pengunjung yang rendah, pengujian A/B mungkin bukan strategi optimasi yang paling efektif. Anda kemungkinan dapat melihat tingkat pengembalian investasi atau return on investment (ROI) yang lebih tinggi misalnya dengan melakukan user testing atau berbicara langsung dengan pelanggan. Berbeda dari anggapan umum, optimasi tingkat konversi tidak hanya bergantung pada pengujian.

Mengapa membutuhkan waktu dua hingga empat minggu? Ingat, pengujian sebaiknya dijalankan setidaknya selama dua siklus bisnis penuh. Dalam praktiknya, ini biasanya berarti sekitar dua hingga empat minggu. Mungkin Anda berpikir, “Tidak masalah, saya jalankan saja lebih lama sampai jumlah sampel terpenuhi.” Namun, pendekatan ini juga kurang tepat.

Semakin lama pengujian berjalan, semakin rentan terhadap risiko terpengaruh oleh faktor eksternal dan distorsi data sampel. Misalnya, pengunjung mungkin menghapus cookie mereka dan berakhir masuk kembali ke pengujian A/B sebagai pengunjung baru. Selain itu, seseorang bisa beralih dari ponsel ke desktop dan melihat variasi yang berbeda.

Pada dasarnya, membiarkan tes berjalan terlalu lama dapat mengganggu hasil sama seperti tidak membiarkannya berjalan cukup lama.

Pengujian memberikan hasil yang optimal untuk toko yang mampu mencapai jumlah sampel yang dibutuhkan dalam waktu dua hingga empat minggu. Jika belum, sebaiknya fokus terlebih dahulu pada strategi optimasi lain hingga pengunjung meningkat.

Menyiapkan proses pengujian A/B

Menentukan prioritas ide pengujian A/B

Melihat banyak contoh pengujian A/B memang menarik, tetapi sering kali ini tidak membantu saat harus menentukan apa yang perlu diuji terlebih dahulu. Lalu, harus mulai dari mana? Di sinilah pentingnya menentukan prioritas.

Ada beberapa framework umum yang bisa digunakan untuk memprioritaskan pengujian A/B:

• ICE. ICE adalah singkatan dari impact (dampak), confidence (keyakinan), dan ease (kemudahan). Masing-masing faktor diberi skor dari 1 hingga 10. Sebagai contoh, jika Anda bisa menjalankan pengujian sendiri tanpa bantuan developer atau desainer, Anda mungkin memberi nilai 8 untuk aspek kemudahan. Penilaian ini bersifat subjektif, sehingga jika ada beberapa orang yang terlibat, hasilnya bisa berbeda-beda. Karena itu, sebaiknya ada panduan penilaian agar tetap konsisten.
• PIE. PIE adalah singkatan dari potential (potensi), importance (kepentingan), dan ease (kemudahan). Sama seperti ICE, setiap faktor diberi skor dari 1 hingga 10. Misalnya, jika pengujian akan menjangkau 90% pengunjung, Anda bisa memberi nilai 8 untuk aspek kepentingan. Framework ini juga bersifat subjektif, sehingga panduan penilaian tetap diperlukan.
• PXL. PXL adalah framework prioritisasi dari platform edukasi CXL. Framework ini sedikit berbeda dan lebih fleksibel serta mendorong pengambilan keputusan yang lebih objektif. Alih-alih tiga faktor, Anda akan menemukan pertanyaan Ya/Tidak dan pertanyaan kemudahan implementasi. Misalnya, mungkin ada pertanyaan: "Apakah pengujian dirancang untuk meningkatkan motivasi?" Jika ya, mendapat 1. Jika tidak, mendapat 0. Anda dapat mempelajari lebih lanjut tentang framework ini dan mengunduh spreadsheet.
  

Setelah memiliki gambaran dari mana memulainya, Anda juga bisa mengelompokkan ide-ide tersebut. Misalnya, berdasarkan hasil riset konversi, gunakan tiga kategori berikut: implementasi, investigasi, dan tes.

• Implementasi. Langsung diterapkan. Biasanya untuk masalah yang sudah jelas atau sesuatu yang memang perlu diperbaiki.
• Investigasi. Perlu analisis lebih lanjut untuk memahami masalah atau menemukan solusi yang tepat.
• Tes. Ide sudah cukup kuat dan didukung data, sehingga siap untuk diuji.
  

Dengan kombinasi prioritisasi dan pengelompokan ini, Anda sudah siap untuk mulai melakukan pengujian A/B.

Kembangkan hipotesis

Sebelum melakukan pengujian apa pun, Anda perlu hipotesis. Misalnya, "Jika saya menurunkan biaya pengiriman, tingkat konversi akan meningkat."

Jangan khawatir, membentuk hipotesis dalam situasi ini tidak serumit yang dibayangkan. Pada dasarnya, Anda perlu menguji hipotesis, bukan ide. Hipotesis dapat diukur, bertujuan untuk memecahkan masalah konversi spesifik, dan berfokus pada temuan alih-alih kemenangan.

Saat menulis hipotesis, Anda bisa menggunakan formula dari Hypothesis Kit Craig Sullivan:

• Karena Anda melihat [masukkan data/ulasan dari riset]
• Anda mengharapkan bahwa [perubahan yang diuji] akan menyebabkan [dampak yang diharapkan], dan
• Anda akan mengukur ini menggunakan [metrik data]
  

Mudah, kan? Cukup isi bagian yang kosong dan ide pengujian A/B Anda akan berubah menjadi hipotesis yang jelas serta siap diuji.

Pilih alat pengujian A/B

Sekarang Anda dapat mulai memilih alat pengujian A/B atau layanan split testing. Dalam banyak kasus, beberapa nama yang sering muncul adalah Google Optimize, Optimizely, dan VWO. Semuanya adalah pilihan yang bagus dan aman.

Berikut informasi lebih lanjut tentang alat pengujian A/B populer tersebut:

• Google Optimize. Gratis, kecuali beberapa keterbatasan multivariat yang seharusnya tidak benar-benar memengaruhi Anda jika baru memulai. Ini bekerja dengan baik saat melakukan pengujian A/B melalui Google Analytics, sehingga menjadi nilai tambah.
• Optimizely. Memudahkan Anda menjalankan pengujian sederhana, bahkan tanpa kemampuan teknis. Stats Engine membantu proses analisis hasil pengujian. Namun, dibandingkan dengan opsi lainnya, Optimizely biasanya merupakan pilihan yang paling mahal.
• VWO. VWO dilengkapi dengan fitur SmartStats untuk memudahkan analisis. Selain itu, tersedia editor WYSIWYG (What You See Is What You Get) yang ramah untuk pemula. Setiap paket VWO juga sudah mencakup heatmap (pemetaan dengan warna berbeda untuk menunjukkan data), survei di situs, analisis form, dan lainnya.
  

Ada juga alat pengujian A/B di Shopify App Store yang mungkin berguna.

Setelah memilih alat pengujian A/B atau perangkat lunak split-testing, isi formulir pendaftaran dan ikuti instruksi yang diberikan. Prosesnya juga dapat bervariasi dari alat ke alat. Biasanya, Anda akan diminta untuk menginstal snippet (potongan kecil informasi) di situs dan menetapkan tujuan.

Menentukan cara menganalisis hasil

Jika Anda menyusun hipotesis dengan benar, bahkan hasil yang kalah pun tetap memberikan nilai, karena Anda akan mendapatkan temuan yang dapat digunakan untuk tes di masa mendatang dan di area lain dari bisnis Anda. Jadi, saat menganalisis hasil pengujian, Anda perlu fokus pada temuan, bukan apakah hasil pengujian itu menang atau kalah. Selalu ada sesuatu untuk dipelajari dan selalu ada sesuatu untuk dianalisis. Jangan abaikan hasil yang kalah!

Hal terpenting yang perlu diperhatikan di sini adalah kebutuhan akan segmentasi. Pengujian mungkin dapat kalah secara keseluruhan, tetapi kemungkinan besar hal itu dapat berkinerja baik dengan setidaknya segmen audiens tertentu.

Berikut beberapa contoh segmen audiens:

• Pengunjung baru
• Pengunjung yang kembali
• Pengunjung iOS
• Pengunjung Android
• Pengunjung Chrome
• Pengunjung Safari
• Pengunjung desktop
• Pengunjung tablet
• Pengunjung dari pencarian organik
• Pengunjung dari iklan berbayar
• Pengunjung dari media sosial
• Pembeli yang sudah login
  

Sudah terlihat polanya, bukan?

Kemungkinan besar, hipotesis Anda terbukti benar pada segmen tertentu. Hal itu juga merupakan temuan yang sangat berharga.

Analisis tidak hanya tentang apakah pengujian itu menang atau kalah. Segmentasikan data Anda untuk menemukan temuan tersembunyi yang tidak terlihat di permukaan.

Perangkat lunak pengujian A/B tidak akan melakukan analisis ini untuk Anda. Oleh karena itu, ini adalah keterampilan penting untuk dikembangkan seiring waktu.

Arsipkan hasil tes Anda

Katakanlah Anda menjalankan pengujian pertama besok. Akan tetapi, dua tahun kemudian, apakah Anda akan mengingat detail pengujian itu? Kemungkinan besar tidak.

Itulah mengapa mengarsipkan hasil pengujian A/B itu penting. Tanpa arsip yang terkelola dengan baik, semua temuan yang Anda peroleh akan hilang. Selain itu, tanpa dokumentasi, Anda juga berisiko menguji hal yang sama berulang kali.

Tidak ada cara yang "paling benar" untuk melakukan ini. Anda bisa menggunakan alat seperti Effective Experiments atau spreadsheet sederhana. Semuanya tergantung pilihan Anda, terutama saat baru memulai.

Alat apa pun yang Anda gunakan, pastikan untuk mencatat hal-hal berikut:

• Hipotesis yang diuji
• Tangkapan layar kontrol dan variasi
• Hasil pengujian (menang atau tidak)
• Temuan yang diperoleh melalui analisis
  

Seiring berkembangnya bisnis, penyimpanan arsip ini akan sangat membantu. Tidak hanya akan membantu Anda, tetapi juga untuk karyawan baru, penasihat, atau stakeholder.

Contoh pengujian A/B

Analisis teknis

Apakah toko Anda sudah dimuat dengan benar dan cepat di setiap browser? Di setiap perangkat? Anda mungkin memiliki ponsel baru, tetapi di luar sana seseorang bisa saja masih menggunakan ponsel lipat dari tahun 2005. Jika situs Anda tidak berfungsi dengan benar dan cepat, maka performa konversinya pun tidak akan optimal.

Survei di situs

Survei ini biasanya muncul saat pengunjung sedang menjelajahi situs Anda. Misalnya, survei bisa menanyakan kepada pengunjung yang sudah cukup lama berada di satu halaman apakah ada hal yang membuat mereka ragu untuk melakukan pembelian hari ini. Jika ada, apa alasannya? Anda dapat menggunakan data kualitatif ini untuk memperbaiki teks atau konten dan tingkat konversi.

Wawancara pelanggan

Tidak ada yang bisa menggantikan menelepon dan berbicara langsung dengan pelanggan Anda. Mengapa mereka memilih toko Anda daripada toko pesaing? Masalah apa yang mereka coba selesaikan saat tiba di situs Anda? Ada sejuta pertanyaan yang bisa ditanyakan untuk sampai ke inti siapa pelanggan Anda dan mengapa mereka membeli dari Anda.

Survei pelanggan

Survei pelanggan adalah survei lengkap yang dikirim kepada orang yang sudah melakukan pembelian (berbeda dengan pengunjung biasa). Saat merancang survei pelanggan, Anda ingin fokus pada: memahami pelanggan, mengidentifikasi masalah mereka, mengetahui keraguan yang mereka miliki sebelum membeli, dan menggali kata dan frasa yang mereka gunakan untuk menggambarkan toko Anda.

Analisis analitik

Apakah alat analitik Anda sudah melacak dan melaporkan data dengan benar? Pertanyaan ini mungkin terdengar sepele, tetapi banyak alat analitik yang ternyata tidak dikonfigurasi dengan tepat. Analisis analitik bertujuan untuk memahami bagaimana perilaku pengunjung. Misalnya, Anda mungkin fokus pada funnel atau alur perjalanan pengguna menuju konversi: Di bagian mana kebocoran alur konversi terbesar Anda? Dengan kata lain, di tahap mana sebagian besar pengunjung berhenti sebelum menyelesaikan proses? Bagian tersebut adalah titik awal yang tepat untuk melakukan pengujian A/B.

User testing

Di sini Anda mengamati orang secara langsung dalam eksperimen terkontrol (biasanya berbayar) saat mencoba menyelesaikan tugas di situs Anda. Misalnya, Anda mungkin meminta mereka menemukan video game dalam kisaran harga Rp600.000 hingga Rp900.000 lalu menambahkannya ke keranjang. Saat melakukan tugas ini, mereka akan menyampaikan secara langsung apa yang mereka pikirkan dan lakukan.

Session replay

Session replay mirip dengan user testing, tetapi sekarang Anda mengamati perilaku pengunjung asli dengan niat membeli yang nyata. Anda akan melihat saat pengunjung aktual menavigasi situs Anda. Apa yang sulit mereka temukan? Di bagian mana mereka merasa kesulitan? Di mana mereka tampak bingung?

Ada jenis riset tambahan juga, tetapi mulailah dengan memilih metode pengujian A/B terbaik untuk Anda. Dengan mencoba beberapa metode ini, Anda akan mendapatkan banyak ide berbasis data yang layak diuji.

Proses pengujian A/B dari para profesional

Setelah memahami dasar pengujian A/B, sekarang mari lihat proses yang dijalankan secara nyata oleh para profesional.

Krista Seiden, KS Digital

Proses langkah demi langkah untuk pengujian A/B web dan aplikasi dimulai dari tahap analisis. Menurutnya, ini adalah inti dari program pengujian yang efektif. Dalam tahap analisis, tujuannya adalah memeriksa data analitik, survei atau data UX, atau sebagai sumber temuan pelanggan lain yang mungkin Anda miliki untuk memahami di mana peluang optimasi Anda.

Setelah memiliki alur ide yang kuat dari tahap analisis, Anda dapat beralih ke hipotesis tentang apa yang mungkin salah dan bagaimana Anda dapat memperbaiki atau mengoptimalkan area tersebut.

Selanjutnya, saatnya membangun dan menjalankan pengujian Anda. Pastikan untuk menjalankannya dalam jangka waktu yang cukup (saya biasanya selama dua minggu untuk memperhitungkan perubahan atau anomali mingguan). Kemudian, ketika Anda memiliki data yang cukup, analisis hasil untuk menentukan pemenang.

Penting juga untuk meluangkan waktu di tahap ini untuk menganalisis yang kalah juga, seperti apa yang bisa Anda pelajari dari variasi ini?

Terakhir, Anda akan mencapai tahap ini setelah memiliki fondasi program optimasi yang kuat, yaitu personalisasi. Proses ini tidak memerlukan set alat yang kompleks, tetapi bisa memanfaatkan data yang sudah Anda miliki tentang pengguna.

Personalisasi dalam hal pemasaran dapat sesederhana menargetkan konten yang tepat ke lokasi yang tepat atau sekompleks menyesuaikan pengalaman berdasarkan perilaku masing-masing pengguna. Akan tetapi, jangan langsung ke tahap personalisasi. Pastikan Anda menghabiskan waktu yang cukup untuk mendapatkan dasar-dasar optimasi yang benar terlebih dahulu.

Alex Birkett, Omniscient Digital

Secara garis besar, proses yang digunakan adalah sebagai berikut::

• Kumpulkan data dan pastikan implementasi analitik sudah akurat.
• Analisis data untuk mendapatkan temuan.
• Ubah temuan menjadi hipotesis.
• Prioritaskan berdasarkan dampak dan kemudahan, serta maksimalkan alokasi sumber daya (terutama sumber daya teknis).
• Jalankan pengujian (dengan mengikuti praktik terbaik statistik sesuai pengetahuan dan kemampuan).
• Analisis hasil dan putuskan apakah perubahan perlu diterapkan atau tidak.
• Iterasi berdasarkan temuan, lalu mengulang proses.
  

Secara sederhana: riset, uji, analisis, ulangi.

Meskipun proses ini dapat berbeda tergantung konteksnya (apakah saya menguji fitur produk yang krusial untuk bisnis? CTA di blog? Apa profil risiko dan keseimbangan inovasi versus mitigasi risiko?), pendekatan ini tetap relevan untuk berbagai jenis dan skala bisnis.

Intinya adalah proses ini bersifat fleksibel, tetapi tetap mengumpulkan data yang cukup, baik ulasan pelanggan kualitatif maupun analitik kuantitatif, untuk dapat menghasilkan ide tes yang lebih baik dan memprioritaskannya dengan lebih baik sehingga dapat mengarahkan pengunjung ke toko online Anda.

Ton Wesseling, Online Dialogue

Pertanyaan pertama yang selalu kami jawab ketika ingin mengoptimalkan pengalaman pelanggan adalah: Di mana produk atau layanan ini cocok dengan model ROAR yang kami kembangkan di Online Dialogue? Apakah Anda masih dalam fase risiko, di mana banyak dilakukan riset tetapi tidak dapat divalidasi melalui pengujian A/B online (biasanya di bawah 1.000 konversi per bulan), atau sudah masuk ke fase optimasi? Atau bahkan sudah melewati fase tersebut?

• Fase risiko: Dilakukan banyak riset yang bisa menghasilkan perubahan besar, mulai dari pivot model bisnis, hingga desain dan value proposition (nilai utama yang ditawarkan ke pelanggan) yang benar-benar baru.
• Fase optimasi: Melakukan eksperimen besar yang akan mengoptimalkan value proposition dan model bisnis, serta eksperimen kecil untuk memvalidasi hipotesis perilaku pengguna. Proses ini akan membangun pengetahuan untuk perubahan desain yang lebih besar.
• Otomatisasi: Anda masih memiliki kekuatan eksperimen (pengunjung) yang belum sepenuhnya digunakan. Artinya, potensi pengujian tidak lagi dibutuhkan sepenuhnya untuk validasi pengalaman pengguna. Sisanya dapat digunakan untuk memaksimalkan dan mempercepat pertumbuhan (tanpa fokus pada pembelajaran jangka panjang). Ini bisa diotomatisasi dengan penggunaan algoritma atau metode seperti pengujian bandit.
• Evaluasi ulang: Mengurangi penambahan banyak riset, kecuali untuk melakukan perubahan besar (pivot) ke sesuatu yang baru.

Jadi, pengujian A/B web atau aplikasi hanya menjadi fokus utama dalam fase optimasi model ROAR hingga tahap sebelum evaluasi ulang.

Pendekatan yang digunakan untuk menjalankan eksperimen adalah model FACT & ACT:

Riset yang kami lakukan berdasarkan Model 5V kami:

Kami mengumpulkan berbagai temuan untuk menghasilkan hipotesis utama yang didukung oleh riset. Hipotesis ini akan mengarah pada sub-hipotesis yang akan diprioritaskan berdasarkan data yang dikumpulkan melalui pengujian A/B desktop atau seluler. Semakin tinggi kemungkinan hipotesis benar, semakin tinggi peringkatnya.

Setelah mengetahui apakah hipotesis benar atau salah, selanjutnya dapat mulai menggabungkan pembelajaran dan mengambil langkah lebih besar dengan mendesain ulang/menyelaraskan kembali bagian pengalaman pengguna yang lebih besar. Namun, pada titik tertentu, semua implementasi yang berhasil akan mencapai titik optimal lokal. Kemudian, Anda perlu mengambil langkah lebih besar untuk mendapatkan potensi hasil terbaik secara keseluruhan.

Tentu saja, temuan utama akan disebarkan ke seluruh perusahaan, yang mengarah pada segala macam optimasi dan inovasi yang lebih luas berdasarkan temuan dari data milik sendiri yang sudah tervalidasi.

Apakah Anda memasarkan ke audiens internasional? Pelajari cara membuat proses itu mudah dengan pseudo-localization (pelokalan untuk pengujian).

Julia Starostenko, Pinterest

Tujuan dari sebuah eksperimen adalah untuk memvalidasi bahwa perubahan pada halaman web yang ada dapat berdampak positif pada bisnis.

Sebelum memulai, penting untuk menentukan apakah menjalankan eksperimen benar-benar diperlukan. Pertimbangkan skenario berikut: Ada tombol dengan rasio klik yang sangat rendah, serta hampir tidak mungkin performanya menjadi lebih buruk. Dalam kasus ini, tidak perlu memvalidasi perubahan melalui eksperimen.

Demikian pula, jika perubahan yang diusulkan sangat kecil, tidak sebanding dengan waktu yang dihabiskan untuk menyiapkan, menjalankan, dan menyelesaikan eksperimen. Dalam situasi seperti ini, perubahan bisa langsung diterapkan pada semua pengguna, lalu performanya dipantau.

Setelah ditentukan bahwa menjalankan eksperimen memang perlu dilakukan, langkah selanjutnya adalah mendefinisikan metrik bisnis yang harus ditingkatkan (misalnya, meningkatkan tingkat konversi tombol). Kemudian, memastikan bahwa pengumpulan data yang tepat sudah berjalan.

Selanjutnya, audiens akan dibagi secara acak ke dalam dua grup untuk melakukan split testing: satu grup ditampilkan versi lama dari tombol, sementara grup lain mendapat versi baru. Tingkat konversi setiap audiens dipantau. Setelah signifikansi statistik tercapai, hasil eksperimen dapat ditentukan.

Peep Laja, CXL

Pengujian A/B adalah bagian dari gambaran optimasi konversi yang lebih besar. 80% keberhasilan berasal dari riset dan hanya 20% dari pengujian itu sendiri. Riset konversi akan membantu Anda menentukan apa yang perlu diuji sejak awal.

Berikut gambaran proses yang biasanya saya gunakan (versi sederhana):

1. Lakukan riset konversi menggunakan framework seperti ResearchXL untuk mengidentifikasi masalah di situs Anda.
2. Pilih masalah prioritas tinggi (yang memengaruhi sebagian besar pengguna dan merupakan masalah serius), lalu rencanakan sebanyak mungkin ide solusi. Gunakan temuan dari riset konversi untuk mendukung proses ini. Tentukan juga perangkat yang akan diuji (pengujian A/B di perangkat seluler dan desktop harus dilakukan secara terpisah).
3. Tentukan berapa banyak variasi yang dapat Anda uji (berdasarkan tingkat pengunjung/transaksi Anda), lalu pilih satu hingga dua ide terbaik untuk solusi yang akan diuji terhadap kontrol.
4. Buat wireframe (kerangka desain awal) yang tepat (tulis teks, buat perubahan desain, dll). Tergantung pada ruang lingkup perubahan, Anda mungkin juga perlu menyertakan desainer untuk mendesain elemen baru.
5. Minta front-end developer untuk mengimplementasikan variasi tersebut ke alat pengujian. Siapkan integrasi yang diperlukan (seperti Google Analytics) dan tetapkan tujuan yang sesuai.
6. Lakukan QA pada pengujian (pengujian yang bermasalah adalah salah satu penyebab utama kegagalan pengujian A/B), jadi pastikan semua berfungsi di berbagai browser/perangkat.
7. Jalankan pengujian!
8. Setelah pengujian selesai, lakukan analisis hasil pengujian.
9. Tergantung pada hasilnya, implementasikan versi yang menang, lakukan iterasi pada variasi yang ada, atau lanjutkan dengan pengujian lain.
   

Kesalahan umum dalam pengujian A/B

Menguji terlalu banyak variabel secara bersamaan

Ketika Anda membandingkan dua variabel sekaligus, Anda mungkin tidak dapat menentukan perubahan mana yang sangat berdampak.

Katakanlah Anda ingin mengoptimalkan halaman arahan. Alih-alih hanya menguji judul, Anda juga menguji:

• Teks pesan ajakan (CTA)
• Warna tombol CTA
• Gambar header
• Judul
  

Tingkat konversi naik, tetapi Anda tidak bisa menentukan perubahan mana yang paling berpengaruh. Jika Anda menguji satu variabel pada satu waktu, Anda bisa mengisolasi dampak dari setiap perubahan dan mendapat hasil yang lebih akurat.

💡Pertimbangan: Multivariate testing (menguji banyak elemen sekaligus) bisa menjadi opsi jika Anda ingin memahami bagaimana beberapa variabel berinteraksi satu sama lain. Tetapi untuk menjalankan multivariate test, Anda memerlukan lebih banyak pengunjung dan halaman yang sudah dioptimalkan dengan baik untuk membuat peningkatan kecil. Prosesnya juga jauh lebih kompleks daripada menjalankan pengujian A/B.

Ukuran sampel tidak mencukupi

Keandalan hasil pengujian A/B tergantung pada ukuran sampel yang digunakan. Sampel kecil dapat menyebabkan hasil positif palsu atau negatif palsu, sehingga sulit untuk menyimpulkan apakah perbedaan yang terlihat adalah hasil dari perubahan Anda atau hanya kebetulan saja.

Bayangkan Anda menguji dua versi halaman produk untuk melihat mana yang mengarah ke tingkat pembelian lebih tinggi. Anda membagi pengunjung, tetapi hanya berakhir dengan 100 pengunjung ke Versi A dan 100 pengunjung ke Versi B.

Jika Versi A memiliki tingkat konversi 6% dan Versi B memiliki tingkat konversi 5%, Anda mungkin berpikir Versi A lebih baik. Namun, dengan hanya 100 pengunjung di setiap versi, hasil itu belum signifikan secara statistik. Mungkin jika Anda menguji dengan lebih banyak pengunjung, hasilnya dapat berbeda.

Cara terbaik untuk menentukan ukuran sampel yang tepat adalah menggunakan kalkulator ukuran sampel.

Durasi pengujian yang singkat

Jalankan pengujian A/B setidaknya selama satu siklus bisnis penuh, idealnya dua siklus. Jangan hentikan pengujian hanya karena Anda telah mencapai signifikansi statistik. Anda juga perlu memastikan ukuran sampel yang sudah ditentukan sebelumnya terpenuhi, serta menjalankan pengujian dalam kelipatan minggu penuh.

Mengapa dua siklus bisnis penuh? Untuk memulai, rentang waktu dua siklus dapat membantu Anda memperhitungkan:

1. Pengguna berada dalam tahap "Saya perlu memikirkannya" sebelum membeli.
2. Perbedaan sumber pengunjung (Facebook, email newsletter, pencarian organik, dll.)
3. Anomali. Misalnya, lonjakan pengunjung dari email newsletter pada hari Jumat.
   

Dua siklus bisnis umumnya sudah cukup untuk memahami pola perilaku target audiens secara lebih akurat.

Jika Anda pernah menggunakan alat pengujian A/B untuk halaman arahan, Anda mungkin familiar dengan ikon hijau kecil "Statistically Significant".

Bagi banyak orang, itu sering dianggap sebagai tanda bahwa pengujian sudah selesai dan bisa langsung dihentikan. Namun, seperti yang akan dijelaskan, mencapai signifikansi statistik saja tidak selalu berarti pengujian harus dihentikan.

Mengabaikan segmentasi pengguna

Jika Anda tidak mempertimbangkan segmentasi pengguna yang berbeda, Anda akan mendapat hasil yang terlalu umum dan mungkin tidak berlaku untuk semua orang.

Sebaiknya pengguna dibagi berdasarkan demografi, perilaku, atau faktor relevan lainnya. Apa yang berhasil untuk pengguna baru mungkin tidak berhasil untuk pengguna yang kembali. Jika segmentasi tidak dilakukan, Anda berisiko kehilangan relevansi bagi kelompok pengguna tertentu dan mengurangi validitas hasil pengujian Anda.

Optimalkan pengujian A/B untuk bisnis Anda

Saat ini Anda sudah memahami prosesnya, sekarang waktunya eksekusi! Jadi, segera dapatkan perangkat lunak pengujian A/B terbaik dan mulai menguji toko Anda. Sebelum Anda menyadarinya, temuan yang Anda kumpulkan akan bertambah dan berdampak langsung pada peningkatan pendapatan.

Jika Anda ingin terus belajar tentang optimasi, pertimbangkan untuk mengambil kursus gratis, seperti pengujian A/B oleh Google dari Udacity. Anda dapat mempelajari lebih lanjut tentang pengujian A/B web dan aplikasi seluler untuk meningkatkan skill set optimasi Anda.