Hi, selamat datang di situs datawizart.com
Pada tulisan kali ini saya akan membahas tentang cara mudah visualisasi A / B Testing di Tableau. A / B Testing secara sederhana, membandingkan respon subjek terhadap varian A versus varian B, dan menentukan mana dari dua varian yang lebih efektif berdasarkan metrik yang kita tentukan[1].

Tulisan ini akan menunjukkan kepada Anda cara membuat A / B Testing sederhana dengan Tableau. Sehingga dapat menyimpulkan hasil eksperimen berdasarkan visualisasi. Kita juga akan belajar, bagaimana cara visualisasi dua jenis tipe data yang berbeda: biner dan kontinu.

Membuat Data Dummy

Saya menggunakan software R untuk membuat data dummy, setiap baris mewakili nomor pesanan. Struktur ini mungkin mirip dengan data eksperimen Anda. Terdapat lima kolom:

• experiment, penanda untuk mengetahui jenis eksperimen
• data_date, tanggal kapan order itu dibuat
• status, terdapat dua status Completed dan Not Completed
• time_to_complete, waktu dari membeli hingga selesai dan hanya ada di status Completed
• order_no, ID unik

Seperti yang dapat kita lihat dari gambar di atas. Ada dua jenis data biner (status) dan kontinu (time_to_completed).

Visualisasi Data Biner

Mari kita mulai membuat metrik pertama yaitu Completion Rate. Completion Rate adalah total pesanan selesai dibagi dengan semua pengamatan. Langkahnya adalah sebagai berikut:

• Taruh Experiment ke Columns
• Kemudian Number of Records ke Rows
• Terakhir taruh Status ke Color

Akan lebih jelas bila kita mengganti angkanya menjadi proporsi, untuk tiap experimen. Caranya, klik kanan di kotak berwarna hijau arahkan ke Quick Table Calculation dan pilih Percent of Total.

Persentase di atas masih salah karena, perhitungannya belum terbagi untuk tiap experiment. Untuk merubahnya, klik-kanan pada kotak hijau dan arahkan ke Compute Using dan ganti dari Table (across) ke Table (down).

Dibawah adalah hasil akhir dengan beberapa perubahan. Dari grafik kita dapat mengetahui bahwa, eksperimen B memiliki nilai completion rate yang paling tinggi dibandingkan eksperimen lainnya.

Bagaimana bila kita ingin membuat grafik completion rate per-hari? Untuk membuat ini kita harus membuat variabel baru, kita namakan variabel ini Completion Rate. Langkahnya adalah sebagai berikut:

1. Membuat variabel baru, dengan nama Status Binary. Tujuannya adalah merubah kolom Status dari karater menjadi biner (0 atau 1).
2. Selanjutnya membuat Completion Rate yang didapat dari, total order completed dibagi dengan semua order. Bila kita terjemahkan menjadi:

sum(Status Binary)/sum(Number of Records)

Dengan adanya variabel Completion Rate maka langkah untuk membuat grafik harian adalah sebagai berikut:

1. Tarik Experiment ke Color.
2. Completion Rate ke Rows.
3. Data Date ke Columns.
4. Klik-kanan YEAR(Data Date) dan pilih menjadi Day dan ubah menjadi Discrete (kotak merah).

Berikut merupakan hasil akhirnya. Eksperimen B hampir selalu unggul tiap harinya dibandingkan experimen lainnya.

Visualisasi Data Kontinu

Mari kita coba metrik lainnya, yaitu Time To Complete. Tidak seperti metrik sebelumnya, format data ini adalah kontinu. Format data ini memungkinkan visualisasi dengan cara berbeda. Diantaranya yang paling mudah adalah membuat box-plot dan selanjutnya memperlihatkan distribusi data.

Membuat Box-Plot di Tableau

Untuk membuat box-plot langkah-langkahnya adalah

1. Tarik Time To Complete ke Rows.
2. Experiment ke Columns dan Color.
3. Ganti jenis grafik menjadi Circle (kotak merah).

Langkah Selanjutnya:

1. Tambahkan order_no ke Detail sehingga setiap titik merepresentasikan order_no.
2. Pada Analytics tab terdapat opsi Box Plot, tarik dan lepas opsi tersebut ke dalam grafik.
3. Tambahkan Status ke Filters dan pilih hanya Completed.

Dari grafik ini kita dapat melihat bahwa experimen B memiliki waktu penyelesaian terlama dibandingkan experimen lainnya.

Jika anda perhatikan, Box Plot kehilangan suatu informasi, seperti berapa banyak order yang selesai di menit ke 10, 11, dan seterusnya. Secara sederhana kita ingin melihat distribusi data secara lebih jelas.

Visualisasi Distribusi Data di Tableau

Untuk menyediakan informasi tersebut, pertama kita harus membuat bin untuk Time To Completed.

• Pada Time To Completed klik kanan pilih Create dan klik Bins.
• Opsi Edit Bins akan muncul, untuk saat ini kita akan langsung menggunakan Suggest Bin Size yang menyarankan Time To Completed dibagi menjadi 0,78.

Variabel Time To Completed (bin) digunakan untuk memperlihatkan distribusi, akan lebih jelas dengan langkah berikut ini:

• Tarik Time To Completed (bin) ke Columns
• Number of Records ke Rows
• Langkah terakhir tambahkan Experiment ke Color dan ubah tipe grafik menjadi Line.

Bila Anda lihat interval antara row adalah 0,78 atau size of bins yang kita tentukan sebelumnya.

Mari buat agar grafik ini terlihat lebih menarik. Tarik Number of Records lagi ke Columns dan ubah tipe grafik dari Line ke Area.

Bila kita perhatikan tinggi dari grafik kedua hampir dua kali lipat dari yang pertama. Hal itu terjadi karena setiap eksperimen saling menumpuk. Trik-nya adalah pada tab Analysis arahkan ke Stack Marks dan pilih opsi Off, eksperimen akan saling tumpang tindih satu sama lain.

Di Number of Record kedua klik-kanan dan pilih Dual Axis. Pastikan untuk mengaktifkan Synchronize Axis di sumbu sebelah kanan. Jika anda mau, anda juga bisa menghapus sumbu sebelah kanan dengan mencentang kembali Show Header.

Alternatif lain daripada menghitung observasi untuk tiap bin, kita ingin menormalisasi nilainya. Perhitungan normalisasi adalah Number of Record pada spesifik bin / seluruh Number of Record untuk tiap eksperimen. Berikut cara mendapatkannya:

1. Kembali ke langkah sebelum duplikat Number of Record
2. Klik-kanan kotak hijau Number of Record, klik Quick Table Calculation, kemudian pilih Percent of Total.
3. Klik-kanan ditempat yang sama, pilih Compute Using, ubah menjadi Time To Completed (bin).

Bila ingin, anda bisa mengulangi langkah sebelumnya untuk memperindah grafik distribusi data ini. Ini adalah hasil akhir dalam bentuk dashboard dengan mengkombinasikan dua metrik dan beberapa penyesuaian.

Dari tutorial ini kita telah belajar bagaimana cara membuat:

• Simpel A / B Testing di Tableau.
• Visualisasi data kontinu dan biner.
• Box-plot di Tableau.
• Memperlihatkan distribusi data dengan lebih jelas.

Sehingga dari grafik kita dapat menyimpulkan sesuatu mengenai eksperimen yang kita lakukan.

Bila ukuran data terlalu besar untuk pengamatan tiap order. Akan lebih baik kita agregasi datanya terlebih dahulu, semisal harian. Bila anda tertarik ini adalah lanjutan Cara Mudah Visualisasi A/B Testing Bagian 2 dengan Confidence Interval.

Terimakasih untuk membaca tutorial ini.