Cara Mudah Visualisasi A/B Testing di Tableau Bagian 2, Dengan Confidence Interval

Hi selamat datang di datawizart.com.
Pada tulisan kali ini, saya akan membahas cara visualisasi untuk dapat menyimpulkan suatu eksperimen A/B Testing yang kita lakukan dengan menggunakan confidence interval.

Bila anda belum mengetahui apa itu A/B Testing, penjelasan lebih detail telah saya tulis di Cara Mudah Visualisasi A/B Testing di Tableau Bagian 1.

Perbedaan dengan tulisan sebelumnya, adalah kali ini tiap baris telah diagregasi menjadi harian dan eksperimen.

Agregasi umum digunakan bila data anda terlalu besar, yang dapat membebani server atau mesin lokal komputer anda. Berikut struktur data yang akan saya gunakan:

  • experiment, penanda untuk mengetahui jenis eksperimen.
  • data_date, tanggal order dibuat.
  • total_booking, total pesanan yang dibuat.
  • total_completed_booking, total pesanan dengan status Completed.
  • avg_time_to_completed, rata-rata waktu penyelesaian suatu pesanan.
  • sum_time_to_completed, total waktu penyelesaian suatu pesanan.
Struktur data telah diagregasi dimana sebelumnya tiap baris adalah nomor pesanan.

Mengapa confidence interval?

Menggunakan confidence interval akan membatu kita untuk membandingkan antar eksperimen. Seperti terlihat dari grafik di bawah, akan sangat sulit melihat perbedaan antara eksperimen a dan c.

Cara membuat grafik harian Avg Time to Completed. Eksperimen b memiliki waktu yang terlama.

Confidence Interval Avg Time to Completed

Kita akan menghitung standar deviasi dan rata-rata waktu penyelesaian per hari untuk membuat confidence interval (CI), beberapa kolom yang harus disiapkan adalah:

  • Average Avg Time to Completed, kolom ini untuk mendapatkan rata-rata dari kolom Avg Time to Completed.
AVG([Avg Time To Completed])
  • StDev Avg Time to Completed, kolom ini untuk mendapatkan standar deviasi dari Avg Time to Completed.
STDEV([Avg Time To Completed])
  • Upper CI Avg Time to Completed dan Lower CI Avg Time to Completed, kolom ini untuk mendapatkan nilai atas dan bawah dari Avg Time to Completed.
[Average Avg Time to Completed] + [StDev Time to Completed]

[Average Avg Time to Completed] - [StDev Time to Completed]
  • Width CI Avg Time To Completed, untuk mendapatkan rentang antara Upper CI Avg Time to Completed dan Lower CI Avg Time to Completed.
[Upper CI Avg Time to Completed] - [Lower CI Avg Time to Completed]

Dengan lima kolom baru ini, kita dapat membuat confidence interval. Sedikit panjang tapi, akan memberi kesimpulan yang cepat dengan melihatnya. Langkahnya adalah:

  • Tarik Measure Names ke Filters dan pilih dua kolom yang baru kita buat, Lower dan Upper CI Avg Time to Completed.
Filter Measure Names dan pilih dua variabel yaitu Lower dan Upper CI Avg Time to Completed

Setelah kita filter Measure Names, langkah selanjutnya adalah:

  • Tarik Experiment ke Rows dan Color.
  • Tarik Lower CI Avg Time to Completed ke Columns.
  • Kemudian ubah jenis grafik menjadi Gantt Bar.
Ubah jenis grafik menjadi Gantt Bar
  • Tarik Measure Values ke Columns dan jadikan Dual Axis.
  • Klik-kanan pada Lower CI dan aktifkan Synchronize Axis.
  • Pada tab Marks pilih All dan buang Measure Names agar warna kembali berdasarkan eksperimen.
Tarik Measure Values dan ubah menjadi Dual Axis akan terlihat Upper dan Lower dari confidence interval.

Grafik confidence interval telah terlihat, beberapa langkah lagi untuk menyempurnakannya.

  • Pada tab Marks pilih Lower CI.
  • Tarik Width CI Avg Time To Completed ke Size.
  • Average Avg Time To Completed ke Detail.
  • Klik Size dan kecilkan ukuran badan sehingga terlihat Lower dan Upper dari Confidence Interval.
Confidence interval mulai terlihat setelah langkah ini.

Langkah ini akan menambahkan informasi garis rata-rata dari grafik confidence interval.

  • Ganti tab Data menjadi Analytics.
  • Tarik Reference Line ke dalam grafik.
  • Taruh Reference Line diantara Cell dan Lower CI.
Taruh Reference Line diantara
  • Setelah anda taruh akan muncul panel baru.
  • Klik pada Value dan ganti menjadi Average Avg Time To Completed
Pilih Average Avg Time To Completed untuk member garis tengah.

Langkah terakhir, pada sumbu-x klik-kanan pilih Edit Axis dan non-aktifkan Include Zero. Berikut adalah hasil akhir dari grafik confidence interval.

Dari grafik kita dapat mengetahui bahwa eksperimen a memiliki waktu penyelesaian yang lebih cepat dibandingkan c.

Kita juga bisa membuat confidence interval untuk metriks Completion Rate. Langkah awal adalah membuat kolom baru dengan perhitungan:

[Total Completed Booking]/[Total Booking]

Langkahnya sama dengan pembuatan confidence interval Time to Completed.

Berikut adalah dashboard dari tutorial ini. Saya menggunakan parameter untuk mengganti antara dua metrik yang tersedia.

Dari tutorial ini kita telah belajar:

  • Cara membuat A/B testing dengan dua tipe jenis data, interval dan binari.
  • Cara membuat confidence interval
  • Membuat kesimpulan dari grafik confidence interval

Selamat mencoba!

Leave a Reply