E-ticaret sözlüğüPazarlama ve reklam

A/B testi nedir?

A/B testi, bir değişikliğin etkisini ölçmek için kullanıcıların rastgele atandığı kontrol ve alternatif sürüm gruplarının aynı tanımlı sonuç üzerinden karşılaştırıldığı deneydir. Ölçüyü önceden belirleyin; oran farkını veri kalitesi ve istatistiksel değerlendirmeyle birlikte okuyun.

Son kontrol: 26 Ekim 20263 resmî kaynakGündem Masası

Tanım

Bir bakışta

Kurgu A20 / 1.000 × 100 = %2

Kurgu B30 / 1.000 × 100 = %3

Gözlenen fark1 yüzde puan; %50 göreli artış

KararÖlçüm, veri kalitesi, belirsizlik ve işletme sonucu

A/B testinde hangi soru sorulur?

Bir ürün sayfasındaki açıklama, düğme metni veya bildirim başlığı değiştiğinde hangi sonucun değişmesini beklediğinizi önceden yazın. Örneğin soru, teslimat bilgisinin daha açık gösterilmesinin satın almayı kolaylaştırıp kolaylaştırmadığı olabilir. A sürümü mevcut düzeni, B sürümü tanımlanan değişikliği taşır. Karşılaştırmanın amacı yalnız beğenilen tasarımı seçmek değildir; kullanıcı davranışını aynı ölçütle değerlendirmektir. Satıcı için uygulanabilir bir başlangıç, anlaşılır bir varsayım ve açık ölçü tanımıdır. Bir testte farklı birçok unsur birlikte değiştirilirse sonucu tek bir unsurun etkisi diye anlatmayın.

Açılış sayfası üzerindeki CTA düğmesini değiştirirken hangi davranışın sayılacağını belirleyin. Düğmeye tıklamak, sepete eklemek ve satın almak farklı sonuçlardır. Satın alma hedefleniyorsa yalnız düğme tıklamasını başarı diye sunmayın. Dönüşüm hunisi içinde değişikliğin hangi aşamada bulunduğunu yazın. Aynı kullanıcının tekrarlanan tıklamalarını kaç işlem olarak kaydettiğiniz de tanımlı olsun. Böylece oran yükseldiğinde ölçünün gerçek satın alma mı yoksa başka bir olay mı olduğu anlaşılır; test sonucu farklı bir hedefe aitmiş gibi kullanılmaz.

Gruplar ve kayıtlar nasıl kontrol edilir?

Kontrol ve alternatif gruplarını karşılaştırılabilir koşullarda oluşturun. Microsoft’un deney rehberi, beklenen grup dağılımıyla gözlenen dağılım arasındaki önemli uyumsuzluğu veri kalitesi sorunu olarak ele alır; sorun giderilmeden sonuçtan karar çıkarılmamasını ister. Satıcı için uygulama önerisi, testin hedeflediği kullanıcıların her iki grupta doğru kaydedildiğini kontrol etmektir. Bir sürümde ölçüm olayı çalışmıyorsa görünen düşük sonuç tasarımın gerçek etkisini yansıtmayabilir. Grup kaydı, görülen sürüm ve ölçülen olay birbiriyle eşleşmelidir. Kayıt hatasını daha başarılı görünen sürüm lehine yorumlamayın.

Hafta içi A, hafta sonu B sürümünü gösterip farkı doğrudan tasarıma bağlamak yerine dönem etkisini hesaba katın. Microsoft rehberi mevsimsel değişimlere, yeterli süre ve örnekleme dikkat çeker; deney ortasında yeni değişkenler eklememeyi önerir. Çalışma sırasında değişen stok, fiyat veya trafik kaynağını da not edin. Bu bilgiler, sonuçtaki farkı değerlendirmeye yardımcı olur. Teknik bir sorun nedeniyle testi değiştirmek gerekiyorsa hangi kayıtların hangi sürüme ait olduğunu belgeleyin. Önceki ve sonraki koşulları tek, değişmemiş deney gibi sunmayın.

Dönüşüm farkı nasıl hesaplanır?

Kurguda A grubundaki 1.000 kullanıcının 20’si, B grubundaki 1.000 kullanıcının 30’u satın alma yapmış olsun. Her kullanıcı en fazla bir kez satın alan olarak sayılmıştır. A oranı 20 / 1.000 × 100 = %2; B oranı 30 / 1.000 × 100 = %3 olur. Mutlak fark 3 − 2 = 1 yüzde puandır. Göreli artış (3 − 2) / 2 × 100 = %50’dir. İki ifade aynı gözlenen farkı farklı biçimde anlatır; %50 ifadesini 50 yüzde puan artış diye yazmayın.

Bu kurguda B grubunda 10 fazla satın alan kullanıcı görülmüştür. Burada yapılan işlem oran aritmetiğidir; istatistiksel anlamlılık sonucu hesaplanmamıştır. Yalnız %50 göreli artışa bakıp bütün müşterilerde aynı artışın gerçekleşeceğini söylemeyin. Grupların büyüklüğünü ve sayılan sonucun tanımını raporda koruyun. Başka bir örnekte 2 satın alanla 3 satın alanın oranı da %50 göreli fark verebilir; fakat toplam gözlem farklıdır. Yüzdenin yanında adetleri göstermek, büyük görünen bir oranın hangi veriden geldiğini okuyucuya açıklar.

İstatistiksel sonuç nasıl okunmalı?

Firebase’in resmi A/B testi açıklaması gözlenen veriyle istatistiksel çıkarımı ayrı gösterir. Kendi sisteminde p-değeri ve güven aralığı kullanır; birincil hedefte önde görünen sürüm için ikincil ölçülerin de incelenmesini ister. Farklı deney araçlarının karar yöntemini aynı kabul etmeyin. Kullandığınız aracın hangi testi, hangi karşılaştırmayı ve hangi durdurma kuralını uyguladığını öğrenin. Satıcı için raporda gözlenen oran, belirsizlik ve işletme kararının ayrı bulunması yararlıdır. Teknik raporun önde gösterdiği sürümün ödeme hatalarını veya başka önemli sonucu kötüleştirip kötüleştirmediğini de kontrol edin.

Bütün işletmeler için geçerli tek kullanıcı sayısı veya kesin test süresi vermek doğru olmaz; hedeflenen fark ve trafik koşulları çalışmayı etkiler. Deneye başlamadan değerlendirme planını belirleyin. Sonuç henüz belirsizken raporu kesin satış garantisi gibi kullanmayın. Bir değişikliğin ekonomik etkisini incelemek için satış adedinin yanında gelir ve ilgili giderleri de kaydedin. Performans pazarlaması kararında daha çok tıklamanın daha çok karla aynı sonuç olmadığını koruyun. Test dosyasında neyin değiştirildiği, neyin ölçüldüğü ve alınan kararın dayanağı birlikte bulunmalıdır.

Türkiye’de kullanıcı verisi için ne yapılmalı?

Testte belirlenebilir gerçek kişiyle ilişkilendirilen kayıtlar kullanılıyorsa 6698 sayılı Kişisel Verilerin Korunması Kanunu md. 4, md. 5 ve md. 10 kapsamında amaç, işleme şartı ve aydınlatmayı belirleyin. KVKK değerlendirmesini testin ölçüm planına dahil edin. Aydınlatma metni kullanılan veriyi ve amacı doğru anlatmalıdır. Her test için gerekmeyen kişisel bilgileri toplamaktan kaçının. Sonuç raporunu paylaşırken kullanıcı adları yerine toplulaştırılmış ölçüleri kullanmak bir veri azaltma yöntemidir; raporun açık olması için kişilerin kimliklerini görünür kılmak gerekmez.

06 · Örnek

Örnek: Kurguda yüzde puan ile göreli artışın ayrımı

A ve B gruplarının her birinde 1.000 kullanıcı vardır. A’da 20, B’de 30 kullanıcı satın alır; kişi başına en çok bir satın alan sayılır.

20 / 1.000 × 100 = %2 A oranını hesaplayın.
30 / 1.000 × 100 = %3 B oranını bulun.
3 − 2 = 1 yüzde puan mutlak fark yazın.
(3 − 2) / 2 × 100 = %50 göreli artışı hesaplayın.
B’de 10 fazla satın alan görüldüğünü, anlamlılık analizi yapılmadığını belirtin.

Sonuç

Kurguda 1 yüzde puan ve %50 göreli artış aynı farkı anlatır. Yalnız bu hesapla B kesin kazanan ilan edilmemiştir.

07 · Fark

A/B testi ile karıştırılan kavramlar

A/B testi ≠ Önce-sonra karşılaştırması

Dönem koşulları değişebilir; A/B testi karşılaştırılabilir kontrol ve alternatif gruplarıyla etkiyi ölçmeyi amaçlar.

A/B testi ≠ Yüzde puan

%2’den %3’e geçiş 1 yüzde puandır; göreli artış %50’dir.

A/B testi ≠ İstatistiksel anlamlılık

Gözlenen oran farkının aritmetiğinden ayrı analizdir; daha büyük oran tek başına bu sonucu vermez.

08 · Satıcı için

Satıcı ne yapmalı?

Değişikliği ve beklenen sonucu yazın.
Kontrol, alternatif ve sayılacak olayı tanımlayın.
Grup dağılımı ve ölçüm kayıtlarını kontrol edin.
Deney ortasındaki fiyat, stok ve içerik değişimlerini kaydedin.
Adetleri, oranları, belirsizliği ve ikincil sonuçları birlikte okuyun.
Veri işleme şartı ve aydınlatmayla birlikte kararı belgeleyin.

09 · Devamı

İlgili rehberler

10 · Sık sorulanlar

A/B testi hakkında sık sorulanlar

A/B testinde ne karşılaştırılır?

Rastgele oluşturulan kontrol ve alternatif gruplarında aynı tanımlı sonuç karşılaştırılır; değişikliğin etkisi ölçülmeye çalışılır.

%2’den %3’e dönüşüm artışı kaçtır?

Mutlak fark 1 yüzde puandır. Göreli artış (3−2)/2×100=%50 olur; 50 yüzde puan değildir.

B’de oran yüksekse kesin kazandı mı?

Tek başına yüksek oran yeterli değildir. Veri kalitesi, örneklem ve kullanılan istatistiksel yöntemle belirsizlik ve diğer sonuçlar kontrol edilir.

Her test aynı gün sayısında biter mi?

Hayır. Hedeflenen fark, trafik ve seçilen deney yöntemine uygun değerlendirme planı gerekir; tek süre bütün testlere uygulanmaz.

Test sırasında yeni değişiklik eklenir mi?

Yeni değişkenler önceki varsayımdan hangi değişikliğin etkili olduğunu ayırmayı zorlaştırır. Gerekli değişikliği ve etkilenen kayıtları açık belgeleyin.