Büyüme/Kişiselleştirilmiş ilk gün/Yeni gelen anasayfa/Ölçüm ve deney planı
Anasayfanın amacı, kullanıcılara, özellikle yeni kaydolanlara, yardım kaynakları, yapabilecekleri iş önerileri ve Vikipedi topluluğunun canlı faaliyetlerini ve bunların etkisini göze çarpan bilgiler gibi şeylere kolay erişim sağlamaktır. Bu tür bilgiler, ansiklopediye yapıcı katkılarda bulunmanın önündeki engeli azaltmaya yardımcı olabilir, böylece düzenleyici aktivasyonunu (düzenleme yapmaya devam eden yeni kullanıcıların oranı) artırabilir. Ayrıca, Büyüme Ekibinin genel hedefi olan düzenleyici tutma oranını (ek düzenlemeler yapmak için geri dönen yeni kullanıcıların oranı) potansiyel olarak artırabilir.
Bu sayfa, anasayfa ile kontrollü bir deneme yapma planlarımızı ve kullanıcıların bununla nasıl etkileşime girdiğini öğrenmek için hangi ölçümleri kullanacağımızı belgelemektedir.
Araştırma soruları
Araştırma soruları cevaplanmasını istediğimiz daha üst düzey sorulardır. “Anasayfa tedavisi” ile, kullanıcının hem ana sayfayı varsayılan olarak açık tuttuğu hem de ana sayfaya yönlendiren, banner, tartışma sayfası mesajları veya anasayfada ki bağlantılar da dahil olmak üzere çeşitli yardımcı özellikleri aldığı anlamına gelir. İlk sürümde, tek yardımcı özellik, kişisel araçlardaki kullanıcı adı bağlantısının ana sayfaya gideceği gerçeğidir.
- Anasayfa tedavisi almak editör aktivasyonunu artırır mı?
- Anasayfa tedavisini almak editör alıkoymayı artırır mı?
- Anasayfa işlemine erişim, kayıttan sonraki ilk iki haftadaki ortalama düzenleme sayısını artırıyor mu?
- Anasayfaya erişim sahibi olmak, yapıcı düzenlemelerin oranını artırıyor mu?
- Bu bağlamda, “yapıcı düzenlemeler” geri döndürülmeyen düzenlemeler anlamına gelir. Büyüme Ekibi yeni kullanıcı tutmaya odaklandığından, bunu hem genel hem de kullanıcı deneyimi düzeyleriyle ölçmeyi planlıyoruz (örneğin gün cinsinden süre, düzenleme sayısı veya bunların kombinasyonları)
- Anasayfaya erişimi olan kullanıcılar ana sayfaya gidip geri mi dönüyor? Ana sayfa ziyaretlerinde hangi kalıpları görüyoruz?
- Hangi modüller yeni gelenlerle etkileşime giriyor ve ne ölçüde görev alıyorlar? Kullanıcılardan harekete geçmesini isteyen modüller, kullanıcıların bu işlemleri yapmalarına yol açar mı?
- Anasayfayı etkili bir şekilde kişiselleştirebiliyor muyuz?
- İlk adım: Kullanıcılar Karşılama Anketine verdikleri yanıtlara uygun davranıyor mu? Örneğin, düzenlemelerle ilgili yardım almak için kendisiyle bağlantı kurmakla ilgilendiklerini söyleyen kullanıcılar, bir mentora ulaşmak için mentor modülünü kullanır; ve bir madde oluşturmakla ilgilendiklerini söyleyen kullanıcılar, bunun nasıl yapılacağı hakkında daha fazla bilgi edinmelerine yardımcı olan modülleri kullanıyor mu?
- İkinci adım: ana sayfayı kişiselleştirebildiğimizde, ana sayfaları kişiselleştirilmiş kullanıcılar için daha fazla etkileşim görüyor muyuz?
- Anasayfa özelleştirilebilir olduğunda, kullanıcılar bu kapasiteden ne ölçüde yararlanabilirler?
- Yeni gelenleri ana sayfa hakkında inceleme çabası varsa/ne zaman nitel olarak ne öğrenebiliriz? Böyle bir nitel çalışma Hızlı Anketler veya ana sayfanın geri kalanını soran bir anasayfa modülü aracılığıyla yapılabilir.
Kontrollü deneme
Anasayfa'nın düzenleyicinin etkinleştirilmesi ve elde tutulması üzerindeki etkisini anlamak için en az altı ay sürecek bir deneme öneriyoruz. Bu süre boyunca, hedef vikilere (şu anda Çekçe, Korece, Vietnamca ve Arapça) yeni kayıtların %50'sinde ana sayfa varsayılan olarak etkin olacak ve %50'si devre dışı bırakılacaktır. Büyük olasılıkla hedef vikiler üzerinde aynı anda başka deneyler de çalıştıracağız (örneğin, Yardım Panelimizin varyantları). Bu deneyler tabakalı örnekleme gerektiriyorsa, örnekleme stratejilerimizi gerektiği gibi ayarladığımızdan emin olacağız.
Deney çalışırken, belirli arayüz öğelerinin kullanıcı davranışını nasıl etkilediğini anlamak için anasayfa değişkenlerini de test etmeyi umuyoruz. Değiştirilmiş bir arayüzün aktivasyon veya retansiyonu etkileyeceğine dair hipotezimiz ne kadar güçlü olursa, bu arayüz üzerinde yapılan bir test, aktivasyon ve retansiyon konusundaki uzun dönemli deneyimizi karıştırır.
Ölçümler
Bu ölçümler araştırma sorularımız tarafından yönlendirilir ve ana sayfaya erişip modülleriyle etkileşim kurabilen kullanıcıların gerçekleştirdiği belirli işlemlere odaklanır. Aşağıdaki liste, başlangıç sırasında anasayfa'da bulunan dört modül için ölçümleri içerir: Başlat, Yardım, Etki ve Mentor. Ana Sayfa için yeni modüller geliştirdiğimizde, bunlar için de benzer ölçüm planları geliştireceğiz.
- Genel
- Kullanıcıların yüzde kaçı ana sayfaya erişiyor?
- Bu kullanıcıların yüzde kaçı anasayfaya birden çok kez erişiyor?
- Kullanıcılar ana sayfaya birden çok kez eriştiğinde, bu hangi zaman çizelgesinde gerçekleşir?
- Mobil ve masaüstü kullanıcıları arasında farklar var mı?
- Bir kullanıcı hesabını oluşturduktan ne kadar süre sonra önce ana sayfayı ziyaret eder?
- Kullanıcı anasayfaya nasıl ulaşır?
- En üstteki gezinme panelinde kullanıcı adlarını tıklayarak?
- Kullanıcı veya Kullanıcı mesaj sayfalarındaki sekmeyi tıklayarak mı?
- Vikide banner veya e-postadaki bağlantı gibi başka bir sürücü aracılığıyla mı?
- Kullanıcı üstteki gezinme bölmesinden veya bir sekmeden anasayfa bağlantısını tıkladıysa, içinde bulundukları bağlamı yakalamak istiyoruz. Özellikle, tıkladığında hangi ad alanında olduklarını ve okuyup okumadıklarını veya düzenlemesidir.
- Kullanıcılar ziyaret başına ana sayfa modülleriyle etkileşim kurmak için ne kadar zaman harcıyor?
- İlk ziyaretleri sırasında mı?
- Sonraki ziyaretleriniz sırasında mı?
- Kullanıcıların yüzde kaçı en az bir modülün bağlantılarını takip ediyor?
- Anasayfaya erişimi olan kullanıcıların bir kullanıcı sayfası oluşturma olasılığı az mı yoksa az mı?
- Anasayfaya erişimi olan kullanıcıların, kullanıcı mesaj sayfaları diğer kullanıcılarla etkileşime girme olasılığı az mı yoksa düşük mü?
- Ana sayfaya erişimi olan kullanıcıların makale ve proje tartışma sayfaları toplulukla etkileşime girmesi az çok mu muhtemel?
- Kullanıcıların yüzde kaçı ana sayfaya erişiyor?
- Modüller
- Genel
- Her modül ne sıklıkla tıklanır? Her birini tıklayan kullanıcıların oranı nedir?
- Kullanıcılar kaç modülle etkileşime girme eğilimindedir (“etkileşim” herhangi bir tıklama anlamına gelir)?
- Hangi modüller tekrar tekrar etkileşime girme eğilimindedir?
- Hangi modüller en çok etkinleştirilen ve tutulan kullanıcılar tarafından etkileşime girer (nedenselliğin her iki yönde de olabileceğini kabul ederek)?
- Masaüstü kullanıcıları her bir modülün üzerinde ne kadar süreyle geziniyor? (mobil cihazlar için benzer ölçüm bekleyen mobil tasarıma bağlıdır)
- Modülün sayfaya yerleştirilmesi etkileşimleri etkiliyor gibi görünüyor mu?
- Her bir modül için harekete geçirici mesaj yapmanın alıkonulması üzerindeki etkisi nedir?
- Örneğin: mentorlarıyla iletişim kuran kullanıcıların yüzde kaçı korunuyor?
- Belirli modüller
- Yardım modülü
- Kullanıcıların yüzde kaçı yardım bağlantılarından birini veya daha fazlasını tıklıyor?
- Varsa, hangi bağlantıyı tıklarlar?
- Kullanıcıların yüzde kaçı arama işlevini kullanıyor?
- 1: Arama kutusuna odaklanın
- 2: Bir arama, aramadaki karakter sayısı gönder
- 3: Bir sonucu tıklayın, sonuç sayısı, tıklanan sonucun sıralaması
- Kullanıcılar Yardım Masasında soru sorma iş akışında ne kadar ileri gider?
- 1: Soru sormak için tıklayın
- 2: Bir soru yazın
- 3: Gönder
- 4: Onay iletişim kutusundaki bir bağlantıyı tıklayın
- Soruların ortalama uzunluğu ne kadardır?
- Soru gönderen kullanıcıların yüzde kaçı aşağıdakilerden birini yaparak yanıtı görmek için geri dönüyor gibi görünüyor?
- Yanıtta ping atıldığını belirten Yankı bildirimini tıklatmak.
- "Son sorularınız" listesindeki bağlantıyı tıklayarak.
- Yardım Masası sayfasındaki cevaba yanıt vermek.
- E-posta adresi olmayan yeni gelenlerin yüzde kaçı soru sorurken bir tanesini ekliyor?
- Yeni gelenlerin yüzde kaçı soru sorduktan sonra (48 saat içinde) e-posta adreslerini onaylıyor?
- Yeni gelenlerin yüzde kaçı e-posta adresi olmayan bir soru soruyor?
- En az bir soru soran kullanıcıların yüzde kaçı anasayfayı görüntülediklerinde bir veya daha fazla arşivlenmiş soru görüyor?
- "Son sorularınız" listesindeki bağlantılardan birini tıklayan kullanıcıların yüzde kaçı arşivlenen bir soruya giden bağlantıyı tıkladı?
- Kullanıcıların yüzde kaçı yardım bağlantılarından birini veya daha fazlasını tıklıyor?
- Mentorluk modülü
- Mentor hakkında daha fazla bilgi edinmek için bir bağlantıya yüzde kaç tıklanır?
- Kullanıcılar mentorlarına soru sorma iş akışında ne kadar ileri gider?
- 1: Soru sormak için tıklayın
- 2: Bir soru yazın
- 3: Gönder
- 4: Onay iletişim kutusundaki bir bağlantıyı tıklayın
- Soruların ortalama uzunluğu ne kadardır?
- (Elle ölçülür) Soru gönderen kullanıcıların yüzde kaçı mentorlarından cevap alıyor?
- Mentor olmayan birinden cevap alıyorlar mı?
- Soru gönderen kullanıcıların yüzde kaçı aşağıdakilerden birini yaparak yanıtı görmek için geri dönüyor gibi görünüyor?
- Yanıtta ping atıldığını belirten Yankı bildirimini tıklatmak.
- "Son sorularınız" listesindeki bağlantıyı tıklayarak.
- Tartışma sayfasındaki cevaba yanıt vermek.
- (Elle ölçülür) Soru soran yeni gelenlerin yüzde kaçı mentorlarının tartışma sayfasında ikinci kez yayın yapıyor?
- İlk soru ne sıklıkla bir konuşma haline geliyor?
- İkinci bir soru ne sıklıkla sorulur?
- Konuşmalar ne sıklıkla işlemsel viki konuşmasının ötesine taşınır?
- Sorularını sorduktan sonra görüntülemek için bağlantılardan birini yüzde kaçı tıklıyor?
- E-posta adresi olmayan yeni gelenlerin yüzde kaçı soru sorurken bir tanesini ekliyor?
- Yeni gelenlerin yüzde kaçı soru sorduktan sonra (48 saat içinde) e-posta adreslerini onaylıyor?
- Yeni gelenlerin yüzde kaçı e-posta adresi olmayan bir soru soruyor?
- Yeni gelenlerin düzenleme sayısı ve son düzenlemeden bu yana kısa süreleri olan mentorlara daha düşük düzenleme sayısı olan ve/veya son düzenlemeden bu yana daha uzun süren mentorlara soru sorma olasılığı daha yüksek mi?
- En az bir soru soran kullanıcıların yüzde kaçı anasayfayı görüntülediklerinde bir veya daha fazla arşivlenmiş soru görüyor?
- "Son sorularınız" listesindeki bağlantılardan birini tıklayan kullanıcıların yüzde kaçı arşivlenen bir soruya giden bağlantıyı tıkladı?
- Etki modülü
- Modül “etkin değil” durumundayken (kullanıcı maddelerde düzenleme olmadığında) bir bağlantıyı yüzde kaç tıklar?
- Bir maddeyi görüntülemek için yüzde kaçını tıklar?
- Sayfa görüntüleme analizi aracını görüntülemek için yüzde kaçtır?
- Tüm katkılarını görmek için yüzde kaçı tıklıyor?
- Kullanıcılar sayfa görüntüleme analizi aracını kaç kez açmaya geri dönüyor?
- Başlangıç modülü
- E-posta adresi olmayan kullanıcıların yüzde kaçı bu modül üzerinden bir e-posta adresi ekliyor?
- Kullanıcıların yüzde kaçı bu modül aracılığıyla e-posta adreslerini onaylıyor?
- Kullanıcıların yüzde kaçı öğretici düğmesini tıklıyor?
- Kullanıcıların yüzde kaçı kullanıcı sayfasını başlatmak için düğmeyi tıklar ve yüzde kaçı gerçekte kullanıcı sayfasını kaydeder?
- Kullanıcı sayfası oluşturma hakkında daha fazla bilgi edinmek için kullanıcıların yüzde kaçı bağlantıyı tıklar?
- Yardım modülü
- Genel
Öncü göstergeler ve eylem planları
A/B testinin süresi en az altı aydır, çünkü orta büyüklükteki vikilerdeki yeni editör alıkoyma değişikliklerini bundan daha kısa sürede saptamak imkansızdır (retansiyonu büyük ölçüde etkilemedikçe, ancak bunu biraz olası görmüyoruz). Sonuçlarımızı beklerken, bir şeylerin yolunda gitmediğinden şüphelenirsek harekete geçebilmeyi isteriz. Aşağıda, yukarıdaki enstrümantasyon stratejisinde açıklanan verilere dayalı olarak bir dizi senaryo oluşturuyoruz. Her senaryo için, durumu düzeltmek için uygulanacak bir eylem planı öneriyoruz.
| Gösterge | Eylem planları |
|---|---|
| Anasayfayı ziyaret etmemek | Kullanıcıların >%85'inden fazlası anasayfaya erişmezse, artan bir değere sahip bir varyantı test etmeye veya ana sayfaya trafik çekmek için bannerlar, bağlantılar, mesajlar veya rehberli turlar gibi özelliklere yatırım yapmaya öncelik veririz. |
| Ana sayfayı ilk ziyaret ettikten sonra hızla ayrılır | Anasayfaya ilk ziyaretlerinde, kullanıcıların %50'sinden fazlası sayfayı beş saniye içinde (veya analizle belirlenen farklı bir eşik) terk ederse, sayfanın ilk izlenimini geliştirmek için tasarım değişikliklerine gerek olup olmadığını düşünürüz. |
| Ana sayfayı ziyaret ettikten sonraki 24 saat içinde hiçbir ana sayfa modülüyle etkileşimde bulunmamak | Anasayfaya erişen kullanıcıların %75'inden fazlası modüllerden herhangi biriyle etkileşime girmezse, farklı modülleri, mevcut modüllerde tasarım değişikliklerini veya geliştirilmiş kişiselleştirmeyi dikkate alırız. |
| Anasayfaya dönmemek | Anasayfayı ziyaret eden kullanıcıların <%10'u iki hafta içinde bir kez daha ziyaret ederse, farklı modülleri, mevcut modüllerde tasarım değişikliklerini veya iyileştirilmiş kişiselleştirmeyi dikkate alırız. |
| Ana sayfa özelliğini açmak/kapatmak | Kullanıcıların >%1'inden fazlası anasayfa özelliğini açar/kapatırsa, deneyimli kullanıcıların görünüp görünmediklerini görmek için bu kullanıcıların Karşılama Anketi'ne verdiği yanıtları inceleriz. Değilse, tasarımı yeniden değerlendiririz. |
| Belirli bir modül kullanmamak | Bir modül etkileşimlerin <%10'unu alırsa, bu modülün tasarımının değiştirilmesi mi yoksa farklı bir modülle mi değiştirilmesi gerektiğini dikkate alırız. |
| Yardım Masası taşması | Kullanıcılar Yardım Modülü'ne Yardım Modülü aracılığıyla soru gönderirse ve kullanıcılar bir saatten fazla bir süre yanıt beklerken topluluğun devam etmesi için çok yüksek olduğu için topluluğa danışarak bu soruların ne olduğunu ve bir varyanta ihtiyaç vardır. |
| Yeterli mentor yok | Kullanıcılar mentorları ile mentorların ayak uyduramayacağı bir oranda iletişim kurarsa, niçin iletişim kurulduğunu ve modülün bir varyantının gerekli olup olmadığını öğrenmek için büyükelçilerimize ve/veya topluluğa ulaşırız. |
| Fareyle üzerine gelme olaylarının hacmi çok yüksek | Anasayfayı ziyaret eden kullanıcılar tarafından oluşturulan fareyle üzerine gelme olaylarının hacmi kabul edilebilir sınırları aşarsa, bu olaylar için örnekleme oranını azaltırız. “Kabul edilebilir sınırların” ne olduğu hakkında bilgi için T219435#5093702 sayfasına bakın. |
Başlıca göstergelerin durumu
Yeni gelen anasayfa 6 Mayıs 2019'da Çekçe ve Korece Vikipedi'lerine dağıtıldı. Denemenin ilk ayında önde gelen göstergeleri düzenli olarak izledik ve hemen ilgilenilmesi gereken sorunlar bulamadık. Bunun yerine, Anasayfa'nın çok fazla trafik ve etkileşim gördüğünü görüyoruz, özellikle de kullanıcıların büyük bir kısmının birden çok kez buna geri döndüğünü fark ediyoruz.
Aşağıdaki Tablo 1, her iki Vikipedi'den elde edilen sonuçlarla birlikte Ölçüm deney planındaki öncü göstergeleri göstermektedir. Bu analiz, 6 Mayıs 2019'da dağıtım ile 3 Haziran 2019'da analiz süresi arasında kaydolan kullanıcıların verilerine dayanır. Büyüme Ekibi üyelerinden bilinen herhangi bir test hesabı hariç.
| Gösterge | Eylem planları | Çekçe Vikipedi | Korece Vikipedi |
|---|---|---|---|
| Anasayfayı ziyaret etmemek | Kullanıcıların >%85'inden fazlası anasayfaya erişmezse, artan bir değere sahip bir varyantı test etmeye veya ana sayfaya trafik çekmek için bannerlar, bağlantılar, mesajlar veya rehberli turlar gibi özelliklere yatırım yapmaya öncelik veririz. | 69.6% | 77.3% |
| Ana sayfayı ilk ziyaret ettikten sonra hızla ayrılır | Anasayfaya ilk ziyaretlerinde, kullanıcıların %50'sinden fazlası sayfayı beş saniye içinde (veya analizle belirlenen farklı bir eşik) terk ederse, sayfanın ilk izlenimini geliştirmek için tasarım değişikliklerine gerek olup olmadığını düşünürüz. | 43.8% | 44.3% |
| Ana sayfayı ziyaret ettikten sonraki 24 saat içinde hiçbir ana sayfa modülüyle etkileşimde bulunmamak | Anasayfaya erişen kullanıcıların %75'inden fazlası modüllerden herhangi biriyle etkileşime girmezse, farklı modülleri, mevcut modüllerde tasarım değişikliklerini veya geliştirilmiş kişiselleştirmeyi dikkate alırız. | 43.2% | 61.2% |
| Anasayfaya dönmemek | Anasayfayı ziyaret eden kullanıcıların <%10'u iki hafta içinde bir kez daha ziyaret ederse, farklı modülleri, mevcut modüllerde tasarım değişikliklerini veya iyileştirilmiş kişiselleştirmeyi dikkate alırız. | 58.5% | 58.0% |
| Ana sayfa özelliğini açmak/kapatmak | Kullanıcıların >%1'inden fazlası anasayfa özelliğini açar/kapatırsa, deneyimli kullanıcıların görünüp görünmediklerini görmek için bu kullanıcıların Karşılama Anketi'ne verdiği yanıtları inceleriz. Değilse, tasarımı yeniden değerlendiririz. | 0.3% | 0.0% |
| Belirli bir modül kullanmamak | Bir modül etkileşimlerin <%10'unu alırsa, bu modülün tasarımının değiştirilmesi mi yoksa farklı bir modülle mi değiştirilmesi gerektiğini dikkate alırız. | 1 modül | 1 modül |
| Yardım Masası taşması | Kullanıcılar Yardım Modülü'ne Yardım Modülü aracılığıyla soru gönderirse ve kullanıcılar bir saatten fazla bir süre yanıt beklerken topluluğun devam etmesi için çok yüksek olduğu için topluluğa danışarak bu soruların ne olduğunu ve bir varyanta ihtiyaç vardır. | Hayır | Hayır |
| Yeterli mentor yok | Kullanıcılar mentorları ile mentorların ayak uyduramayacağı bir oranda iletişim kurarsa, niçin iletişim kurulduğunu ve modülün bir varyantının gerekli olup olmadığını öğrenmek için büyükelçilerimize ve/veya topluluğa ulaşırız. | Hayır | Hayır |
| Fareyle üzerine gelme olaylarının hacmi çok yüksek | Anasayfayı ziyaret eden kullanıcılar tarafından oluşturulan fareyle üzerine gelme olaylarının hacmi kabul edilebilir sınırları aşarsa, bu olaylar için örnekleme oranını azaltırız. “Kabul edilebilir sınırlar” hakkında bilgi için T219435#5093702 sayfasına bakın. | Hayır (saniyede en fazla 21 etkinlik) | |
Karşılanan bir eşik, modüllerin yaygın olarak kullanılmaması ve iki endişe alanı vardır. Aşağıda bunları daha ayrıntılı olarak ele alıyoruz:
- Belirli bir modül kullanmamak: Yaygın olarak kullanılmayan tek modül, kullanıcılara yardım içeriğine bağlantılar ve Yardım Masasına soru göndermek için bir diyalog sağlayan Yardım modülüdür. Bu konuda özellikle endişelenmiyoruz, çünkü kısmen bazı kullanıcılar onunla etkileşimde bulunuyor (esas olarak yardım bağlantılarını takip ediyor) ve kısmen de kullanıcılarımızın Anasayfadan Yardım Masası'na güçlü bir soru gönderme ihtiyacı duymuyorsa bu bir sorun değil. Bunun yerine, Anasayfa kullanıcılarının yöntemlerine soru gönderdiklerini görüyoruz.
- Anasayfayı ziyaret etmemek: Eşik her iki vikide de karşılanmaz, ancak Korece Vikipedi'de "uzak değil" olarak etiketlenebilir. Yeni kullanıcıların Anasayfayı keşfetmesine yardımcı olan özellikler geliştirme sürecinde olduğumuzdan, bu özelliğin bu oranı azaltmasını beklediğimiz için bunu bir sorun olarak görmüyoruz.
- Yeterli mentor yok: Her iki vikide de soru hacminin üstesinden gelmek zor görünmüyor. Bununla birlikte, yeni kullanıcıların mentorlarına soru göndermelerine izin vermek, bireylerin yanıt vermesine güvendiğimiz ve vikinin Yardım Masası'nda görebildiğimizden daha uzun yanıt süreleriyle sonuçlanabilecek bir sistemdir. Bu noktada endişe için bir neden bulamıyoruz, ancak bu, göz kulak kalacağımız bir alandır.