Növekedés/személyre szabott első nap/íúj szerkesztők kezdőlapja/Mérési és kísérleti terv
A kezdőlap célja, hogy a felhasználók - különösen az új regisztráltak - könnyen hozzáférhessenek olyan dolgokhoz, mint a segédanyagok, javaslatok az általuk végezhető munkára, valamint olyan információk, melyek a Wikipédia közösség élénk tevékenységét és az elvégzett munka hatását mutatják be. Az ilyen típusú információk segíthetnek csökkenteni az akadályokat az enciklopédiához való konstruktív hozzájárulás előtt, ezáltal növelve a szerkesztők aktivitását (azon új felhasználók aránya, akik szerkesztést végeznek). Ez potenciálisan növelheti a szerkesztők megtartását is (azon új felhasználók aránya, akik visszatérnek, hogy további szerkesztéseket végezzenek), ami a Növekedési csapat átfogó célja.
Ezen az oldalon dokumentáljuk a tervünket, hogy egy ellenőrzött kísérletet futtassunk a Kezdőlappal, és hogy milyen méréseket fogunk használni, hogy megtudjuk, hogyan lépnek kapcsolatba vele a felhasználók.
Kutatási kérdések
A kutatási kérdések azok a magasabb szintű kérdések, melyekre választ szeretnénk kapni. A "kezdőlap kezelés" alatt azt értjük, hogy a felhasználónak alapértelmezés szerint be van kapcsolva a kezdőlap, és megkapja a különböző kiegészítő funkciókat, amik a kezdőlapra irányítják, melyek lehetnek bannerek, vitalapi üzenetek vagy a kezdőlapon található linkek. A kezdeti verzióban az egyetlen kiegészítő funkció az lesz, hogy a személyes eszközökben a felhasználónév link a honlapra fog vezetni.
- Növeli-e a kezdőlap-kezelés elfogadása a szerkesztő aktiválását?
- Növeli-e a kezdőlap-kezelés a szerkesztők megtartását?
- Növeli-e a kezdőlap-kezeléshez való hozzáférés a szerkesztések átlagos számát a regisztrációt követő első két hétben?
- Növeli-e a kezdőlaphoz való hozzáférés a konstruktív szerkesztések arányát?
- Ebben az összefüggésben a "konstruktív szerkesztések" olyan szerkesztéseket jelentenek, melyek nem kerülnek visszaállításra. Mivel a növekedési csapat az új felhasználók megtartására összpontosít, ezt mind összességében, mind pedig a felhasználói tapasztalatok szintjei szerint tervezzük mérni (pl. napokban kifejezett élettartam, szerkesztések száma vagy ezek kombinációja).
- Azok a felhasználók, akik hozzáféréssel rendelkeznek a kezdőlaphoz, felkeresik-e a kezdőlapot, és visszatérnek-e oda? Milyen mintákat látunk a kezdőlap látogatásában?
- Mely modulok kötik le az új belépőket, és milyen mértékben kötődnek hozzájuk? Azok a modulok, melyek cselekvésre szólítják fel a szerkesztőket, meg is teszik ezeket a lépéseket?
- Képesek vagyunk-e hatékonyan személyre szabni a kezdőlapot?
- Első lépés: a felhasználók az üdvözlő felmérésre adott válaszaiknak megfelelően viselkednek-e? Például, azok a szerkesztők, akik azt mondják, hogy szeretnének kapcsolatba lépni, hogy segítséget kapjanak a szerkesztéshez, használják-e a mentor modult, hogy kapcsolatba lépjenek egy mentorral; és azok a felhasználók, akik azt mondják, hogy érdekli őket egy szócikk létrehozása, használják-e azokat a modulokat, amelyek segítségével többet tudhatnak meg arról, hogyan kell ezt megvalósítani?
- Második lépés: ha már személyre tudjuk szabni a kezdőlapot, látunk-e nagyobb elkötelezettséget azoknál a felhasználóknál, akiknek a kezdőlapja személyre szabott?
- Ha a kezdőlap személyre szabható, milyen mértékben veszik igénybe a szerkesztők ezt a lehetőséget?
- Ha/amikor megtörténik az új belépők felmérése a kezdőlapról, mit tudunk meg minőségileg? Egy ilyen kvalitatív vizsgálatot gyorsfelmérésekkel vagy egy olyan kezdőlapmodul segítségével lehetne elvégezni, ami egyszerűen a kezdőlap többi részével kapcsolatban kérdez rá.
Ellenőrzött kísérlet
Annak érdekében, hogy megértsük a kezdőlap hatását a szerkesztő aktiválására és megtartására, egy legalább hat hónapig tartó kísérletet javasolunk. Ez idő alatt a cél-wikik (jelenleg cseh, koreai, vietnámi és arab) új regisztrációinak 50%-ánál a kezdőlap alapértelmezés szerint be lesz kapcsolva, 50%-ánál pedig ki lesz kapcsolva. Valószínűleg ezzel egy időben más kísérleteket is fogunk végezni a cél-wikiken (pl. a Súgópanelünk változatai). Ha ezek a kísérletek rétegzett mintavételt igényelnek, akkor szükség szerint módosítani fogjuk a mintavételi stratégiánkat.
A kísérlet futása közben várhatóan a kezdőlap változatait is tesztelni fogjuk, hogy megértsük, hogyan befolyásolják a felhasználói viselkedést az egyes kezelőfelületi elemek. Nem fogjuk elfelejteni, hogy minél erősebb az a hipotézisünk, hogy egy módosított felület hatással lesz az aktiválásra vagy a megtartásra, annál inkább megzavarja az adott felületen végzett teszt az aktiválásra és a megtartásra vonatkozó hosszabb távú kísérletünket.
Mérések
Ezeket a méréseket a kutatási kérdéseink vezérlik, és a kezdőlapot elérő és a moduljaival interakcióba lépő felhasználók által végzett konkrét műveletekre összpontosítanak. Az alábbi lista a kezdőlapon az induláskor jelen lévő négy modulra vonatkozó méréseket tartalmazza: Start, Segítség, Hatás és Mentor. Amikor új modulokat fejlesztünk a kezdőlaphoz, azokhoz is hasonló mérési terveket fogunk kidolgozni.
- Általános
- A felhasználók hány százaléka lép a kezdőlapra?
- A felhasználók hány százaléka lép többször is a kezdőlapra?
- Ha a szerkesztők többször is felkeresik a kezdőlapot, ez milyen időintervallumban történik?
- Vannak-e különbségek a mobil és az asztali szerkesztők között?
- Milyen hamar látogat el egy felhasználó a regisztráció után először a kezdőlapra?
- Hogyan jutnak el a felhasználók a kezdőlapra?
- A felhasználói nevükre kattintva a felső navigációban?
- A szerkesztői lapról vagy a vitalapról a fülre kattintva?
- Más úton, például a wiki bannerén vagy egy e-mailben található linken keresztül?
- Ha a szerkesztő a felső navigációból vagy egy fülről a kezdőlapra mutató linkre kattintott, akkor meg akarjuk állapítani, hogy milyen kontextusban volt. Konkrétan azt szeretnénk tudni, hogy milyen névtérben volt, amikor rákattintott, és hogy olvasott vagy szerkesztett-e.
- Mennyi időt töltenek a felhasználók a kezdőlapmodulokkal való interakció során látogatásonként?
- Az első látogatás során?
- A későbbi látogatások során?
- A felhasználók hány százaléka követi a legalább egy modulból származó linkeket?
- Azok a szerkesztők, akik hozzáférnek a kezdőlaphoz, nagyobb vagy kisebb valószínűséggel hoznak létre szerkesztői lapot?
- A kezdőlaphoz hozzáférő szerkesztők nagyobb vagy kisebb valószínűséggel lépnek-e kapcsolatba más szerkesztőkkel a szerkesztői vitalapokon keresztül?
- A kezdőlaphoz hozzáféréssel rendelkező szerkesztők nagyobb vagy kisebb valószínűséggel lépnek kapcsolatba a közösséggel a szócikkek és projektek vitalapjain keresztül?
- A felhasználók hány százaléka lép a kezdőlapra?
- Modulok
- Általános
- Az egyes modulokra milyen gyakran történik kattintás? Mekkora az egyes modulokra kattintó felhasználók aránya?
- Hány modullal lépnek interakcióba a szerkesztők (ahol az "interakció" bármilyen kattintást jelent)?
- A szerkesztők mely modulokkal lépnek többször interakcióba?
- Mely modulokkal lépnek kapcsolatba leginkább azok a szerkesztők, akik aktiválják és megtartják a programot (elismerve, hogy az ok-okozati összefüggés mindkét irányba mutathat)?
- Mennyi ideig tartózkodnak az asztali felhasználók az egyes modulok felett? (a mobilok esetében az analóg mérés a függőben lévő mobiltervezéstől függ).
- Úgy tűnik-e, hogy a modul elhelyezése az oldalon befolyásolja az interakciókat?
- Milyen hatással van a visszatartásra az egyes moduloknál a cselekvésre való felhívás elvégzése?
- Például: a mentorukkal kapcsolatba lépő szerkesztők hány százaléka marad meg?
- Konkrét modulok
- Súgómodul
- A szerkesztők hány százaléka kattint egy vagy több súgó linkre?
- Ha igen, melyik link(ek)re kattintanak?
- A szerkesztők hány százaléka használja a keresési funkciót?
- 1: A keresőmezőre összpontosít
- 2: Keresés elküldése, a keresés karaktereinek száma
- 3: A találatra kattintás, a találatok száma, a kattintott találat rangsorolása
- Meddig mennek el a szerkesztők a szerkesztési folyamatban, amikor kérdést tesznek fel a Súgószolgálaton?
- 1: Kattintás a kérdés feltevéséhez
- 2: Kérdés beírása
- 3: Elküldés
- 4: A megerősítő ablakon egy linkre kattintás
- Milyen hosszúak a feltett kérdések átlagosan?
- A kérdést feltöltő felhasználók hány százaléka tér vissza a válasz megtekintéséhez az alábbiak bármelyikével?
- Az Echo értesítésre kattintva, miszerint pingelték őket a válaszban.
- A "Legutóbbi kérdéseid" listában található linkre kattintva.
- A válaszra való válaszadás a Súgószolgálat oldalán.
- Az új belépők hány százaléka, akiknek nem volt e-mail címük, adnak hozzá egyet, amikor kérdést tesznek fel?
- Az új belépők hány százaléka erősíti meg e-mail címét (48 órán belül), miután kérdést tett fel?
- Az új belépők hány százaléka tesz fel kérdést e-mail cím nélkül?
- A legalább egy kérdést feltett felhasználók hány százaléka lát egy vagy több archivált kérdést a kezdőlapon?
- Azoknak a felhasználóknak hány százaléka, akik az "legutóbbi kérdéseid" listában található linkek egyikére kattintanak, egy archivált kérdésre mutató linkre kattintottak?
- A szerkesztők hány százaléka kattint egy vagy több súgó linkre?
- Mentorálási modul
- Hány százalékuk kattint egy linkre, hogy többet tudjon meg a mentorról?
- Milyen messzire mennek el a felhasználók a szerkesztésben, amikor kérdést tesznek fel a mentoruknak?
- 1: Kattintás a kérdés feltevéséhez
- 2: Kérdés beírása
- 3: Elküldés
- 4: A megerősítő ablakon egy linkre kattintás
- Milyen hosszúak a feltett kérdések átlagosan?
- (Kézzel mérve) A kérdést feltett szerkesztők hány százaléka kap választ a mentortól?
- Kapnak-e választ olyasvalakitől, aki nem a mentoruk?
- A kérdést feltöltő felhasználók hány százaléka tér vissza a válasz megtekintéséhez az alábbiak bármelyikével?
- Az Echo értesítésre kattintva, miszerint pingelték őket a válaszban.
- A "Legutóbbi kérdéseid" listában található linkre kattintva.
- A válaszra való válaszadás a vitalapon.
- (Kézzel mérve) A kérdést feltevő új belépők hány százaléka ír másodszor is a mentor vitalapjára?
- Milyen gyakran válik az első kérdésből beszélgetés?
- Milyen gyakran tesznek fel második kérdést?
- Milyen gyakran lépnek túl a beszélgetések a tranzakciós wikibeszélgetésen?
- Hány százalékuk kattint rá valamelyik linkre, hogy megnézze a kérdését, miután feltette azt?
- Az új belépők hány százaléka, akiknek nem volt e-mail címük, adnak hozzá egyet, amikor kérdést tesznek fel?
- Az új belépők hány százaléka erősíti meg e-mail címét (48 órán belül), miután kérdést tett fel?
- Az új belépők hány százaléka tesz fel kérdést e-mail cím nélkül?
- Az új belépők nagyobb valószínűséggel tesznek fel kérdéseket olyan mentoroknak, akiknek magas a szerkesztésszámuk és rövid idő telt el az utolsó szerkesztés óta, mint az alacsonyabb szerkesztésszámú és/vagy az utolsó szerkesztés óta eltelt hosszabb idővel rendelkező mentoroknak?
- A legalább egy kérdést feltett felhasználók hány százaléka lát egy vagy több archivált kérdést a kezdőlapon?
- Azoknak a felhasználóknak hány százaléka, akik az "legutóbbi kérdéseid" listában található linkek egyikére kattintanak, egy archivált kérdésre mutató linkre kattintottak?
- Hatás modul
- Hány százalékuk kattint egy linkre, amikor a modul "nem aktivált állapotban" van (amikor a felhasználó nem szerkeszt szócikkeket)?
- Hány százalék kattint egy szócikk megtekintésére?
- Hány százalék kattint az oldalmegtekintés-elemző eszköz megtekintésére?
- Hány százalék kattint az összes hozzászólás megtekintésére?
- Milyen gyakran térnek vissza a szerkesztők, hogy többször is megnyissák az oldalmegtekintés-elemző eszközt?
- Modul indítása
- Azoknak a felhasználóknak hány százaléka, akiknek nem volt e-mail címe, ad hozzá e-mail címet ezen a modulon keresztül?
- A felhasználók hány százaléka erősíti meg e-mail címét ezen a modulon keresztül?
- A felhasználók hány százaléka kattint a bemutató gombra?
- A felhasználók hány százaléka kattint a szerkesztői lap indítására szolgáló gombra, és hány százalékuk ment el ténylegesen szerkesztői lapot?
- A felhasználók hány százaléka kattint a linkre, hogy többet tudjon meg a szerkesztői lap létrehozásáról?
- Súgómodul
- Általános
Iránymutatók és intézkedési tervek
Az A/B teszt időtartama hat hónap, mert ennél rövidebb idő alatt lehetetlen kimutatni az új szerkesztők megtartásának változását a közepes méretű wikiknél (kivéve, ha drasztikusan befolyásoljuk a megtartást, de ezt elég valószínűtlennek tartjuk). Amíg az eredményekre várunk, szeretnénk tudni lépéseket tenni, ha gyanítjuk, hogy valami nincs rendben. Az alábbiakban felvázolunk egy sor forgatókönyvet a fenti mérési stratégiában leírt adatok alapján. Minden egyes forgatókönyvhöz javaslatot teszünk egy intézkedési tervre a helyzet orvoslására.
Indikátor | Akciótervek |
---|---|
Nincs látogatva a kezdőlap | Ha a felhasználók >85%-a nem látogatja meg a kezdőlapot, akkor előnyben részesítjük egy olyan variáns tesztelését, amely nagyobb lehetőségeket kínál, vagy olyan funkciókba fektetünk, melyek a forgalmat a kezdőlapra irányítják, például bannerek, linkek, üzenetek vagy vezetett túrák formájában. |
A kezdőlap gyors elhagyása az első látogatás után | Ha a kezdőlap első látogatásakor a felhasználók >50%-a öt másodpercen belül elhagyja az oldalt (vagy egy másik, elemzéssel meghatározott küszöbértéket), akkor mérlegeljük, hogy szükséges-e változtatni a kialakításon az oldal első benyomásának javítása érdekében. |
A kezdőlap első meglátogatását követő 24 órán belül nincs interakció a kezdőlap egyik moduljával sem | Ha a kezdőlapot felkereső felhasználók >75%-a nem lép interakcióba egyetlen modullal sem, akkor vagy más modulokat, vagy a meglévő modulok tervezési módosítását, vagy a személyre szabás javítását mérlegeljük. |
Nincs visszatérés a kezdőlapra | Ha a kezdőlapot egyszer meglátogató felhasználók <10%-a két héten belül újra meglátogatja azt, akkor vagy más modulokat, vagy a meglévő modulok tervezési módosításait, vagy a személyre szabás javítását fontolgatjuk. |
A kezdőlap funkció be/ki kapcsolása | Ha a felhasználók >1%-a kapcsolja be/ki a kezdőlap funkciót, akkor megvizsgáljuk e felhasználóknak az üdvözlő felmérésre adott válaszait, hogy kiderüljön, tapasztalt szerkesztőknek tűnnek-e. Ha nem azok, akkor újraértékeljük a tervezést. |
Egy adott modul használatának mellőzése | Ha egy modul az interakciók <10%-át kapja, mérlegeljük, hogy az adott modul kialakítását meg kell-e változtatni, vagy egy másik modullal kell-e helyettesíteni. |
A Súgószolgálat túlcsordulása | Ha a szerkesztők a Súgómodulon keresztül kérdéseket tesznek fel a Súgószolgálathoz, és a felhasználók több mint egy órán keresztül várnak a válaszra, mert a mennyiség tartósan túl nagy, és a közösség nem tud lépést tartani vele, konzultálunk a közösséggel, hogy megértsük, milyen kérdésekről van szó, és szükség van-e valamilyen változtatásra. |
Nincs elég mentor | Ha a szerkesztők olyan ütemben lépnek kapcsolatba mentoraikkal, hogy a mentorok nem tudnak lépést tartani velük, akkor felkeressük nagyköveteinket és/vagy a közösséget, hogy megtudjuk, miért lépnek kapcsolatba, és hogy szükség van-e a modul valamely változatára. |
Túl sok lebegéses esemény | Ha a kezdőlapot látogató felhasználók által generált lebegési események mennyisége meghaladja az elfogadható határokat, csökkentjük a mintavételi arányt ezekre az eseményekre vonatkozóan. Az "elfogadható határértékek" meghatározásáról lásd a T219435#5093702 dokumentumot. |
A vezető mutatók állapota
Az új belépő kezdőlapot 2019. május 6-án telepítettük a cseh és a koreai Wikipédiára. A kísérlet első hónapjában rendszeresen figyeltük a vezető mutatókat, és nem találtunk olyan problémákat, melyek azonnali figyelmet igényeltek volna. Ehelyett azt tapasztaltuk, hogy a kezdőlap nagy forgalmat és interakciókat bonyolít, különösen azt vettük észre, hogy a szerkesztők nagy aránya többször is visszatér rá.
Az alábbi 1. táblázat a mérési kísérleti terv vezető mutatóit mutatja be a két Wikipédia eredményeivel együtt. Az elemzés azon felhasználók adatain alapul, akik a 2019. május 6-i telepítés és az elemzés 2019. június 3-i időpontja között regisztráltak. Azokat a szerkesztőket, akik vagy saját maguk választották ki, hogy a kezdőlapjuk legyen, vagy nem (be- vagy kikapcsolták az opciót), kizártuk, ahogyan a Növekedési csapat tagjainak minden ismert tesztfiókját is.
Indikátor | Akciótervek | Cseh Wikipédia | Koreai Wikipédia |
---|---|---|---|
Nincs látogatva a kezdőlap | Ha a felhasználók >85%-a nem látogatja meg a kezdőlapot, akkor előnyben részesítjük egy olyan variáns tesztelését, amely nagyobb lehetőségeket kínál, vagy olyan funkciókba fektetünk, melyek a forgalmat a kezdőlapra irányítják, például bannerek, linkek, üzenetek vagy vezetett túrák formájában. | 69.6% | 77.3% |
A kezdőlap gyors elhagyása az első látogatás után | Ha a kezdőlap első látogatásakor a felhasználók >50%-a öt másodpercen belül elhagyja az oldalt (vagy egy másik, elemzéssel meghatározott küszöbértéket), akkor mérlegeljük, hogy szükséges-e változtatni a kialakításon az oldal első benyomásának javítása érdekében. | 43.8% | 44.3% |
A kezdőlap első meglátogatását követő 24 órán belül nincs interakció a kezdőlap egyik moduljával sem | Ha a kezdőlapot felkereső felhasználók >75%-a nem lép interakcióba egyetlen modullal sem, akkor vagy más modulokat, vagy a meglévő modulok tervezési módosítását, vagy a személyre szabás javítását mérlegeljük. | 43.2% | 61.2% |
Nincs visszatérés a kezdőlapra | Ha a kezdőlapot egyszer meglátogató felhasználók <10%-a két héten belül újra meglátogatja azt, akkor vagy más modulokat, vagy a meglévő modulok tervezési módosításait, vagy a személyre szabás javítását fontolgatjuk. | 58.5% | 58.0% |
A kezdőlap funkció be/ki kapcsolása | Ha a felhasználók >1%-a kapcsolja be/ki a kezdőlap funkciót, akkor megvizsgáljuk e felhasználóknak az üdvözlő felmérésre adott válaszait, hogy kiderüljön, tapasztalt szerkesztőknek tűnnek-e. Ha nem azok, akkor újraértékeljük a tervezést. | 0.3% | 0.0% |
Egy adott modul használatának mellőzése | Ha egy modul az interakciók <10%-át kapja, mérlegeljük, hogy az adott modul kialakítását meg kell-e változtatni, vagy egy másik modullal kell-e helyettesíteni. | 1 modul | 1 modul |
A Súgószolgálat túlcsordulása | Ha a szerkesztők a Súgómodulon keresztül kérdéseket tesznek fel a Súgószolgálathoz, és a felhasználók több mint egy órán keresztül várnak a válaszra, mert a mennyiség tartósan túl nagy, és a közösség nem tud lépést tartani vele, konzultálunk a közösséggel, hogy megértsük, milyen kérdésekről van szó, és szükség van-e valamilyen változtatásra. | Nem | Nem |
Nincs elég mentor | Ha a szerkesztők olyan ütemben lépnek kapcsolatba mentoraikkal, hogy a mentorok nem tudnak lépést tartani velük, akkor felkeressük nagyköveteinket és/vagy a közösséget, hogy megtudjuk, miért lépnek kapcsolatba, és hogy szükség van-e a modul valamely változatára. | Nem | Nem |
Túl sok lebegéses esemény | Ha a kezdőlapot látogató felhasználók által generált lebegési események mennyisége meghaladja az elfogadható határokat, csökkentjük a mintavételi arányt ezekre az eseményekre vonatkozóan. Az "elfogadható határértékek" meghatározásáról lásd a T219435#5093702 oldalát. | Nem (maximum 21 esemény másodpercenként) |
Van egy küszöbérték, ami teljesült, a modulokat nem használják széles körben, és két terület, ami aggodalomra ad okot. Az alábbiakban ezekkel foglalkozunk részletesebben:
- Egy adott modul használatának mellőzése: Az egyetlen modul, amit nem használnak széles körben, az a Súgó modul, mely a felhasználók számára linkeket biztosít a súgó tartalmakhoz, és egy párbeszédet a Súgószolgálathoz intézett kérdések feladásához. Nem aggódunk különösebben emiatt, részben azért, mert néhány felhasználó interakcióba lép vele (főleg a súgó linkeket követve), részben pedig azért, mert nem jelent problémát, ha a szerkesztőinknek nincs nagy szükségük arra, hogy a kezdőlapról kérdéseket tegyenek fel a Súgószolgálatnak. Ehelyett azt látjuk, hogy a kezdőlap felhasználói a mentoraiknak küldözgetnek kérdéseket.
- Nincs látogatva a kezdőlap: A küszöbérték egyik wikin sem teljesül, de a koreai Wikipédián "nem messze" címkével jelölhető. Mivel folyamatban van olyan funkciók kifejlesztése, melyek segítenek az új felhasználóknak felfedezni a kezdőlapot, ezt nem tekintjük problémának, mivel arra számítunk, hogy ez a funkció csökkenteni fogja ezt az arányt.
- Nincs elég mentor: Nem úgy tűnik, hogy a kérdések mennyiségét nehéz lenne kezelni egyik wikin sem. Ennek ellenére az, hogy az új felhasználóknak lehetővé tesszük, hogy kérdéseket tegyenek fel a mentoruknak, olyan rendszer, ahol az egyénekre támaszkodunk a válaszadásban, ami hosszabb válaszidőt eredményezhet, mint amit egy wiki Súgószolgálatán tapasztalhatunk. Jelenleg nem találunk okot aggodalomra, de ez egy olyan terület, amit szemmel fogunk tartani.