Growth/Personalizovaný první den/Domovská stránka

Skupina:	Growth
Začal:	2018-02-01
Členové týmu:	Stephane Bisson (software engineer), Benoît Evellin (community relations specialist), Elena Tonkovidova (QA engineer), Kosta Harlan (software engineer), Morten Warncke-Wang (data analyst), Rita Ho (senior user experience designer)
Vedoucí:	Roan Kattouw
Vedení:	Ryan Kaldari (engineering), Marshall Miller (product), Jazmin Tanner (program)
Aktualizace:	Most updates posted here.

This page is a translated version of the page Growth/Personalized first day/Newcomer homepage and the translation is 91% complete.

Řešeno přes Phabricator
Úkol T213990

Tato stránka popisuje práci týmu Growth na projektu Domovské stránky (dříve překládáno jako "nástěnka nováčka"), což je projekt, který je součástí větší iniciativy "Personalizovaný první den". Tato stránka obsahuje nejdůležitější informace a rozhodnutí. Více postupných aktualizací týkající se průběhu projektu bude k dispozici na všeobecné stránce s aktualitami, s většími a detailními informacemi vloženými zde.

Psaní kódu pro tento pro tento projekt začalo 19. února 2019, i přesto, že plánování a vývoj nadále pokračuje. První verze Domovské stránky určená pro počítače byla nasazena jako experiment 6. května 2019. Následující měsíce ukázaly, že Domovská stránka je dobrá platforma, na kterou se vrací mnoho nováčků. Během léta 2019 jsme zvýšili počet návštěv nově příchozích přidáním funkcí, které je povzbuzují, aby stránku objevili, a v listopadu 2019 jsme přidali funkci "Úkoly pro nováčky".

Současný stav

2018-12-06: komunitní diskuse o nápadech, jak personalizovat první den nováčků
2019-01-16: tým se rozhodl věnovat se projektu "aktivizačních e-mailů" a Domovské stránce nováčka.
2019-02-19: zahájen vývoj
2019-03-14: dokončeno testování grafických návrhů na uživatelích
2019-04-02: dostupné pro testování na beta wiki
2019-04-18: schválen měřící plán
2019-05-02: nasazeno na českou a korejskou Wikipedii, Domovskou stránku zatím nemá automaticky zapnutou žádný nováček
2019-05-06: experiment nasazen v české a korejské Wikipedii
2019-05-07: dokončení testování návrhů mobilní verze Domovské stránky
2019-06-26: nasazení mobilní verze Domovské stránky na české a korejské Wikipedii
2019-07-01: nasazení Domovské stránky (klasické i mobilní) ve vietnamské Wikipedii
2019-07-03: publikován analýza Domovské stránky
2019-07-24: nasazeno na arabské Wikipedii
2019-07-26: nasazeny funkce zvyšující množství nováčků, kteří na Domovskou stránku narazí
2019-11-20: byly nasazeny editační tipy
2024-02-23: Community Updates project starts, a new module for the homepage.

Shrnutí

Z výzkumu víme, že nováčci na wiki přicházejí s určitým cílem, kterého se snaží dosáhnout. Pokud se jim to nepodaří, často odchází a již se nevracejí. Pro nováčky je obtížné byť i jen začít na svém cíli pracovat, částečně proto, že neexistuje jednoduché místo, od kterého se mohou odpíchnout. Takové místo můžeme vytvořit a tím nováčkům usnadnit orientaci a tedy splnění jejich cíle, který popisují v uvítacím dotazníku.

Pojmy "domovská stránka" a "stránka profilu" jsou podobné a související (definice viz Sekce glosářů níže). Obojí patří mezi osobní prostory uživatele, ale zatímco Domovská stránka prezentuje uživateli nástroje a zdroje, které potřebuje, uživatelská stránka umožňuje uživateli informace poskytovat směrem ven. V tomto projektu budeme tvořit personalizovanou Domovskou stránku, tj. každý uživatel bude moci vidět pouze "tu svou" Domovskou stránku.

Chceme:

Poskytovat užitečný a personalizovaný obsah, s prioritizací nejrelevantnějšího obsahu.
Propojit obsah angažovacích emailů s obsahem na wiki prostřednictvím domovské stránky nováčků.
Zajistit, aby bylo nováčkům jasné, jak domovskou stránku navštívit (aby se mohla stát součástí, na kterou si nováček zvykne).
Zvýšit množství nováčků, kteří u Wikipedie zůstanou.
Dozvědět se, jaký druh obsahu vede k zvýšení množství nováčků, kteří u Wikipedie zůstanou.

Nechceme

Vytvořit strukturovanou uživatelskou stránku (zatím, možná v budoucím projektu).
Překážet nováčkům, kteří se chtějí po vytvoření účtu navrátit do editačního módu.
Mít statickou Domovskou stránku, která by při příští návštěvě již nebyla zajímavá.
Příliš Domovskou stránku personalizovat.
Přetěžovat nováčky mnoha možnostmi.

Slovník pojmů

V tomto projektu se používá mnoho terminů, které mohou být matoucí. Tato sekce definuje každý z nich.

"Hlavní strana": V současnosti existuje. Tuto stránku si zobrazíte, když jdete přímo na https://XY.wikipedia.org. Zobrazuje hlavní stránku projektu (například https://cs.wikipedia.org/wiki/Hlavní_strana).
"Uživatelská stránka": V současnosti existuje na Wikipedista:VašeUživatelskéJméno. Mnoho uživatelů si své uživatelské stránky tvoří tak, že fungují jako nástěnky nebo profily.
"Domovská stránka" nebo "panel": V současné době existuje Special:Homepage. Řešení, které jsme vybudovali v tomto projektu. Obsahuje informace a nástroje, které může nováček používat.
"Profilová stránka": Zatím neexistuje. Může vypadat podobně, jako uživatelská stránka, jen strukturovaná. Fotografie, jméno, zájmy a jiné věci, které uživatelé chtějí sdílet s vnějším světem.; Důležitý rozdíl mezi "domovskou stránkou" a "profilovou stránkou" je ten, že Domovská stránka obsahuje nástroje a zdroje, které uživatel potřebuje, zatímco profilová stránka obsahuje texty, které uživatel chce sdílet s ostatními. Mnoho platforem tyto dva koncepty míchá do jednoho, ale my můžeme začít s Domovskou stránkou a tyto dva koncepty tvořit separátně.

Proč má tato myšlenka přednost

Z našeho výzkumu víme, že nováčci se ve světě úprav Wikipedie cítí dezorientovaní. Zatímco zkušení editoři vědí, jak spojit nesourodé části wiki do soudržného zážitku (mluvené stránky, uživatelské stránky, WikiProjekty, seznam sledovaných položek, kategorie, historie stránek atd.), nováčci nevědí, jak je používat dohromady. Diví se: "Kde mám začít?" Můžeme postavit vstup, abychom odhalili věci, které nováčci potřebují vědět a udělat jako první – centralizované místo, kde se budou orientovat a kam se budou moci vracet pro budoucí práci. Taková stránka by mohla obsahovat stejný druh obsahu, který chceme posílat prostřednictvím e-mailů pro zapojení , ale v akčnější hloubce.

Poskytuje centrální místo pro nováčky, kteří hledají místo, kde začít - 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den na wiki , i když na ní nic není a žádné zvláštní úsilí se tam dostat. Věříme, že vidí své vlastní uživatelské jméno a doufají, že to bude "domovská stránka" nebo "panel". Uživatelské testování pro uvítací průzkum také odhalilo touhu po "panelu", kterým by mohl začít.
Poskytuje vstupní bod pro nováčky, kteří jsou zmateni a neznají komunity, koncepty a zásady Wikipedie - nováčci se potýkají s politikami Wikipedie a jsou zmateni z toho, jak Wikipedie funguje a jak se oddělují od své komunity (výzkumná zjištění č. 5 a 8 ). Nevědí, kde začít, protože existuje ohromné množství potenciálních cest.
Poskytuje místo pro nováčky, kteří hledají obsah nápovědy - 30 až 40 % nově příchozích navštíví stránku nápovědy nebo zásad první den na wiki .
Poskytuje centrální místo pro postupné cesty k úpravám - dalším výzkumným zjištěním je, že noví editoři těží z progresivního učení a mají problém objevit a používat editační nástroje. (výsledky výzkumu #7 a #9 ).
Domovské stránky jsou běžným prostředkem orientace uživatelů softwaru - prakticky všechny ostatní platformy pro příspěvky komunity (např. TripAdvisor, Wikia, Yelp, Reddit) do určité míry využívají koncept "home", kde uživatelé začínají svou relaci a orientují se.
Poskytuje cíl pro opětovné spojení s uživateli, kteří se vrátili prostřednictvím komunikace mimo wiki. Vzhledem k tomu, že tento projekt probíhá souběžně s projektem e-mailů se zapojením, je výhodné mít jedno místo, ze kterého mohou uživatelé proklikávat a měřit efektivitu e-mailových kampaní.

Vývoj

Počáteční návrhy tohoto projektu lze vždy nalézt v této klikací maketě. Pro usnadnění jsou níže uvedeny konkrétní obrázky. První verze domovské stránky jsme nasadili, jakmile jsme vytvořili dostatečné množství modulů, aby byly cenné pro nováčky. Časem mohou být přidány další moduly.

Rozvržení domovské stránky

Obecně je domovská stránka navržena tak, aby na ní byla uspořádána řada modulů. Původním záměrem byla flexibilita prezentovat různá uspořádání s různými kombinacemi modulů v závislosti na odpovědích nováčka v uvítacím průzkumu a na jejich historii úprav. Níže byly uvedeny dva potenciální návrhy navržené pro Desktop. Pro mobily existují ekvivalentní návrhy.

Maketa potenciálního designu A pro novou domovskou stránku
Maketa potenciálního designu B pro novou domovskou stránku

Tým se dohodl na návrhu pro počáteční nasazení v květnu 2019, přičemž obrázek ukazuje tento návrh níže.

Maketa vývoje pro počáteční nasazení nové domovské stránky v květnu 2019

Umístění

Hlavní hledisko ohledně domovské stránky pro nováčky je to, kde se bude nacházet a jak ji nováčci najdou. Tým zvažoval několik možností a dospěl k rozhodnutí:

Přidejte jej jako další záložku do uživatelského prostoru – když si uživatel prohlíží svou uživatelskou stránku, vidí karty pro "Stránka" a "Diskuse". Mohli bychom přidat kartu pro "Domovskou stránku" a nastavit ji jako výchozí kartu, dokud uživatel nebude mít obsah na své uživatelské stránce. Bylo by důležité stále informovat uživatele, že si může nastavit svou uživatelskou stránku. Tuto možnost jsme zvolili, protože se domníváme, že mnoho uživatelů již přechází na svou uživatelskou stránku s očekáváním, že najdou domovskou stránku. Pro nás je také rychlejší vyvinout zcela novou stránku, než se pokoušet začlenit obsah této domovské stránky do existující stránky. Kartu vidí pouze samotný nováček.

Toto jsou další možnosti, které jsme zvažovali:

Vyměňte normální hlavní stránku – když si uživatel právě nedávno vytvořil svůj účet, je nepravděpodobné, že by chtěl vidět "Vybraný článek", "Věděli jste" a "Tento den". Máme důvod se domnívat, že hledají místo, kde by mohli začít s úpravami, a hlavní stránku lze snadno najít. Víme také, že 45 % nováčků navštíví hlavní stránku během prvního dne, kdy mají založen účet .
Přidejte jej jako sekci na stránce Uživatel – víme, že 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den a že když se tam dostanou, stránka je úplně prázdná. víme, že 30 % až 40 % nově příchozích navštíví svou vlastní uživatelskou stránku první den a že když se tam dostanou, stránka je úplně prázdná.
Udělejte z toho nový osobní nástroj – mohli bychom vytvořit novou domovskou stránku jako novou speciální stránku a poté na ni přidat odkaz v horní části navigace wiki spolu se seznamem sledovaných, příspěvky, předvolby atd.
Udělejte to součástí existující speciální stránky, jako je seznam sledovaných – mnoho zkušených uživatelů již používá seznam sledovaných stránek jako svou domovskou stránku na wiki, a tak by zde možná mohla být provedena vylepšení, která budou přínosem pro všechny editory.
Udělejte z něj panel, který může uživatel otevřít odkudkoli na wiki – místo stránky, na kterou musí uživatel přejít, může být domovskou stránkou panel, ke kterému má uživatel přístup, ať už provádí úpravy nebo čtení, aniž by ztratil své místo. To může být dobrý nápad pro pozdější iteraci.

Moduly

Domovská stránka obsahuje sadu modulů, z nichž každý představuje konkrétní nástroj nebo zdroj relevantní k tomu, aby nováčkovi pomohl dosáhnout jeho cílů a orientovat se na wiki. Z mnoha nápadů na moduly jsme se rozhodli pro první čtyři uvedené níže.

Modul nápovědy

Poskytuje užitečné odkazy, možnost vyhledávat nápovědu a možnost klást otázky komunitní nápovědě. Velmi podobná sada zdrojů jako panel nápovědy , ale vložená přímo na stránku. Úplný požadavek a podrobnosti viz T215986.

Modul dopadu

Ukazuje nováčkům, že si lidé prohlížejí stránky, na kterých pracovali. Zjistili jsme, že když si nováčci uvědomí, že jejich úpravy mají dopad, jejich motivace se zvýší. V jeho počáteční iteraci se zaměříme spíše na sdělení toho, co má nováček než na přesné měření tohoto dopadu. Tento modul by měl stav, kdy nováček ještě neprovedl žádné úpravy. Úplné požadavky a podrobnosti naleznete v části T216217.

Mentorský modul

Uvítací průzkum nám ukázal, že velká část nováčků má zájem být v kontaktu se zkušeným redaktorem a získat pomoc. S tímto modulem přidělíme každému nováčkovi "mentora" ze seznamu zkušených editorů v každé wiki, kteří se zaregistrovali. Nově příchozí uvidí své přidělené uživatelské jméno mentora na své domovské stránce a bude mít odkaz, kde je kontaktovat. Úplné požadavky a podrobnosti naleznete v části T216631.

Modul mentorství má také doprovodnou speciální stránku, kterou mohou mentoři použít k získání konkrétních mentorovaných. Tato funkce existuje, protože mentoři jsou přidělováni náhodně, ale školitel na osobní akci může chtít změnit výchozí mentory svých školitelů tak, aby všichni měli školitele jako svého mentora. Podívejte se na stránku Nápověda:Growth/Nástroje/Jak se stát mentorem nováčka? .

Startovací modul

Uživatelské testy původních návrhů domovské stránky pro nováčky jasně ukázaly, že nováčci hledají jasné místo, kde začít – konkrétně něco, co jim přesně řekne, jaké by měly být jejich první kroky. Tento modul objasňuje, že některé první dobré první věci, které je třeba na wiki udělat, je přidat nebo potvrdit e-mailovou adresu, projít si tutoriál nebo otevřít uživatelskou stránku. Jakmile uživatelé dokončí tyto úkoly, zobrazí se jim zelené ikony zaškrtnutí, které ukazují jejich postup. V budoucnu bychom si dokázali představit, že uživatelům poskytneme více doporučení úkolů, jakmile dokončí ty počáteční. Úplné požadavky a podrobnosti naleznete v části T217105.

Další moduly

Níže je uveden seznam dalších modulů, které jsou v procesu návrhu a plánování.

Activity feed – zatímco mnoho aktivních editorů používá své seznamy sledování jako domovskou stránku, nováčci na svých seznamech sledování nic nemají. Můžeme jim vložit seznam zajímavých aktivit na základě témat, o která uvedli, že je zajímají, z uvítacího průzkumu. To jim může pomoci sledovat aktivitu na wiki a zjistit, že existuje živá komunita.
Doporučení úkolů – toto je jeden z modulů s nejvyšším potenciálem, ale také jeden z nejnáročnějších na sestavení. Na wikinách existuje mnoho nástrojů a přístupů k doporučení úkolů. Naší výzvou bude nováčkovi doporučit úkoly, které mají správnou úroveň obtížnosti a které jsou relevantní k tématům, která je zajímají. **Update:** Tento modul byl vyvinut v projektu Newcomer Tasks .
Featured experienced editors – a module that shows the usernames of some of the most active editors around topics that the newcomer cares about.
Interactive tutorial – a module that allows the user to click through a series of learning content.
Recognition: a module that counts and displays thanks and Wikilove received by the user.
Homepage feedback – a module that allows the user to indicate whether they find the homepage useful or not.
Event/program specific – in the welcome survey, we ask users why they created their account. It is likely that many users create their account because they are at an editing event, or because they are trying to participate in a program, like Wiki Loves Monuments. Perhaps if we know which event or program they're with, we can allow communities to customize homepage content related to that event so that users can see exactly where to go and how to participate once they get to their homepage.

Initial version

In the initial version of the newcomer homepage, we want to answer these questions:

Will having access to the homepage increase new editor activation, retention, and constructive edits?
Do users who have access to the homepage go to, and return to, the homepage? Does it seem like the homepage is serving as a central location for people to get oriented?
Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?

Therefore, we have decided to include these elements in the initial version:

Shown in the User space
Desktop only (mobile comes next)
Four modules
- Help module
- Mentorship module
- Impact module
- Account completion module: gives some very simple recommendations of how to get started (add an email, start your user page)
Layout not yet personalized for each user
Deployed as A/B test, with half of user not having a homepage

Mobile design

The newcomer homepage is complex enough that its interface doesn't port simply to mobile. It needs to be designed deliberately and implemented separately from the desktop version. The team decided to deploy the initial version such that it displays only on desktop, which is where the majority of newcomers in our target wikis are working. About 70% of accounts created in Czech and Korean Wikipedias are created from desktop. But because of the additional 30% of accounts, a mobile version of the homepage was a top priority after releasing the desktop version.

Our team explored several designs for how to show the large amount of homepage information on a mobile device. The accompanying mockup shows two potential designs:

Version 1: One that shows snippets of information for each module. Clicking on the snippets opens the module as a full screen.
Version 2: One that actually has miniature versions of each module, from which the user can take action. These would also open to their full versions.

In April 2019, the team planned user testing and started working on Version 1, accepting community thoughts on mobile designs during that time.

The mobile version was deployed on June 26, 2019 for Czech and Korean newcomers and on July 1, 2019 for Vietnamese newcomers.

Future versions

See this page for full notes and drawings on ideas for future elements of the homepage.

In determining the initial version of the newcomer homepage, many ideas for features were set aside to be evaluated later on. Many of them are visible in the initial mockups here. The following is a list of capabilities that are either being built for the newcomer homepage, or may be built in the future:

Features that drive newcomers to their homepage: in the initial version, newcomers will only discover their homepage if they click on their username in their personal tools. If we see early positive results from the homepage, we may build features that drive more newcomers toward it, such as Echo notifications, banners, or links.
Personalization: the original objective of the broader "Personalized first day" project is to ask newcomers what they are trying to achieve on their first day and then personalize their experience to help them achieve it. Though the initial version will show the same homepage modules to all users, we can use welcome survey responses and edit history to show the most important things to the right users.
Structured user page: in addition to having a homepage, many users also expect to have a "profile" page, in which they broadcast things about themselves that they tell the rest of the community. . Many Wikipedians use their User pages for this, but newcomers struggle to build a user page from scratch. Perhaps we can structure the experience of building a user page so that more newcomers succeed.
Customization: users may want to customize their homepage to surface just the modules they find most useful and to adjust the settings on what those modules show.
Other modules: see the "Other modules" section above.

User testing

Desktop

During the week of March 14, 2019, we used usertesting.com to conduct five tests of the desktop homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:

Gauge the discoverability of the homepage
Do users understand that it is a homepage that they see and other users don’t?
Gauge user reactions and understandability to the homepage as a whole
Do people understand what the modules are?
Which modules are most attractive?
Is there anything else users would expect to be there or would like to do in the Homepage?

Summary of findings

Most participants could not find a good way to get started with editing from Main Page. Only one participant proposed to click on the username in the personal tools area after quickly scanning the upper part of the page.
3 out of 5 participants examined the personal tools area, and comment they have no idea what terms like "Watchlist", "Contributions", and "Talk" mean.
Only one participant expected to find step-by-step help on how to get started in the homepage.
Most of the participants said they expected to find a profile page with information about them and their activity.
When talking about what they expect to find after clicking on their username, participants used different terms to refer to the page they would land on to:
- Account page
- Profile page
- Dashboard
All participants find the content in the homepage useful.
2 out of 5 users explicitly say they find the layout and the page clean and well set-up.
The part of the page that participants find most useful is the help module, specifically pointing at the “Step-by-step guide” link.
In general, it feels like participants didn’t expect to find something like the homepage after clicking on their username, but when presented with the content they find it useful and interesting.
Some users expected to find personal data shown somewhere at the top of the page content.
Many users are attracted by the impact module and feel it would be “encouraging”.
Users seem to look for a list of their past and in-the-work contributions to Wikipedia.
The majority of the users are confused about the "Create user page" call-to-action.
After seeing the "Create user page" call-to-action, most users start wondering what is the difference between the homepage and the user page.
The majority of the participants think that on the user page they would find:
- Personal information
- A list of articles they have written or they are working on.
- Information or a trigger to start creating new articles.
Almost all the participants expected to find a user page already created for them, or a template, or wizard to guide them in the making of the page.

Recommendations

A menu with dedicated creating and editing calls-to-action and tutorials, maybe a new "How to get started" tab in the personal tools (hovering with the cursor the top center of the page).
A participant proposed to place a call-to-action at the top of the page to guide the user in need of help to the homepage.
A participant proposed to feature notifications of reverts on the homepage (potentially in the impact module).
A participant proposed to customize the recommendations in the recommendations module.
Suggested naming for getting started CTA: get started, start, tutorial, first thing, new, post

Mobile

During the week of May 6, 2019, we used usertesting.com to conduct five tests of the mobile homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:

Gauge the discoverability of the mobile homepage.
Gauge user reactions and understandability to the mobile homepage as a whole, in both unactivated (first-use) and activated (after some use) state of the modules
Do users understand the purpose of the module overview and do they engage with it?
Are users able to get to the full-screen version of the modules?
Do users understand what the modules are for?
Which modules are most attractive?
Is there anything else users would expect to be there or would like to do in the homepage?
Can users figure out how to return to their homepage after going elsewhere?

Summary of findings

Users easily went to the hamburger menu to look for a way to get started with editing. But they usually assumed that they could begin editing by clicking "Contributions" instead of clicking their username.
All users understood what the homepage is, and what it's for. They considered it useful, and well-designed. Navigating the page with module previews was no problem.
The most difficult parts of the homepage to understand are:
- Impact module: unclear what "impact" means, especially when you have no edits yet. Contains no call to action to encourage someone to start editing.
- Mentorship module: unclear why the user has a mentor, how they were assigned, and who the mentor is.
Several users consider "editing an article" to be different from "creating an article".
Several users thought the help module would be more search-based, or contain Frequently Asked Questions.
Users easily understood and navigated the tabbed layout between Homepage, User page, and Discussion.
Some users used gestures (swiping) to navigate between pages.

Recommendations

Add more information to the mentor module overview to make it clear whether the mentor is self-assigned, and what the mentor is there for.
Improve the language in the impact module to make clear what impact is.
Include a call-to-action in the unactivated state of the impact module before a user makes their first edit.
Clarify the language in the hamburger menu. Perhaps "Home" could become "Main" and "Contributions" could become "Past contributions". Alternatively, we could include a link to the homepage or some other call-to-action in the empty "Contributions" page for newcomers.

Measurement and results

Measurement and experiment plan

Click here to view the full measurement and experiment plan.

High-level questions

These are the main things we want to find out from the help panel.

Does receiving the homepage treatment increase editor activation?
Does receiving the homepage treatment increase editor retention?
Does having access to the homepage treatment increase the average number of edits in the first two weeks after registration?
Does having access to the homepage increase the proportion of constructive edits?
Do users who have access to the homepage go to, and return to, the homepage? What patterns do we see in homepage visits?
Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
Are we able to effectively personalize the homepage?
When the homepage is customizable, to what extent to do users avail themselves of that capability?
If/when the effort exists to survey newcomers about the homepage, what can we learn qualitatively? Such a qualitative study could be done through Quick Surveys, or through a homepage module that simply asks about the rest of the homepage.

To gather the right data to answer these questions, we have implemented the HomepageVisit and HomepageModule EventLogging schemas.

Experiment plan

Half of newcomers in our target wikis will receive the "homepage treatment" and half will not. By “homepage treatment” we mean that a user both has the homepage on by default and is receiving the various ancillary features that drive them to the homepage, which may include banners, talk page messages, or links on Main Page. In the initial version, the only ancillary feature will be the fact that the username link in personal tools will go to the homepage.

This experiment will run for at least six months, giving us enough time to statistically detect meaningful changes in activation and retention as caused by the homepage treatment.

Leading indicators

The newcomer homepage experiment plan defines a set of leading indicators that the team evaluates in order to determine whether the feature is behaving as expected, and whether there are any urgent problems that need to be solved.

Using a month of data, we published an initial evaluation of leading indicators here. In summary, we are happy with the homepage's performance so far. We see about half of visitors clicking on something, and the majority of them returning to the homepage multiple times. There are a few specific takeaways and action items that come from our analysis so far:

Since we see a lot of positive interaction, we are going to prioritize "features to aid discovery". As of June 2019, newcomers only find their homepage if they happen to click their username at the top of the page (which about 25-30% do). This additional work is meant to make sure that all newcomers are notified about their homepage and have the opportunity to visit it. We think we can increase the share of newcomers who visit their homepage at least once to 50-60%.
Newcomers are asking questions via the mentorship module, but not at all via the help module. This may show us that asking a question to a specific, sympathetic person is more attractive for newcomers, than to an amorphous help desk.

Homepage interactions

As of August 30, we are pleased with the performance of the homepage. The majority of users who arrive on the homepage click on something, and all the modules on the page are receiving some user interaction. Many users return to the homepage multiple times, which hopefully means that they find it useful. Some of the specifics:

61% of homepage visitors click on something.
15% of visitors return to the homepage across multiple days.
245 users have asked questions in the mentorship module, and only 14 have asked questions in the help module.
The most popular module is the "Create your userpage" module, with 31% of user interacting with it.

Below is a graphic showing what percent of newcomers interact with each of the modules. These numbers and those above vary somewhat by wiki, but the trends are generally consistent. This includes interactions from the mobile homepage, all shown on the desktop version for ease of understanding.