Croissance/Premier jour personnalisé/Page d’accueil du nouvel arrivant
|
Newcomer homepage
 Give newcomers a landing place that contains what they need to accomplish their goals
|
_2020-04-09.png)
 | Cette page est obsolète. |
Cette page décrit le travail de l'équipe Croissance sur le projet « Page d'accueil du nouvel arrivant », qui est un projet spécifique de l'initiative plus large « Premier jour personnalisé ». Cette page contient les ressources, architectures et décisions. La plupart des mises à jour incrémentales seront publiées sur la page des mises à jour de l'équipe Croissance, et des mises à jour détaillées seront publiées ici.
Le développement pour ce projet a débuté le 19 février 2019, alors même que le travail de conception et de planification continue. La première version pour bureau de la page d'accueil a été déployée auprès des nouveaux arrivants dans une expérience controlée le 6 mai 2019. Les mois suivants ont montré que la page d’accueil est une bonne plate-forme à laquelle reviennent de nombreux nouveaux arrivants. Au cours de l’été 2019, nous avons augmenté le nombre de visites des nouveaux arrivants en ajoutant des fonctions qui les encouragent à découvrir la page, et en novembre 2019, nous avons ajouté la fonction Tâches des nouveaux arrivants.
Statut actuel
- 2018-12-06: discussions communautaires sur des idées de personnalisation du premier jour du nouvel arrivant
- 2019-01-16: décision d'équipe sur la poursuite des « courriels d'engagement » et de la « page d'accueil du nouvel arrivant »
- 2019-02-19: début du travail d'ingénierie
- 2019-03-14: tests utilisateurs des maquettes en direct terminés
- 2019-04-02: prêt pour les tests sur les Wiki Beta
- 2019-04-18: approbation du plan des mesures
- 2019-05-02: déployé en tchèque et en coréen avec l'expérimentation désactivée
- 2019-05-06: début de l'expérimentation en tchèque et en coréen
- 2019-05-07: tests utilisateurs des maquettes sur mobile terminés
- 2019-06-26: version mobile de la page d'accueil déployée en tchèque et en coréen
- 2019-07-01: début des expérimentations sur mobile et ordinateur de bureau en vietnamien
- 2019-07-03: publication du rapport initial sur les indicateurs principaux
- 2019-07-24: début des expérimentations pour mobile et bureau en arabe
- 2019-07-26: fonctionnalités déployées pour aider à la découverte
- 2019-11-20: tâches des nouveaux arrivants déployées
- 2024-02-23: le projet des mises à jour communautaires (Community Updates) est commencé; il s'agit d'un nouveau module de la page d'accueil.
Résumé
Nous savons d'après des recherches que les nouveaux arrivent sur un wiki avec une chose qu'ils cherchent à accomplir. S'ils n'y parviennent pas, la plupart partent et ne reviennent plus. C'est difficile de démarrer pour un nouveau, en partie parce qu'il n'y a pas de point de départ clairement défini. Nous pouvons construire un point de départ qui oriente les nouveaux vers l'objectif qu'ils ont décrit dans le questionnaire de bienvenue.
Les concepts de « page d'accueil » et de « page de profil » sont similaires et liés (voir la section Glossaire ci-dessous pour les définitions). Les deux sont des espaces personnels de l'utilisateur, mais la différence est que la page d'accueil présente des outils et ressources dont l'utilisateur a besoin d'utiliser, alors que la page de profil lui permet de diffuser des informations. Dans ce projet, nous allons travailler sur une page d'accueil qui sera personnelle pour chaque personne ; c'est à dire que chaque personne ne pourra voir que « sa » page d'accueil.
Nous voulons :
- Présenter du contenu utile et actionable (personnalisé), avec le contenu le « plus » pertinent en priorité.
- Connecter le contenu des courriels d'engagement au contenu du wiki via la page d'accueil du nouvel arrivant.
- Clarifier la manière de visiter et de revisiter votre page d'accueil (place habituelle pour un contributeur).
- Augmenter l'activation et la rétention.
- En apprendre plus sur les types de contenu efficaces pour diriger les taux d'activation et de rétention.
Nous ne voulons pas :
- Construire une page de profil structurée (pour le moment -- potentiellement dans un futur projet).
- Interférer avec les nouveaux désirant retourner dans un contexte d'édition après la création de leur compte.
- Rendre la page d'accueil statique et inintéressante après la première visite.
- Personnaliser la page d'accueil au point de la rendre invasive.
- Surcharger l'utilisateur avec trop d'options.
Glossaire
Il y a de nombreux termes qui semblent familiers et qui peuvent être perturbants. Cette section définit chacun d'eux.
- « Page principale »
- Existe actuellement. La page sur laquelle vous arrivez en visitant https://XY.wikipedia.org/. Elle affiche la page principale du wiki (ex : https://fr.wikipedia.org/wiki/Wikipédia:Accueil_principal)
- « Page utilisateur »
- Existe actuellement sous Utilisateur:Votre_nom. De nombreux utilisateurs construisent des pages utilisateur qui se comportent comme une page d'accueil, un tableau de bord ou une page de profil.
- « Page d'accueil » ou « tableau de bord »
- Existe actuellement sur
Special:Homepage. C'est ce que nous construisons dans ce projet. Contient des informations et des outils à destination des nouveaux venus. - « Page du profil »
- N'existe pas. Similaire à une page utilisateur mais structurée. Photo, nom, centres d'intérêt, choses que l'utilisateur veut dire au monde extérieur.
- Une distinction importante entre une « page d'accueil » et une « page de profil » est qu'une « page d’accueil » contient des outils et des ressources à destination de l'utilisateur, alors que la « page de profil » contient des informations que l'utilisateur souhaite diffuser au autres. De nombreuses plateformes logicielles mélangent ces deux concepts dans une seule page, mais nous allons commencer simplement en travaillant sur une page d'accueil et garder les concepts séparés.
Pourquoi cette idée est prioritaire
Nous savons par nos recherches que les nouveaux arrivants se sentent désorientés dans le monde de l'édition de Wikipédia. Alors que les éditeurs expérimentés savent comment relier des pièces disjointes du wiki dans une expérience cohérente (pages de discussion, pages utilisateur, WikiProjects, liste de suivi, catégories, historique des pages, etc.), les nouveaux arrivants ne savent pas comment les utiliser ensemble. Ils demandent « Par où commencer ? » Nous pouvons réaliser un portail qui couvre les éléments que les nouveaux venus doivent connaître et réaliser en priorité — un point central pour les orienter, et auquel ils pourront revenir pour leurs futures tâches. Une telle page pourrait contenir les mêmes types de contenu que nous voulons envoyer dans les courriels d'engagement, mais avec une profondeur d'action plus grande.
- Fournir un lieu central pour les nouveaux arrivants qui cherchent un endroit par où commencer - entre 30% et 40% des nouveaux venus visitent leur propre page utilisateur le premier jour sur le wiki, bien qu'il n'y ait rien dessus et qu'aucun effort n'a été fait pour les y conduire. Nous pensons qu'ils voient leur propre nom d'utilisateur et espèrent que ce sera une page d'accueil ou un tableau de bord. Le test des utilisateurs pour le sondage de bienvenue a mis en évidence le souhait de voir apparaître un tableau de bord.
- Fournir un point d'entrée aux nouveaux arrivants un peu perdus et pas familiarisés avec les communautés, les concepts et les politiques de Wikipédia - les nouveaux venus se débatent avec les règles de Wikipedia; ils sont perdus dans son fonctionnement et séparés de sa communauté (résultats des recherches numéro 5 et 8). Ils ne savent pas par où commencer, car il y a trop de possibilités.
- Fournir un endroit pour les nouveaux arrivants qui cherchent un contenu d'aide - entre 30 et 40% des nouveaux arrivants visitent une page d'aide ou de politique le premier jour de leur visite sur le wiki.
- Fournir un lieu central proposant des voies progressives pour l'édition - une autre découverte de recherche est que les nouveaux éditeurs bénéficient d'un apprentissage progressif et ont des difficultés à découvrir et à utiliser les outils d'édition. (résultats de la recherche numéro 7 et 9).
- Les pages d'accueil sont un moyen commun d'orienter les utilisateurs de logiciels - pratiquement toutes les autres plateformes de contribution communautaire (par exemple TripAdvisor, Wikia, Yelp, Reddit) utilisent le concept d'accueil par où les utilisateurs commencent leur session et sont orientés.
- Fournir une destination pour réengager les utilisateurs qui sont revenus via la communication hors wiki. Comme ce projet est réalisé en parallèle avec le projet de messagerie d'engagement, il est avantageux d'avoir un seul emplacement à partir duquel les utilisateurs peuvent cliquer pour mesurer l'efficacité des campagnes de messagerie.
Architecture
Les conceptions initiales de ce projet peuvent toujours être vues sur ces maquettes cliquables. Des images spécifiques sont présentées ci-dessous par facilité. Nous avons déployé les premières versions de la page d'accueil dès que nous avons pu construire suffisamment de modules pour les mettre à la disposition des nouveaux venus. D'autres modules pourront s'y ajouter avec le temps.
Aperçu de la page d'accueil
En général la page d'accueil est conçue pour contenir une série de modules présentés sur la page. L'intention initiale était de fournir une flexibilité pour présenter différentes conceptions avec différentes combinaisons de modules en fonction des réponses des nouveaux arrivants à l'enquête de bienvenue et de leur historique de modification. Vous trouverez ci-dessous deux conceptions potentielles proposées pour les ordinateurs de bureau. Il existe des modèles équivalents pour les mobiles.
-
Modèle de conception potentielle A pour la page d'accueil des nouveaux arrivants -
Modèle de conception potentielle B pour la page d'accueil des nouveaux arrivants
L'équipe a décidé d'une conception pour le déploiement initial en mai 2019, avec une image montrant cette conception ci-dessous.
-
Modéle de la conception pour le déploiement initial de la page d'accueil des nouveaux arrivants en mai 2019
Emplacement
Une des principales considérations concernant la page d'accueil pour les nouveaux arrivants est son emplacement et comment les nouveaux arrivants vont y parvenir. L'équipe a examiné plusieurs options et elle est arrivée à la décision suivante :
- L'ajouter comme un onglet supplémentaire dans l'espace utilisateur – lorsqu'un utilisateur affiche sa page Utilisateur, il voit les onglets Page Utilisateur et Discussion. Nous pourrions ajouter un onglet pour Page d'accueil, et faire de celui-ci l'onglet par défaut jusqu'à ce qu'un utilisateur ait placé du contenu sur sa page utilisateur. Il serait important d'indiquer à l'utilisateur qu'il peut toujours configurer sa page utilisateur. Nous avons choisi cette option parce que nous pensons que de nombreux utilisateurs naviguent déjà sur leur page utilisateur en espérant trouver une page d'accueil. Il est également plus rapide pour nous de développer une page entièrement nouvelle que d'essayer d'intégrer le contenu de la page d'accueil à une page existante. Seuls les nouveaux arrivants voient l'onglet.
Voici les autres options que nous avons examinées :
- Remplacer la page normale d'accueil – si un utilisateur vient de créer son compte, il est peu probable que Article mis en avant, Saviez-vous et Ce jour-là soient ce qu'il veut voir. Nous avons des raisons de croire qu'ils cherchent un endroit pour commencer leurs éditions et la page d'accueil est facile à trouver. Nous savons aussi que 45% des nouveaux arrivants visitent la page d'accueil le premier jour où ils ont leur compte.
- L'ajouter comme une section de la page utilisateur – nous savons qu'entre 30% et 40% des nouveaux arrivants visitent leur page d'utilisateur le premier jour et que la page est complètement vide lorsqu'ils y arrivent. Cela déplacerait la zone éditable en dessous du contenu de la page d'accueil.
- En faire un nouvel outil personnel – nous pourrions créer la page d'accueil du nouveau venu comme une nouvelle page spéciale, puis y ajouter un lien en haut de la navigation du wiki, avec la liste de suivi, les contributions, les préférences, etc.
- Faire qu'elle fasse partie d'une page spéciale existante, comme la liste de suivi – beaucoup d'utilisateurs expérimentés utilisent déjà la liste de suivi comme la page d'accueil du wiki, et peut-être qu'en l'améliorant tous les contributeurs pourraient en bénéficier.
- En faire un panneau que l'utilisateur peut ouvrir de n'importe où dans le wiki – au lieu d'être une page sur laquelle l'utilisateur doit naviguer, peut-être que la page d'accueil pourrait être un panneau auquel l'utilisateur peut accéder qu'il édite ou lise, sans en perdre la position. C'est peut-être une bonne idée pour une dernière itération.
Modules
La page d'accueil contient un ensemble de modules dont chacun présente un outil ou une ressource particulière qui aide le nouveau venu à atteindre ses objectifs et à l'orienter sur le wiki. Parmi les nombreuses idées de modules, nous avons retenu les quatre premières que nous détaillons ci-dessous.
Module d'aide
Fournir des liens utiles, la possibilité de chercher de l'aide et la possibilité d'interroger le bureau d'aide communautaire. Un ensemble de ressources très similaire au panneau d'aide, mais inclus directement dans la page. Voir T215986 pour l'ensemble des contraintes et les détails.
Module d'impact
Montrer aux nouveaux arrivants que des utilisateurs ont vu les pages sur lesquelles ils ont travaillé. Nous avons appris que lorsque les nouveaux arrivants réalisent que leurs modifications ont un impact, cela augmente leur motivation. Dans l'itération initiale, nous nous attarderons davantage sur le fait que le nouvel arrivant a un impact, plutôt que de mesurer précisément la grandeur de cet impact. Ce module aurait un état dans me cas où le nouvel arrivant n'a pas encore fait de modification. Voir T216217 pour l'ensemble des contraintes et les détails.
Module de tutorat
L'enquête de bienvenue nous a montré qu'une grande partie des nouveaux arrivants souhaitent contacter un contributeur expérimenté pour obtenir de l'aide. Avec ce module, nous attribuerons à chaque nouveau venu un tuteur issu d'une liste de rédacteurs expérimentés de chaque wiki qui se sont inscrits. Le nouveau venu verra le nom d'utilisateur de son tuteur assigné sur sa page d'accueil et aura un lien pour le contacter. Voir T216631 pour l'ensemble des contraintes et les détails.
Le module de tutorat dispose également d'une page spéciale qui l'accompagne et que les tuteurs peuvent utiliser pour demander des tutorés spécifiques. Cette caractéristique existe parce que les tuteurs sont affectés au hasard, mais un formateur pour un événement en présentiel peut vouloir modifier le tuteur par défaut de ses stagiaires afin qu'ils aient tous ce formateur en tant que tuteur. Voir Aide:Croissance/Outils/Comment réclamer un mentoré.
Module pour commencer
Les tests utilisateurs des conceptions de la page d'accueil initiale des nouveaux arrivants ont montré clairement que ces derniers cherchent un endroit clair pour commencer, en particulier quelque chose qui leur indique exactement quelles doivent être les premières étapes. Ce module explique clairement que certaines bonnes premières choses à faire sur le wiki sont d'ajouter ou de confirmer une adresse courriel, de passer par un tutoriel ou de démarrer une page utilisateur. Lorsque les utilisateurs termineront ces tâches, ils obtiendront des icônes vertes de marque de contrôle montrant leurs progrès. À l'avenir, nous pourrions imaginer donner aux utilisateurs plus de recommandations de tâches à mesure qu'ils termineront les premières. Voir T217105 pour l'ensemble des contraintes et les détails.
Autres modules
Voici une liste des modules supplémentaires présents dans le processus de conception et de planification.
- Fil de l'activité – alors que de nombreux éditeurs actifs utilisent leur liste de suivi comme page d'accueil, les nouveaux arrivants ont une liste vide. Nous pouvons leur faire une liste d'activités intéressantes en fonction des sujets qu'ils ont déclarés intéressants dans l'enquête de bienvenue. Cela peut les aider à observer l'activité dans le wiki et à apprendre qu'une communauté dynamique existe.
- Tâches recommandées – c'est l'un des modules au plus grand potentiel, mais aussi l'un des plus difficiles à construire. De nombreux outils et approches existent dans les wikis pour recommander des tâches. Notre défi sera de recommander des tâches dont le niveau de difficulté est approprié au nouveau venu, et qui sont pertinentes pour les sujets qui l'intéressent. **Update:** Ce module a été développé dans le projet des Tâches pour les nouveaux venus.
- Editeurs expérimentés de la fonctionnalité – un module qui montre le nom utilisateur des éditeurs les plus actifs sur les sujets qui intéressent le nouveau venu.
- Tutoriel interactif – un module qui permet à l'utilisateur de cliquer sur une série de contenus d'apprentissage.
- Reconnaissance: un module qui compte et affiche les remerciements et les Wikilove reçu par l'utilisateur.
- Commentaire sur la page d'accueil – un module permettant à l'utilisateur d'indiquer si la page d'accueil est utile ou non.
- Evénement ou programme spécifique – dans le sondage de bienvenue, nous demandons aux utilisateurs pourquoi ils ont créé leur compte. Il est probable que de nombreux utilisateurs créent leur compte parce qu'ils sont sur un événement d'édition, ou parce qu'ils essaient de participer à un programme, comme Wiki Loves Monuments. Peut-être que si nous savons à quel événement ou programme ils participent, nous pourrons permettre aux communautés de personnaliser le contenu de la page d'accueil lié à cet événement afin que les utilisateurs puissent voir exactement où aller et comment participer une fois qu'ils ont leur page d'accueil.
Initial version
In the initial version of the newcomer homepage, we want to answer these questions:
- Will having access to the homepage increase new editor activation, retention, and constructive edits?
- Do users who have access to the homepage go to, and return to, the homepage? Does it seem like the homepage is serving as a central location for people to get oriented?
- Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
Therefore, we have decided to include these elements in the initial version:
- Shown in the User space
- Desktop only (mobile comes next)
- Four modules
- Help module
- Mentorship module
- Impact module
- Account completion module: gives some very simple recommendations of how to get started (add an email, start your user page)
- Layout not yet personalized for each user
- Deployed as A/B test, with half of user not having a homepage
Mobile design
The newcomer homepage is complex enough that its interface doesn't port simply to mobile. It needs to be designed deliberately and implemented separately from the desktop version. The team decided to deploy the initial version such that it displays only on desktop, which is where the majority of newcomers in our target wikis are working. About 70% of accounts created in Czech and Korean Wikipedias are created from desktop. But because of the additional 30% of accounts, a mobile version of the homepage was a top priority after releasing the desktop version.
Our team explored several designs for how to show the large amount of homepage information on a mobile device. The accompanying mockup shows two potential designs:
- Version 1: One that shows snippets of information for each module. Clicking on the snippets opens the module as a full screen.
- Version 2: One that actually has miniature versions of each module, from which the user can take action. These would also open to their full versions.
In April 2019, the team planned user testing and started working on Version 1, accepting community thoughts on mobile designs during that time.
The mobile version was deployed on June 26, 2019 for Czech and Korean newcomers and on July 1, 2019 for Vietnamese newcomers.
Future versions
See this page for full notes and drawings on ideas for future elements of the homepage.
In determining the initial version of the newcomer homepage, many ideas for features were set aside to be evaluated later on. Many of them are visible in the initial mockups here. The following is a list of capabilities that are either being built for the newcomer homepage, or may be built in the future:
- Features that drive newcomers to their homepage: in the initial version, newcomers will only discover their homepage if they click on their username in their personal tools. If we see early positive results from the homepage, we may build features that drive more newcomers toward it, such as Echo notifications, banners, or links.
- Personalization: the original objective of the broader "Personalized first day" project is to ask newcomers what they are trying to achieve on their first day and then personalize their experience to help them achieve it. Though the initial version will show the same homepage modules to all users, we can use welcome survey responses and edit history to show the most important things to the right users.
- Structured user page: in addition to having a homepage, many users also expect to have a "profile" page, in which they broadcast things about themselves that they tell the rest of the community. . Many Wikipedians use their User pages for this, but newcomers struggle to build a user page from scratch. Perhaps we can structure the experience of building a user page so that more newcomers succeed.
- Customization: users may want to customize their homepage to surface just the modules they find most useful and to adjust the settings on what those modules show.
- Other modules: see the "Other modules" section above.
User testing
Desktop
During the week of March 14, 2019, we used usertesting.com to conduct five tests of the desktop homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Gauge the discoverability of the homepage
- Do users understand that it is a homepage that they see and other users don’t?
- Gauge user reactions and understandability to the homepage as a whole
- Do people understand what the modules are?
- Which modules are most attractive?
- Is there anything else users would expect to be there or would like to do in the Homepage?
Summary of findings
- Most participants could not find a good way to get started with editing from Main Page. Only one participant proposed to click on the username in the personal tools area after quickly scanning the upper part of the page.
- 3 out of 5 participants examined the personal tools area, and comment they have no idea what terms like "Watchlist", "Contributions", and "Talk" mean.
- Only one participant expected to find step-by-step help on how to get started in the homepage.
- Most of the participants said they expected to find a profile page with information about them and their activity.
- When talking about what they expect to find after clicking on their username, participants used different terms to refer to the page they would land on to:
- Account page
- Profile page
- Dashboard
- All participants find the content in the homepage useful.
- 2 out of 5 users explicitly say they find the layout and the page clean and well set-up.
- The part of the page that participants find most useful is the help module, specifically pointing at the “Step-by-step guide” link.
- In general, it feels like participants didn’t expect to find something like the homepage after clicking on their username, but when presented with the content they find it useful and interesting.
- Some users expected to find personal data shown somewhere at the top of the page content.
- Many users are attracted by the impact module and feel it would be “encouraging”.
- Users seem to look for a list of their past and in-the-work contributions to Wikipedia.
- The majority of the users are confused about the "Create user page" call-to-action.
- After seeing the "Create user page" call-to-action, most users start wondering what is the difference between the homepage and the user page.
- The majority of the participants think that on the user page they would find:
- Personal information
- A list of articles they have written or they are working on.
- Information or a trigger to start creating new articles.
- Almost all the participants expected to find a user page already created for them, or a template, or wizard to guide them in the making of the page.
Recommendations
- A menu with dedicated creating and editing calls-to-action and tutorials, maybe a new "How to get started" tab in the personal tools (hovering with the cursor the top center of the page).
- A participant proposed to place a call-to-action at the top of the page to guide the user in need of help to the homepage.
- A participant proposed to feature notifications of reverts on the homepage (potentially in the impact module).
- A participant proposed to customize the recommendations in the recommendations module.
- Suggested naming for getting started CTA: get started, start, tutorial, first thing, new, post
Mobile
During the week of May 6, 2019, we used usertesting.com to conduct five tests of the mobile homepage prototype with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Gauge the discoverability of the mobile homepage.
- Gauge user reactions and understandability to the mobile homepage as a whole, in both unactivated (first-use) and activated (after some use) state of the modules
- Do users understand the purpose of the module overview and do they engage with it?
- Are users able to get to the full-screen version of the modules?
- Do users understand what the modules are for?
- Which modules are most attractive?
- Is there anything else users would expect to be there or would like to do in the homepage?
- Can users figure out how to return to their homepage after going elsewhere?
Summary of findings
- Users easily went to the hamburger menu to look for a way to get started with editing. But they usually assumed that they could begin editing by clicking "Contributions" instead of clicking their username.
- All users understood what the homepage is, and what it's for. They considered it useful, and well-designed. Navigating the page with module previews was no problem.
- The most difficult parts of the homepage to understand are:
- Impact module: unclear what "impact" means, especially when you have no edits yet. Contains no call to action to encourage someone to start editing.
- Mentorship module: unclear why the user has a mentor, how they were assigned, and who the mentor is.
- Several users consider "editing an article" to be different from "creating an article".
- Several users thought the help module would be more search-based, or contain Frequently Asked Questions.
- Users easily understood and navigated the tabbed layout between Homepage, User page, and Discussion.
- Some users used gestures (swiping) to navigate between pages.
Recommendations
- Add more information to the mentor module overview to make it clear whether the mentor is self-assigned, and what the mentor is there for.
- Improve the language in the impact module to make clear what impact is.
- Include a call-to-action in the unactivated state of the impact module before a user makes their first edit.
- Clarify the language in the hamburger menu. Perhaps "Home" could become "Main" and "Contributions" could become "Past contributions". Alternatively, we could include a link to the homepage or some other call-to-action in the empty "Contributions" page for newcomers.
Measurement and results
Measurement and experiment plan
Click here to view the full measurement and experiment plan.
High-level questions
These are the main things we want to find out from the help panel.
- Does receiving the homepage treatment increase editor activation?
- Does receiving the homepage treatment increase editor retention?
- Does having access to the homepage treatment increase the average number of edits in the first two weeks after registration?
- Does having access to the homepage increase the proportion of constructive edits?
- Do users who have access to the homepage go to, and return to, the homepage? What patterns do we see in homepage visits?
- Which modules engage newcomers and to what extent are they engaged? Do modules that ask users to take action lead to users taking those actions?
- Are we able to effectively personalize the homepage?
- When the homepage is customizable, to what extent to do users avail themselves of that capability?
- If/when the effort exists to survey newcomers about the homepage, what can we learn qualitatively? Such a qualitative study could be done through Quick Surveys, or through a homepage module that simply asks about the rest of the homepage.
To gather the right data to answer these questions, we have implemented the HomepageVisit and HomepageModule EventLogging schemas.
Experiment plan
Half of newcomers in our target wikis will receive the "homepage treatment" and half will not. By “homepage treatment” we mean that a user both has the homepage on by default and is receiving the various ancillary features that drive them to the homepage, which may include banners, talk page messages, or links on Main Page. In the initial version, the only ancillary feature will be the fact that the username link in personal tools will go to the homepage.
This experiment will run for at least six months, giving us enough time to statistically detect meaningful changes in activation and retention as caused by the homepage treatment.
Leading indicators
The newcomer homepage experiment plan defines a set of leading indicators that the team evaluates in order to determine whether the feature is behaving as expected, and whether there are any urgent problems that need to be solved.
Using a month of data, we published an initial evaluation of leading indicators here. In summary, we are happy with the homepage's performance so far. We see about half of visitors clicking on something, and the majority of them returning to the homepage multiple times. There are a few specific takeaways and action items that come from our analysis so far:
- Since we see a lot of positive interaction, we are going to prioritize "features to aid discovery". As of June 2019, newcomers only find their homepage if they happen to click their username at the top of the page (which about 25-30% do). This additional work is meant to make sure that all newcomers are notified about their homepage and have the opportunity to visit it. We think we can increase the share of newcomers who visit their homepage at least once to 50-60%.
- Newcomers are asking questions via the mentorship module, but not at all via the help module. This may show us that asking a question to a specific, sympathetic person is more attractive for newcomers, than to an amorphous help desk.
Homepage interactions
As of August 30, we are pleased with the performance of the homepage. The majority of users who arrive on the homepage click on something, and all the modules on the page are receiving some user interaction. Many users return to the homepage multiple times, which hopefully means that they find it useful. Some of the specifics:
- 61% of homepage visitors click on something.
- 15% of visitors return to the homepage across multiple days.
- 245 users have asked questions in the mentorship module, and only 14 have asked questions in the help module.
- The most popular module is the "Create your userpage" module, with 31% of user interacting with it.
Below is a graphic showing what percent of newcomers interact with each of the modules. These numbers and those above vary somewhat by wiki, but the trends are generally consistent. This includes interactions from the mobile homepage, all shown on the desktop version for ease of understanding.
