Croissance/Premier jour personnalisé/Sondage de bienvenue
|
Welcome survey
 Gather information from new editors to help them achieve their goals
|
This page describes the Growth team's work on the "welcome survey" project, which is a specific project under the larger "Personalized first day" initiative. This page contains major assets, designs, and decisions. Most incremental updates on progress will be posted on the general Growth team updates page, with some large or detailed updates posted here.
Le 20 novembre 2018, l'enquête de bienvenue a été déployée sur les groupes de traitement des Wikipedias tchèque et coréenne, et les données initiales ont été rassemblées et analysées dans ce rapport initial en décembre 2018.
En mars 2019, nous avions conclu que la structure appelée variante A était la meilleure, et maintenant elle est appliquée à tous les nouveaux utilisateurs des Wikipédias tchèque et coréenne.
Nous investissons actuellement pour savoir quelle variante de sondage est la meilleure pour la Wikipedia vietnamienne.
Etat actuel
- 2018-11-20: le sondage de bienvenue a été déployé sur les Wikipedia tchèque et coréenne avec la moitié des utilisateurs recevant la variante A et l'autre moitié restant dans le groupe de contrôle.
- 2018-12-22: le rapport initial avec les résultats de l'enquête a été publié.
- 2019-01-16: après avoir déterminé que la partie ayant reçu la variante A ne faisait pas baisser le taux d'activation, nous avons modifié la Wikipedia tchèque et la coréenne de sorte à ce que la moitié des utilisateurs reçoivent la variante A et l'autre moitié la variante C.
- 2019-01-24: le sondage de bienvenue a été déployé sur la Wikipedia vietnamienne avec la moitié des utilisateurs recevant la variante A et l'autre moitié la variante C.
- 2019-02-27: basculement de la Wikipedia vietnamienne de sorte à ce que la moitié des utilisateurs reçoivent la variante A et l'autre moitié aucun sondage. Intention d'enquêter sur les motifs concernant le taux d'abandon à partir de l'expérience initiale.
- 2019-03-06: après avoir analysé les expériences des Wikipédia tchèque et coréenne, nous avons commencé à distribuer sur tous les utilisateurs la variante A, parce qu'elle fonctionnait mieux pour tous les scénarios et toutes les métriques. aucune expérience en cours sur les Wikipédia tchèque et coréenne.
- 2019-03-21: enquête interrompue sur la version vietnamienne où les utilisateurs de la version pour bureau qui ont reçu la variante A ont augmenté le taux des abandons par rapport à ceux n'ayant pas reçu l'enquête. Investigations encore en cours des résultats.
- 2019-07-12: la possibilité d'ajouter un texte libre aux réponses de l'enquête a été supprimée. Nous avons appris ce que nous voulions savoir à partir des réponses déjà reçues et c'était aussi un vecteur potentiel pour les abus.
- 2019-07-15: le sondage de bienvenue a été déployé sur la Wikipedia arabe avec la moitié des utilisateurs recevant la variante A et l'autre moitié aucune enquête.
- 2019-08-30: publication des résultats montrant que l'enquête de bienvenue n'impacte pas de manière négative les utilisateurs de la Wikipedia arabe.
- 2022-01-30: début du test d'un mois concernant l'enquête sur la Wikipédia vietnamienne. [1]
- Ensuite: modification des questions de l'enquête de bienvenue pour avoir les informations à propos des tâches pour les nouveaux venus
Résumé
Nous savons à partir des expériences sur les nouveaux contributeurs, que les nouveaux venus arrivent sur le wiki avec des idées bien précises de ce qu'ils veulent faire. S'ils ne peuvent pas les réaliser, il est très possible qu'ils ne reviennent pas. Avec l'enquête de bienvenue nous souhaitons demander aux nouveaux venus ce qu'ils veulent faire, de sorte à pouvoir leur proposer des expériences qui les aident à parvenir à leurs fins. Nous souhaitons poser des questions supplémentaires aux nouveaux utilisateurs pendant le processus de création de leur compte comme : pourquoi il l'ont créé, ce qu'ils veulent faire, les sujets qui les intéressent ou s'ils veulent contacter un tuteur.
Pour en savoir plus sur ce qui nous a conduit à réaliser ce projet, voir l'initiative du « Premier jour personnalisé ».
To read about how the welcome survey's data is going to be used to personalize the newcomers' first days, see the "Engagement emails" and "Newcomer homepage" projects.
Revue comparative
To learn how best to design the welcome survey, our team's designer reviewed the way that other platforms (e.g. Reddit, Coursera, Medium) ask initial questions of newcomers. While the experience we want to give newcomers is definitely different than other platforms (we want to give newcomers an optional, lightweight, non-invasive experience), we also recognize that there are best practices we can learn from other software. The comparisons are shown in this slide deck, and the main takeaways are:
- Modals were generally more in use or otherwise a full page overlay for forms.
- Pas plus de quatre questions ont été posées pendant l'enregistrement.
- Questions were either progressively disclosed on a single screen or otherwise shown 1 question per step with clear visual indication of the number of steps (e.g. via a stepper UI).
- Multi-question forms tended to be skip-able entirely, but with mandatory questions if the user wanted to participate.
- An optional guided tour or further help was often provided afterwards once user was in the app.
- Friendly voice and tone - welcoming, informal language framed as asking for information to help orient the user ("Tell us about yourself", "Get recommendations", etc.)
Architecture
Our evolving designs can always be found in these clickable mockups, and with additional contextual information in this Phabricator task. Our goal for the design is for newcomers to answer all the questions they want to, and to not depress the number of users who complete their signup process and get back to what they were doing.
Nous avons considéré trois approches de conception pour ce projet. The new account holder lands at each approach immediately after clicking "Create your account" at Special:CreateAccount. Et après avoir terminé chacune, ils sont renvoyés à la page sur laquelle ils ont cliqué initialement pour créer leur compte. Please note that the question wording and text in these mockups does not reflect current drafts -- the mockups are more for the visuals and workflows. Le texte et la formulation de la question seront publiés séparément.
- Variante A: page spéciale contenant le sondage. C'était le plus simple à implémenter et nous l'avons déployé pour la première fois le 20 novembre 2018. Bien que cela ne suive pas les meilleures pratiques que nous avons apprises par l'examen comparatif, c'est le moyen le plus rapide d'obtenir un sondage et de commencer à apprendre. Il fonctionnera également automatiquement sur le web mobile et pour les utilisateurs sans JavaScript.
- Variante B : cette option présente aux utilisateurs une question à la fois, et enlève également les liens de navigation autours, sur la gauche et en haut, afin de présenter une expérience plus linéaire. Ceci est inspiré de l'interface de l'outil Traduction de contenu. Nous avons décidé de ne plus poursuivre du tout cette variante car elle demande plus de travail que la variante C que nous préférons.
- Variante C : c'est notre présentation optimale, qui est modale au-dessus du contexte où se trouve l'utilisateur. Cela aide à préciser que l'utilisateur est proche de revenir à la tâche qu'il a commencé quand il a créé son compte. Il pose également des questions une à la fois afin que l'enquête ne soit pas écrasante. Cela inclut notre apprentissage de la relecture comparative. Nous devrons concevoir et mettre au point une version web mobile distincte, et considérer que des utilisateurs sans JavaScript la recevront. Il est en cours de fabrication en novembre et décembre 2018.
L'équipe a réalisé et déployé la variante A en novembre 2018 tout en développant la variante C. La variante C a été déployée au cours du mois de janvier 2019.
-
Modèle de la variante A -
Modèle de la variante B -
Modèle de la variante C
Questions, réponses et autre texte
Liste originale des questions
Les questions que cette fonctionnalité pose aux nouveaux arrivants, ainsi que leur libellé spécifique et le reste du texte de la fonctionnalité, sont vraiment importantes pour obtenir des données utiles. L'équipe a travaillé sur ces points avec l'aide de plusieurs autres personnes habituées des enquêtes à la WMF. Toutes les questions seront facultatives et seront traduites dans les langues des wikis sur lesquels l'enquête de bienvenue est déployée. Nous avons posé les questions ci-dessous et nous travaillons encore sur le texte. Pour voir le texte actuel de la fonctionnalité, consultez les maquettes actuelles.
- Pourquoi avez-vous créé votre compte aujourd'hui ?
- Objectif : si nous comprenons ce que les nouveaux arrivants essaient de faire, nous pourrons peut-être leur montrer des outils qui les aideront à le faire.
- Options de réponse :
- Pour corriger une erreur d'orthographe ou une erreur dans un article Wikipedia
- Pour ajouter des informations à un article Wikipedia
- Pour créer un nouvel article Wikipedia
- Pour consulter Wikipedia
- Autre (veuillez préciser)
- Avez-vous déjà modifié le contenu de Wikipedia ?
- Objectif : nous voulons savoir combien de personnes qui créent des comptes ont déjà fait des modifications de manière anonyme. Cela nous permettrait également de ne pas donner trop de matériel d'aide à des personnes qui savent déjà ce qu'elles font.
- Options de réponse :
- Oui, plusieurs fois
- Oui, une fois ou deux
- Non, je ne savais mas que je pouvais modifier Wikipedia
- Non, pour d'autres raisons
- Je ne me souviens pas
- People can edit Wikipedia articles on topics they care about. We've listed a few topics below that are popular for editing. Sélectionnez les thèmes sur lesquels vous souhaitez travailler.
- Objectif : il est possible à l'avenir de connecter les nouveaux arrivants à des rédacteurs expérimentés qui partagent leurs intérêts, ou simplement de leur donner des recommandations sur des articles à modifier.
- Options de réponse (voir cette mise à jour pour l'explication sur la manière dont cela a été déterminé) :
- As checkboxes: Arts, Science, Geography, History, Music, Sports, Literature, Religion, Popular culture
- Behind typeahead: Entertainment, Food and drink, Biography, Military, Economics, Technology, Film, Philosophy, Business, Politics, Government, Engineering, Crafts and hobbies, Games, Health, Social science, Transportation, Education
- Il sera aussi possible aux utilisateurs d'ajouter leurs propres thèmes.
- Adresse courriel
- Goal: Only if the user did not supply it on Special:CreateAccount. Email is important for engaging new editors and allowing them to recover their accounts, so we want to ask twice.
- We are considering starting a program for more experienced editors to help newer users with editing. Are you interested in being contacted to get help with editing?
- Goal: We want to learn whether newcomers feel that they need human-to-human help.
In addition to the questions themselves, we will be showing users a link to the survey privacy statement (translated into the wiki's language) and to the Tutorial and Help Desk pages on their wikis.
Mise à jour des tâches des nouveaux venus (septembre 2019)
The original purpose of the welcome survey is to use the survey responses to personalize a newcomer's experience so they get what they need on their first day. The first feature that we will be personalizing is the newcomer tasks feature. Les questions et réponses de l'enquête de bienvenue seront modifiées pour répondre aux besoins de cette fonctionnalité. Et voici particulièrement les modifications annoncées :
- Nous allons modifier les réponses de la première question (Pourquoi avez-vous créé votre compte aujourd'hui ?) pour inclure les options de réponse courantes dans le champ libre textuel Autres :
- "To add a photo or image to a Wikipedia article": this is one of the most common things that newcomers try to do.
- "I'm participating in a program, class, or event": many newcomers come through programs, and may want the ability to provide personalized content based on the program from which they are arriving.
- Nous allons fusionner deux des autres réponses de la première question en une seule qui dit Faire des modifications à un article existant de Wikipedia. We're collapsing the following two responses into that one response to make room for the new responses above:
- "To fix a typo or error in a Wikipedia article"
- "To add information to a Wikipedia article"
- We will remove the question asking the user's topics of interest from the survey entirely. This is because we'll be asking that question in the newcomer tasks feature on the homepage instead.
- We will add a question asking users to indicate the languages they read or write. This question may help us encourage certain newcomers to use the Content Translation tool.
Tests utilisateur
Au cours de la semaine du 22 octobre 2018, nous avons utilisé usertesting.com pour effectuer six tests de nos maquettes de la variante A avec des internautes non affiliés au mouvement Wikimedia. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Identify improvements to Understanding of the survey (update copy depending on users' comprehension of the instructions and questions on the form).
- Identify improvements to the Usability of the survey (check whether users are able to correctly input and submit their intended responses).
- Do users know how the visual design and layout works? (E.g., do they understand they should be selecting one answer from a radio button group)
- Est-il possible pour les utilisateurs de naviguer dans le formulaire ?
- Any feedback missing that could help users complete the form?
- Gauge user Reactions to the survey and Expectations of how the information will be used.
Résumé des découvertes
- Survey was clearly optional, and seen as short, low-effort, and non-intrusive to complete
- Generally seen as data capture for research (though a few testers thought more specific explanation about how responses may be used might make them more inclined to fill it in)
- "Mentorship program" was the one aspect not clearly understood, with about half of participants mistakenly assuming they would be providing the help rather than receiving it.
- A couple of users had misgivings about providing email and feared it may be misused for marketing or given to 3rd parties (also as they expected it to be mandatory for account creation if it was needed for recovery)
- Users liked the post-submission message with more information about "Getting started with editing"
- Several users assumed that upon completing the welcome survey, they would be directed to their "dashboard" to get started with editing.
Recommendations
- Add a full Thanks message after survey completion
- Rephrase “Mentor” checkbox question and clarify expectations for how users may be contacted if they select the mentor checkbox
- Revise phrasing of Q3 (Wordsmithing so that the second sentence “We've listed a few below popular for editing” is more easily understood.)
- Add a tooltip beside or assistive text under the “Add more topics” field for no-js users explaining they can comma-separate multiple topics
- Add more information about how the email is used
- Potentially be extra clear by placing a tooltip with the following message (taken from Help:Account_management): “If you choose to give an email address, other users will be able to contact you by email. This feature is anonymous—the user who emails you will not know your email address. You don't have to give your email address if you don't want to (but doing so is required to reset your password if you forget it)”
Analyses et essais
There are two kinds of analysis we'll be doing with respect to this feature. To read about those plans in-depth, see Growth/Analytics updates/Personalized first day experiment plan containing the "experiment plan".
Analyse des réponses au sondage
The main objective of the survey is to collect information about what new editors are trying to accomplish, so we can figure out if it's possible to personalize their experiences based on their responses. We are doing straightforward analysis on responses, broken out by elements like platform (mobile vs. desktop) and context from which the account was created (homepage, reading, editing).
Le rapport initial sur les réponses à l'enquête est disponible ici : Croissance/Mise à jour des analyses/Premier compte-rendu du sondage de bienvenue. Les membres de la communauté doivent se sentir libres de traduire ce rapport dans leur langue. Un rapport détaillé sera créé d'ici mars 2019. Quelques éléments principaux :
- L'enquête a reçu des taux de réponse élevés : 67% en tchèque et 62% en coréen.
- Beaucoup de personnes ont créé des comptes juste pour lire les articles -- une opportunité potentielle de faire appel aux nouveaux rédacteurs.
- Le nombre élevé de personnes indique qu'elles sont intéressées pour être contactées et fournir de l'aide: 36% en tchèque et 53% en coréen.
Analyse de l'impact du sondage sur l'activation
Although we would not have intended it, it is possible that the welcome survey could depress the number of newcomers who make edits. Community members first brought up this concern, saying that by making the sign-up process longer, and keeping newcomers away from their objectives, we could cause them to leave the site. Therefore, we conducted an A/B test to find out whether being presented with the survey decreases activation rate (the rate at which new users make their first edit).
Du 19 novembre au 15 janvier, la moitié des nouveaux arrivants des Wikipédia tchèque et coréenne ont reçu la variante A de l'enquête, et l'autre moitié ne l'a pas reçue. Le résultat de nos expérimentations a été publié ici : Growth/Analytics updates/Welcome survey editor activation rate ; il montre que si l'enquête est présente, cela ne fait pas décroître significativement le taux selon lequel les nouveaux venus font leur première modification. En partant de ces analyses, nous avons aussi testé la variante A comparée à la C pour voir si cette dernière augmentait le taux des réponses (voir la section suivante). In August 2019, we ran this same test on Arabic Wikipedia, and again found Growth/Analytics updates/Welcome survey editor activation rate#Addendum: Arabic Wikipedia that the welcome survey had no negative impact on new users.
Analyse des deux variantes du sondage
Après avoir vu que la variante A n'avait pas entraîné de diminution du taux d'activation dans les Wikipédias tchèque et coréenne, nous avons comparé la variante B à la variante C sur ces wikis. Au cours du mois de février 2019, la moitié des nouveaux arrivants ont reçu chaque variante. Après avoir comparé les variantes sur le taux d'activation, le taux d'abandon et le taux de réponse, nous avons vu que la variante A fonctionnait mieux ou de manière égale à la variante C sur toutes les langues et toutes les plateformes. Nous avons donc mis fin aux expériences dans les Wikipédias tchèque et coréenne et avons commencé à utiliser la variante A sur tous les nouveaux arrivants à partir du 6 mars 2019. Les résultats détaillés sont à venir.
Réponses en 2022
| Pourquoi avez-vous créé votre compte aujourd’hui ? | Nombre de réponses | Pourcent du total |
|---|---|---|
| Pour créer un nouvel article sur Wikipédia | 304 502 | 27.53% |
| Pour ajouter ou modifier des informations à un article de Wikipédia | 249 574 | 22.57% |
| Pour lire Wikipédia | 215 339 | 19.47% |
| Pour corriger une faute d’orthographe ou une erreur dans un article sur Wikipédia | 132 626 | 11.99% |
| Autre | 103 037 | 9.32% |
| Je participe à un programme, une classe ou un événement | 51 128 | 4.62% |
| Pour ajouter une photo ou une image à un article de Wikipédia | 34 145 | 3.09% |
| N/A | 15 540 | 1.41% |
| Total | 1 105 891 |