Phát triển/Cá nhân hóa ngày đầu tiên/Khảo sát chào mừng
|
Welcome survey
 Gather information from new editors to help them achieve their goals
|
Trang này mô tả công việc của nhóm Phát triển trong dự án "trang chủ người mới", đây là một dự án cụ thể theo sáng kiến "ngày đầu tiên được cá nhân hóa". Trang này chứa các tài sản, thiết kế và quyết định chính. Hầu hết các cập nhật gia tăng về tiến trình sẽ được đăng trên Trang cập nhật nhóm tăng trưởng, với một số cập nhật lớn hoặc chi tiết được đăng ở đây.
Vào ngày 20 tháng 11 năm 2018, cuộc khảo sát chào mừng đã được triển khai cho các nhóm điều trị tại Wikipedias của Séc và Hàn Quốc, và dữ liệu ban đầu được thu thập và phân tích trong báo cáo ban đầu này vào tháng 12 năm 2018.
Đến tháng 3 năm 2019, chúng tôi đã kết luận rằng thiết kế có tên "Biến thể A" là tốt nhất và hiện được hiển thị cho tất cả người dùng mới ở Wikipedias của Séc và Hàn Quốc.
Chúng tôi đang trong quá trình điều tra biến thể khảo sát nào là tốt nhất trong Wikipedia tiếng Việt.
Tình hình hiện tại
- 2018-11-20: đã triển khai khảo sát chào mừng tới Wikipedias của Séc và Hàn Quốc, với một nửa số người dùng nhận được Biến thể A và một nửa trong nhóm kiểm soát.
- 2018-12-22: đã xuất bản Báo cáo ban đầu với kết quả khảo sát.
- 2019-01-16: sau khi xác định rằng việc nhận Biến thể A không làm giảm tốc độ kích hoạt, đã thay đổi tiếng Séc và tiếng Hàn để một nửa số người dùng nhận được Biến thể A và một nửa có Biến thể C.
- 2019-01-24: đã triển khai khảo sát chào mừng tới Wikipedia tiếng Việt, với một nửa số người dùng nhận được Biến thể A và một nửa nhận biến thể C.
- 2019-02-27: chuyển Wikipedia tiếng Việt để một nửa số người dùng nhận được Biến thể A và một nửa không có khảo sát. Đồng nghĩa với việc điều tra những lo ngại về tỷ lệ bỏ rơi từ thí nghiệm ban đầu.
- 2019-03-06: sau khi phân tích các thử nghiệm trên Wikipedias của Séc và Hàn Quốc, bắt đầu cung cấp cho tất cả người dùng Biến thể A, vì nó hoạt động tốt hơn trong tất cả các kịch bản và tất cả các số liệu. Không có thử nghiệm chạy trong các Wikipedia tiếng Séc hoặc Hàn Quốc.
- 2019-03-21: khảo sát bị vô hiệu hóa bằng tiếng Việt sau khi thấy rằng người dùng máy tính để bàn nhận Biến thể A có tỷ lệ bỏ qua cao hơn nhiều so với người dùng máy tính để bàn không nhận được khảo sát. Vẫn đang điều tra kết quả này.
- 2019-07-12: Loại bỏ khả năng người dùng có thể thêm những câu trả lời viết tự do trong bài khảo sát. Cho đến nay chúng tôi đã nghiệm ra thứ mình cần biết từ những câu trả lời mà chúng tôi nhận được, và chúng đã trở thành một nơi tiềm năng bị lạm dụng.
- 2019-07-15: đã triển khai khảo sát chào mừng tới Wikipedia tiếng Ả Rập, với một nửa số người dùng nhận được Biến thể A và một nửa không nhận được cuộc khảo sát nào.
- 2019-08-30: kết quả được công bố đã cho thấy cuộc khảo sát chào mừng không ảnh hưởng tiêu cực tới người dùng Tiếng Ả Rập.
- 2022-01-30: a one-month test of the survey at Vietnamese Wikipedia starts. [1]
- Tiếp theo: thay đổi các câu hỏi khảo sát chào mừng để thu thập những thông tin cần cho nhiệm vụ người mới
Tóm tắt
Chúng tôi biết từ nghiên cứu Kinh nghiệm của Biên tập viên Mới rằng những người mới đến wiki đã có một mục tiêu cụ thể trong tâm trí. Nếu họ không thể hoàn thành nó, họ sẽ không thể quay lại. Với cuộc khảo sát chào mừng, chúng tôi muốn hỏi những người mới đến về mục tiêu của họ, để chúng tôi có thể cung cấp cho họ những kinh nghiệm giúp họ hoàn thành mục tiêu của mình. Chúng tôi muốn hỏi người dùng mới các câu hỏi bổ sung trong quá trình tạo tài khoản của họ, chẳng hạn như lý do tạo tài khoản, những gì họ đang cố gắng hoàn thành, các chủ đề mà họ quan tâm hoặc liệu họ có cần sựu giúp đỡ của cố vấn hay không.
Để đọc thêm về động lực cho dự án này, hãy xem sáng kiến "Ngày đầu tiên được cá nhân hóa".
Để đọc về cách dữ liệu của cuộc khảo sát chào mừng sẽ được sử dụng để cá nhân hóa những ngày đầu tiên của người mới đến, hãy xem "Email liên kết" và dự án "Trang chủ người mới".
Comparative review
To learn how best to design the welcome survey, our team's designer reviewed the way that other platforms (e.g. Reddit, Coursera, Medium) ask initial questions of newcomers. While the experience we want to give newcomers is definitely different than other platforms (we want to give newcomers an optional, lightweight, non-invasive experience), we also recognize that there are best practices we can learn from other software. The comparisons are shown in this slide deck, and the main takeaways are:
- Modals were generally more in use or otherwise a full page overlay for forms.
- No more than 4 questions were asked during onboarding.
- Questions were either progressively disclosed on a single screen or otherwise shown 1 question per step with clear visual indication of the number of steps (e.g. via a stepper UI).
- Multi-question forms tended to be skip-able entirely, but with mandatory questions if the user wanted to participate.
- An optional guided tour or further help was often provided afterwards once user was in the app.
- Friendly voice and tone - welcoming, informal language framed as asking for information to help orient the user ("Tell us about yourself", "Get recommendations", etc.)
Design
Our evolving designs can always be found in these clickable mockups, and with additional contextual information in this Phabricator task. Our goal for the design is for newcomers to answer all the questions they want to, and to not depress the number of users who complete their signup process and get back to what they were doing.
We considered three main design approaches for this project. The new account holder lands at each approach immediately after clicking "Create your account" at Special:CreateAccount. And after completing each one, they are returned to the page from which they originally clicked to create their account. Please note that the question wording and text in these mockups does not reflect current drafts -- the mockups are more for the visuals and workflows. Question wording and text will be posted separately.
- Variation A: a Special page containing the survey. This was the simplest to implement, and we deployed this one first on November 20, 2018. Though this doesn't follow best practices that we learned in comparative review, it is the fastest way to get a survey up and to start learning. It will also work automatically on mobile web and for no-JavaScript users.
- Variation B: this option shows users one question at a time, and also removes the surrounding links from the left and top navigation of the wiki for a more streamlined experience. This is inspired by the interface for the Biên dịch nội dung/V2 tool. We decided not to pursue this variation at all, since it is more work than Variation C, which we like better.
- Variation C: this is our ideal design, which is a modal over the context where the user came from. It helps make it clear that user is close to returning to the task they were doing when they started creating an account. It also presents questions one at a time so the survey is not overwhelming. This incorporates our learning from the comparative review. We will have to design and engineer a separate mobile web version, as well as consider what no-JavaScript users will receive. This is being engineered during November and December 2018.
The team built and deployed Variation A in November 2018, and simultaneously built Variation C. We will be deploying Variation C during January 2019.
-
Mockup of "Variation A" -
Mockup of "Variation B" -
Mockup of "Variation C"
Questions, responses, and other text
Original set of questions
The questions that this feature asks to newcomers, along with their specific wording and the other text in the feature, is really important to getting useful data. The team worked on these things with help from several other people experienced with surveys at WMF. All the questions will be optional, and will be translated into the languages of the wikis on which the welcome survey is deployed. Below are the questions we want to ask, and we are still working on the wording. To see the current text of the feature, check out the current mockups.
- Why did you create your account today?
- Goal: if we understand what a newcomer is trying to accomplish, we may be able to show them help materials that help them accomplish it.
- Response options:
- To fix a typo or error in a Wikipedia article
- To add information to a Wikipedia article
- To create a new Wikipedia article
- To read Wikipedia
- Other (please describe)
- Have you ever edited Wikipedia?
- Goal: we want to know how many people creating accounts may have already made IP edits. This would also allow us to refrain from giving too much help material to people who know what they're doing already.
- Response options:
- Yes, many times
- Yes, once or twice
- No, I didn't know I could edit Wikipedia
- No, for other reasons
- I don't remember
- People can edit Wikipedia articles on topics they care about. We've listed a few topics below that are popular for editing. Select some topics that you may wish to edit.
- Goal: it may be possible in the future to connect newcomers with experienced editors who share their interests, or just give them recommendations on articles to work on.
- Response options (see this update for explanation of how these were determined):
- As checkboxes: Arts, Science, Geography, History, Music, Sports, Literature, Religion, Popular culture
- Behind typeahead: Entertainment, Food and drink, Biography, Military, Economics, Technology, Film, Philosophy, Business, Politics, Government, Engineering, Crafts and hobbies, Games, Health, Social science, Transportation, Education
- It will also possible for users to add their own topics.
- Email address
- Goal: Only if the user did not supply it on Special:CreateAccount. Email is important for engaging new editors and allowing them to recover their accounts, so we want to ask twice.
- We are considering starting a program for more experienced editors to help newer users with editing. Are you interested in being contacted to get help with editing?
- Goal: We want to learn whether newcomers feel that they need human-to-human help.
In addition to the questions themselves, we will be showing users a link to the survey privacy statement (translated into the wiki's language) and to the Tutorial and Help Desk pages on their wikis.
Update for Newcomer Tasks in September 2019
The original purpose of the welcome survey is to use the survey responses to personalize a newcomer's experience so they get what they need on their first day. The first feature that we will be personalizing is the newcomer tasks feature. Welcome survey questions and responses will change to meet the needs of that feature. Specifically, these are the planned changes:
- We will alter the responses in the first question ("Why did you create your account today?") to include response options that are common in the free-text "Other" field:
- "To add a photo or image to a Wikipedia article": this is one of the most common things that newcomers try to do.
- "I'm participating in a program, class, or event": many newcomers come through programs, and may want the ability to provide personalized content based on the program from which they are arriving.
- We will collapse two of the other responses in the first question into one that reads "To make changes to an existing Wikipedia article". We're collapsing the following two responses into that one response to make room for the new responses above:
- "To fix a typo or error in a Wikipedia article"
- "To add information to a Wikipedia article"
- We will remove the question asking the user's topics of interest from the survey entirely. This is because we'll be asking that question in the newcomer tasks feature on the homepage instead.
- We will add a question asking users to indicate the languages they read or write. This question may help us encourage certain newcomers to use the Content Translation tool.
User testing
During the week of October 22, 2018, we used usertesting.com to conduct six tests of our Variation A mockups with internet users unaffiliated with the Wikimedia movement. In these tests, respondents are compensated for trying out the mockups, speaking aloud on what they observe, and answering questions about the experience. As our team's designer described on the Phabricator task, the goals of this testing were:
- Identify improvements to Understanding of the survey (update copy depending on users' comprehension of the instructions and questions on the form).
- Identify improvements to the Usability of the survey (check whether users are able to correctly input and submit their intended responses).
- Do users know how the visual design and layout works? (E.g., do they understand they should be selecting one answer from a radio button group)
- Are users able to navigate through the form?
- Any feedback missing that could help users complete the form?
- Gauge user Reactions to the survey and Expectations of how the information will be used.
Summary of findings
- Survey was clearly optional, and seen as short, low-effort, and non-intrusive to complete
- Generally seen as data capture for research (though a few testers thought more specific explanation about how responses may be used might make them more inclined to fill it in)
- "Mentorship program" was the one aspect not clearly understood, with about half of participants mistakenly assuming they would be providing the help rather than receiving it.
- A couple of users had misgivings about providing email and feared it may be misused for marketing or given to 3rd parties (also as they expected it to be mandatory for account creation if it was needed for recovery)
- Users liked the post-submission message with more information about "Getting started with editing"
- Several users assumed that upon completing the welcome survey, they would be directed to their "dashboard" to get started with editing.
Recommendations
- Add a full Thanks message after survey completion
- Rephrase “Mentor” checkbox question and clarify expectations for how users may be contacted if they select the mentor checkbox
- Revise phrasing of Q3 (Wordsmithing so that the second sentence “We've listed a few below popular for editing” is more easily understood.)
- Add a tooltip beside or assistive text under the “Add more topics” field for no-js users explaining they can comma-separate multiple topics
- Add more information about how the email is used
- Potentially be extra clear by placing a tooltip with the following message (taken from Help:Account_management): “If you choose to give an email address, other users will be able to contact you by email. This feature is anonymous—the user who emails you will not know your email address. You don't have to give your email address if you don't want to (but doing so is required to reset your password if you forget it)”
Analysis and experiments
There are two kinds of analysis we'll be doing with respect to this feature. To read about those plans in-depth, see Growth/Analytics updates/Personalized first day experiment plan containing the "experiment plan".
Analysis of the responses to the survey
The main objective of the survey is to collect information about what new editors are trying to accomplish, so we can figure out if it's possible to personalize their experiences based on their responses. We are doing straightforward analysis on responses, broken out by elements like platform (mobile vs. desktop) and context from which the account was created (homepage, reading, editing).
The initial report on survey responses can be found here: Tăng trưởng/Cập nhật phân tích/Báo cáo ban đầu về khảo sát. Community members should feel free to translate this report into their languages. In-depth reporting will be created by March 2019. Some topline results:
- The survey has high response rates: 67% in Czech and 62% in Korean.
- Many people create accounts just to read articles -- a potential opportunity to engage new editors.
- High numbers of people indicate they are interested in being contacted for help: 36% in Czech and 53% in Korean.
Analysis of the impact of the survey on activation
Although we would not have intended it, it is possible that the welcome survey could depress the number of newcomers who make edits. Community members first brought up this concern, saying that by making the sign-up process longer, and keeping newcomers away from their objectives, we could cause them to leave the site. Therefore, we conducted an A/B test to find out whether being presented with the survey decreases activation rate (the rate at which new users make their first edit).
From November 19 to January 15, half of newcomers in Czech and Korean Wikipedia were given Variation A of the survey, and half were given no survey. Our experiment results are published here: Growth/Analytics updates/Welcome survey editor activation rate, and show that having the survey does not significantly decrease the rate at which newcomers make their first edit. Based on this analysis, we also tested Variation A against Variation C to see if Variation C has increased response rates (see next section). In August 2019, we ran this same test on Arabic Wikipedia, and again found Growth/Analytics updates/Welcome survey editor activation rate#Addendum: Arabic Wikipedia that the welcome survey had no negative impact on new users.
Analysis of the two survey variants
After seeing that Variation A did not cause a decrease in activation rate in Czech and Korean Wikipedias, we moved on to comparing Variation A to Variation C in those wikis. During the month of February 2019, half of newcomers received each variant. After comparing the variants on activation rate, abandonment rate, and response rate, we saw that Variation A performs better or equal to Variation C on all languages and all platforms. We therefore ended the experiments in Czech and Korean Wikipedias and started using Variation A with all newcomers starting on March 6, 2019. In-depth results are forthcoming.
2022 responses
| Vì sao bạn tạo tài khoản? | Number of responses | Percent of total |
|---|---|---|
| Để tạo một bài viết mới | 304.502 | 27.53% |
| Để thêm hoặc thay đổi thông tin trong một bài viết | 249.574 | 22.57% |
| Để đọc Wikipedia | 215.339 | 19.47% |
| Để sửa lỗi chính tả hoặc lỗi trong một bài viết | 132.626 | 11.99% |
| Khác | 103.037 | 9.32% |
| Tôi đang tham gia vào một chương trình, lớp học hoặc sự kiện | 51.128 | 4.62% |
| Để thêm hình ảnh vào một bài viết | 34.145 | 3.09% |
| N/A | 15.540 | 1.41% |
| Total | 1.105.891 |