Edit Review Improvements
| Usprawnienia Patrolowania Edycji (ERI) |
|---|
| Funkcje |
| Dokumentacja |
| Technikalia |
|
Edit Review Improvements
Improve the edit-review process for good-faith new users.
|
Edit Review Improvements (ERI) jest projektem zespołu Collaboration i polega na opracowaniu sposobów zmniejszenia negatywnych efektów obecnego procesu patrolowania, które szkodzą nowym użytkownikom. Większość narzędzi do patrolowania została zaprojektowana do chronienia jakości i obrony przed szkodliwymi użytkownikami. Oba cele są ważne. Nasze badania sugerują jednak, że znane sposoby patrolowania, szczególnie te wykorzystujące automatyczne albo półautomatyczne narzędzia, mogą mieć niezamierzone skutki polegające na zniechęcaniu, a nawet odganianiu nowych użytkowników działających w dobrej wierze.
Aby rozwiązać ten problem, zespół Collaboration bada, jak oddzielić wkład nowicjuszy dokonany w dobrej wierze od pozostałego wkładu wymagającego patrolowania i w końcu jak stworzyć dobry sposób patrolowania, który pomaga nowicjuszom zostać płodnymi użytkownikami.
Problemy
- Research shows that for new wiki editors in particular, “being reverted predicts both a decrease in activity and a reduction in the probability of survival” as editors.[1]
- W tym samym czasie, zwiększenie użycia automatycznych i półautomatycznych narzędzi do przeglądania zmian spowodowały wzrost wycofań edycji z dobrymi zamierzeniami nowicjuszy. The use of these tools “significantly increases the negative effect of rejection on desirable newcomer retention.”[2]
- The above notwithstanding, edit-review tools are essential for vandalism fighters and others working to maintain wiki integrity and quality. Jak możemy wspomóc i zachęcać nowych użytkowników jednocześnie utrzymując odpowiednią produktywność osób walczących z wandalizmami i przeglądających edycje?
Cele
- Więcej konstruktywnej, mniej zniechęcającej reakcji na wkład dokonany z dobrą wolą przez nowicjuszy.
- Bogatsze informacje o ostatnich zmianach, przez to poprawa efektywności pracy patrolujących i poprawiających artykuły, w tym poprawa efektywności wyspecjalizowanej pracy (np. walka z wandalizmami, pomoc nowicjuszom).
Ostatecznym celem tego projektu jest zwiększenie retencji użytkowników. Współgra on z celami Planu Rocznego 2016-2017 Wikimedia Foundation, ustalonego w bliskiej współpracy ze społecznością.
The approach tracks in particular with the goals the Annual Plan lays out for the Product Team, which promise, among other things, to “Invest in new types of content…curation and collaboration tools.”
Rozwiązania
To begin to address the problems of struggling but good-faith newcomers, a good first step will be to ensure that reviewers can find them. To make this possible, we propose to analyze recent changes using data from a variety of sources, including and most notably the machine-learning program ORES (Objective Revision Evaluation Service). ORES’s good faith model, trained on human judgement, can find 95% of good-faith edits with 98% accuracy. ORES can also predict edits that will be reverted and those that are damaging to the wikis.
While research shows that new editors are particularly vulnerable to rejection, there’s also evidence that edit-review and even rejection can be a powerful learning experience for newcomers.
For reviewers interested in supporting new users, then, a stream of edits that are a) likely to be reverted but which were b) made in good faith will, we hope, represent a string of teachable moments.
The edit analysis described above will be made available initially to users in two ways[4]:
- Na stronie Specjalna:Ostatnie_zmiany zostanie dodany jako funkcja eksperymentalna zestaw filtrów (przeczytaj o planowanych nowych filtrach do patrolowania edycji)
- Poprzez nowy kanał czytelny dla maszyn zwany ReviewStream (Opis ReviewStream), zaprojektowany z myślą o odczytywaniu przez różne narzędzia do przeglądania edycji.
Obecne działania
- To visualize possible product directions, the Collaboration Team is exploring design concepts while continuing to research the issues.
- To better gauge the size of the problem and be able to track progress, we’re working to define and measure new-editor retention.
- Design Research is organizing and conducting interviews with users touched by this issue in various ways, to better understand their motivations and workflows. Groups who will be interviewed in the near term include: anti-vandalism patrollers, recent changes patrollers, Teahouse hosts, Welcoming Committee members, and AfC reviewers.
- The Research and Data team is working to make predictions better by refining the accuracy of prediction models.
- There was a discussion of the project at Wikimania 2016, in June
Ulepszenie filtrowania Ostatnich Zmian
Aby pomóc przeglądającym w łatwym wyszukiwaniu edycji, które ich interesują, zamierzamy ulepszyć sposób filtrowania w Ostatnich Zmianach. Celem jest uczynienie listy edycji łatwiejszej w filtrowaniu, umożliwienie filtrowania według większej ilości kryteriów (szczególnie związanych z pomocą nowicjuszom) oraz ułatwienie łączenia wielu filtrów o różnym przeznaczeniu.
Ten prototyp interaktywny ilustruje zaproponowany koncepcję filtrowania. Aby uzyskać dodatkowe informacje, zobacz obsługiwane scenariusze.
Before reaching there, this will be done in multiple steps inside a beta feature. More details below.
Początkowe kroki
Na początku filtry przestrzeni nazw i znaczników nie zostaną jeszcze zintegrowane do nowego systemu. Będzie natomiast obsługa filtrów bazujących na ORES. Te filtry będą uwzględniać:
- Przeglądanie. Filtry umożliwią przeglądającym skupienie się na jeszcze nieprzejrzanych edycjach.
- Jakość wkładu. Filtry, które pozwalają na identyfikację dobrych i złych edycji.
- Intencje użytkowników. Filtry, które pozwalają na identyfikację edycji wykonanych w dobrej i złej wierze.
- Poziom doświadczenia użytkownika. Filtry pozwalające wyszukać edycje w zależności od poziomu doświadczenia ich autora.
-
Główny punkt wejścia do filtrowania ostatnich zmian. -
Filtry można wybierać poprzez wpisywanie (autouzupełnianie) lub przeglądanie zorganizowanej listy filtrów. -
Filtry, czy wybrane czy nie, mogą kolorować edycje dla odróżnienia z pośród różnych wybranych kryteriów. -
Filtry prezentowane są w postaci części paska wyszukiwania w celu wskazywania wybranych kryteriów wyświetlanych edycji.
Plany na przyszłość
Creating the streams/pages of “teachable moments” described above has the potential to establish edit-review as a new space for instructing and supporting new editors.
The mere existence of such a platform, however, won’t in itself ensure that this new practice will take root. To truly have an impact on newcomer retention, interventions may be required at multiple points in the editing and review cycles: before publication, to spot problems and enable authors to seek help; during review, to facilitate a constructive process; and even after review, to help new users overcome rejection and learn from from their experiences.
In addition to exploring ideas for intervening at various points, we’re pursuing answers to questions such as these:
- How can we bring reviewers to this new activity?
- What would make reviewers most effective in the job of supporting newcomers during edit review?
- How can we make the process rewarding for reviewers, so that they stay involved?
The counter-vandalism community also has an important role to play in this arena. Richer data about edits and editors should make patrollers of all types not only more discriminating about which edits might be in good faith, but also more efficient at their job of combating harm. It will be important to work closely with vandalism fighters and others to understand how their processes and tools might best be adapted to realize these potential gains.
Zasady
As we pursue this project, the following principles will guide our planning.
- Smart but human. Use technology to support rather than replace human interaction. Artificial intelligence can provide analysis, but humans should make decisions.
- Cross-community. Find solutions that will work across language groups and projects, rather than building wiki-specific tools.
- Platform not feature. Seek solutions that are extensible and reusable by current and future community-created and WMF tools.
- Mobilność. Pomimo że przeglądanie edycji jest rzadko spotykane jako dokonywane na urządzeniach mobilnych, uwzględniamy taką możliwość w naszych planach.
- Adoption. In addition to creating new technology, focus on finding ways to encourage reviewers to adopt and continue to use the new tools.
- Integration. In seeking new solutions, build on and integrate with existing practices whenever possible.
- Incremental approach. As we move into this new area, proceed incrementally to each milestone and then evaluate where to go next.
- Participatory design. Collaborate with editors and tool developers already working in this space.
Powiązana dokumentacja
- ↑ Halfaker, A., Kittur, A., & Riedl, J. (2011, October). Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In Proceedings of the 7th international symposium on wikis and open collaboration (pp. 163-172). ACM.
- ↑ “Several changes the Wikipedia community made to manage quality…have ironically crippled the very growth they were designed to manage. Specifically...the algorithmic tools used to reject contributions are implicated as key causes of decreased newcomer retention.” Halfaker, A., Geiger, R. S., Morgan, J. T., & Riedl, J. (2012). The rise and decline of an open collaboration system: How Wikipedia’s reaction to popularity is causing its decline. American Behavioral Scientist, 0002764212469365.
- ↑ “We found that newcomers are particularly likely to decrease their contributions after they are reverted. We also saw some evidence that they can learn the most from being reverted. Newcomers should be reached out to actively to help them become socialized into Wikipedia.” Halfaker, A., Kittur, A., & Riedl, J. Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work.
- ↑ Collaboration Team Quarter Two FY2016-17 Goals