Moderator Tools/Automoderator/nl
|
Automoderator
|
Automoderator is een geautomatiseerd anti-vandalisme hulpmiddel dat wordt ontwikkeld door het team Moderator Tools. Het stelt moderators in staat om automatische preventie of omzetting van slechte bewerkingen op basis van een machine learning-model te configureren. Automoderator werkt als anti-vandalisme bots zoals ClueBot NG, SeroBOT, Dexbot en Salebot, maar maken deze beschikbaar voor alle taalgemeenschappen. Zie Extension:AutoModerator voor technische details over de extensie AutoModerator.
Dit werk wordt nu gevolgd als onderdeel van de WE1.3.1 WMF-hypothese: Als we extra aanpassing van het gedrag van Automoderator mogelijk maken en wijzigingen aanbrengen op basis van feedback van proefprojecten in Q1, zullen er meer moderators tevreden zijn met de functieset en betrouwbaarheid, en zullen ze ervoor kiezen om het op hun Wikimedia-project te gebruiken, waardoor de acceptatie van het product toeneemt.
Gemeenschappen kunnen nu aanvragen of ze Automoderator op hun Wikipedia uitgerold willen krijgen.
Updates
- september 2024 - De Indonesische Wikipedia begint Automoderator te gebruiken (Automoderator).
- juni 2024 - De Turkse Wikipedia begint met het gebruiken van Automoderator. (Otomoderatör).
- februari 2024 - Er zijn ontwerpen gepost voor de eerste versie van de landing- en configuratiepagina's. Wij krijgen graag ideeën en suggesties.
- februari 2024 - We hebben de eerste resultaten van ons testproces doorgegeven.
- oktober 2023 - We zijn op zoek naar input en feedback over ons meetplan, om te beslissen welke gegevens we moeten gebruiken om het succes van dit project te evalueren, we hebben testgegevens beschikbaar gesteld om input te verzamelen over de besluitvorming van Automoderator.
- augustus 2023 - We hebben dit project en andere projecten voor moderators onlangs op Wikimania gepresenteerd. U kunt de opgenomen sessie hier beluisteren.
Motivatie
Een aanzienlijk aantal bewerkingen zijn gedaan aan Wikimedia-projecten die zonder twijfel ongedaan gemaakt moeten worden, waardoor een pagina terugkeert naar haar vorige staat. Patrouilleurs en administrators moeten veel tijd besteden aan het handmatig beoordelen en omkeren van deze bewerkingen, wat bijdraagt aan een gevoel op veel grotere wiki's dat er een overweldigend aantal werkzaamheden zijn die aandacht vereisen in vergelijking met het aantal actieve moderators. Wij willen deze lasten verminderen en de moderator tijd geven om aan andere taken te werken.
Veel online community websites, waaronder Reddit, Twitch en Discord, bieden 'automatische moderatie' functionaliteit, waarbij community moderators een mix van specifieke en algoritmische geautomatiseerde moderatieacties kunnen opzetten. Op Wikipedia biedt AbuseFilter (Misbruikfilter) specifieke, op regels gebaseerde functionaliteit, maar kan frustrerend zijn wanneer moderators bijvoorbeeld nauwgezet een reguliere expressie moeten definiëren voor elke spellingsvariant van een scheldwoord. Het is ook ingewikkeld en gemakkelijk te breken, waardoor veel gemeenschappen het gebruik ervan vermijden. Minstens een dozijn gemeenschappen hebben anti-vandalisme bots, maar deze worden door de gemeenschap onderhouden, vereisen lokale technische expertise en hebben meestal ondoorzichtige configuraties. Deze bots zijn ook grotendeels gebaseerd op het ORES-schade model, dat al lang niet is getraind en beperkte taalondersteuning heeft.
Doelen
- Verminder achterstanden bij het modereren door te voorkomen dat slechte bewerkingen in de wachtrijen van de patrollers terechtkomen.
- Geef moderators vertrouwen dat automatische moderatie betrouwbaar is en geen significante valse positieve resultaten oplevert.
- Zorg ervoor dat redacteuren die in een vals positief zijn gevangen, duidelijke manieren hebben om de fout te markeren / hun bewerking opnieuw te laten instellen.
Ontwerponderzoek
Om meer te lezen over het onderzoeks- en ontwerpproces dat we hebben doorlopen om het gedrag en de interfaces van Automoderator te definiëren, zie /Design.
Model
Dit project maakt gebruik van de nieuwe modellen voor het 'terugdraairisico' die zijn ontwikkeld door het team Wikimedia Foundation Research. Er zijn twee versies van dit model:
- Een meertalig model, met ondersteuning voor 47 talen.
- Een taal-agnostisch model.
Deze modellen kunnen een score berekenen voor elke revisie die de kans geeft dat de bewerking moet worden teruggedraaid. Each community can set their own threshold for this score, above which edits are reverted (see below).
De modellen ondersteunen nu alleen Wikipedia, maar kunnen worden getraind op andere Wikimedia-projecten. Bovendien zijn zij nu alleen opgeleid op de hoofd namespace (article). We willen graag onderzoeken hoe we het model continu opnieuw kunnen trainen, zodra de gemeenschap valse positieve resultaten rapporteert. (T337501)
Voordat we verder gingen met dit project hebben we de mogelijkheden geboden om het model te testen met recente wijzigingen, zodat de patrouilleurs konden begrijpen hoe nauwkeurig het model is en of ze zich ervan overtuigd voelden om het te gebruiken op de manier die we hadden voorgesteld. The details and results of this test can be found at /Testing.
Hoe het werkt
 | To request that Automoderator be deployed on your Wikimedia project, please see Extension:AutoModerator/Deploying. |
Automoderator geeft een score voor elke bewerking in de hoofd namespace op een Wikimedia-project, haalt een score op voor die bewerking op basis van hoe waarschijnlijk het is dat deze wordt teruggedraaid, en draait alle bewerkingen terug die boven een drempelwaarde scoren die kan worden geconfigureerd door lokale beheerders. Het terugdraaien wordt uitgevoerd door een systeemaccount, dus het ziet eruit en gedraagt zich als andere accounts - het heeft een bijdragepagina, gebruikerspagina, wordt weergegeven in de paginageschiedenis, enz.
Om valse positieven en ander ongewenste gedrag te verminderen, zal Automoderator nooit de volgende soorten bewerkingen terugdraaien:
- Een redacteur die een van zijn eigen bewerkingen ongedaan maakt
- Een actie van de Automoderator zelf terugdraaien
- De door beheerders of bots uitgevoerde bewerkingen
- Een nieuw aangemaakt pagina verwijderen
Configuratie
Automoderator is configured via a Community Configuration form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). Na de implementatie zal Automoderator pas beginnen te werken als een lokale beheerder deze via de configuratiepagina inschakelt. Naast het aan- of uitzetten van Automoderator zijn er een reeks configuraties die kunnen worden aangepast aan de behoeften van uw gemeenschap, waaronder de terugdraai drempelwaarde, de kleine en bot-edit vlaggen en of Automoderator een overlegpagina bericht stuurt na het terugdraaien (zie hieronder).
Bepaalde configuraties, zoals de gebruikersnaam van Automoderator, kunnen alleen worden uitgevoerd door MediaWiki-ontwikkelaars. Om een dergelijke wijziging aan te vragen, of om andere soort aanpassing te vragen: aanmaken van een taak op Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant system message (Automoderator's strings all begin with automoderator-).
Waarschuwingsniveaus
Een van de belangrijkste configuraties die moet worden ingesteld is het 'Caution level / Waarschuwingsniveau' of 'threshold / drempelwaarde' - dit bepaalt het compromis dat de Automoderator zal maken tussen de dekking (hoeveel slechte bewerkingen worden teruggedraaid) en de nauwkeurigheid (hoe vaak hij fouten maakt). Hoe hoger het waarschuwingsniveau, hoe minder bewerkingen er worden teruggedraaid, maar hoe hoger de nauwkeurigheid; Hoe lager het waarschuwingsniveau, hoe meer bewerkingen er worden teruggedraaid, maar hoe lager de nauwkeurigheid. We raden aan om met een hoog niveau te beginnen en het langzamerhand te verlagen naarmate uw gemeenschap zich comfortabel voelt met hoe Automoderator zich gedraagt.
Talk page message
To ensure that reverted editors who were making a good faith change are well equipped to understand why they were reverted, and to report false positives, Automoderator has an optional feature to send every reverted user a talk page message.
This message can be translated in TranslateWiki and customised locally via the Automoderator-wiki-revert-message system message.
The default (English) text reads as follows:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
If the same user receives another revert soon after the first, they will be sent a shorter message under the same section heading. Default (English) text:
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Valse positieven
Because no machine learning model is perfect, Automoderator will sometimes accidentally revert good edits. When this happens we want to reduce friction for the user who was reverted, and give them clear next steps. As such, an important step in configuring Automoderator is creating a false positive reporting page. This is a normal wiki page, which will be linked to by Automoderator in the talk page message, and in page histories and user contributions, as an additional possible action for an edit, alongside Undo and/or Thank.