Outils de modération/Automodérateur
|
Automoderator
|
Automoderator is an automated anti-vandalism tool under development by the Moderator Tools team. Il permettra aux modérateurs de configurer la prévention ou la réversion automatique des mauvaises modifications en fonction du score d'un modèle d'apprentissage automatique. En termes plus simples, nous construisons un logiciel qui remplit une fonction similaire à celle des robots luttant contre le vandalisme tels que ClueBot NG, SeroBOT, Dexbot et Salebot, et disponible pour toutes les communautés linguistiques. Please see Extension:AutoModerator for technical details on the AutoModerator extension.
This work is currently being tracked as part of the WE1.3.1 WMF hypothesis: Si nous permettons la personnalisation supplémentaire du comportement de Automoderator et réalisons les modifications d'aprés les commentaires reçus pour le projet pilote au premier trimestre, davantage de modérateurs seront satisfaits par son ensemble de fonctionnalités et sa fiabilité, et seront favorables à son utilisation dans leur propre projet Wikimedia, ce qui augmentera l'adoption du produit.
Les communautés peuvent demander à ce que Automoderator soit ajouté à leur Wikipedia.
Mises à jour
- septembre 2024 - Indonesian Wikipedia starts using Automoderator (Automoderator).
- juin 2024 - La Wikipedia turque a commencé à utiliser Automoderator (Otomoderatör).
- février 2024 - Des maquettes ont été postées pour la version initiale des pages d'accueil et de configuration. Les idées et suggestions sont les bienvenues !
- février 2024 - Nous avons mis à disposition les résultats initiaux de notre processus de test.
- octobre 2023 - Nous recherchons des entrées et des commentaires sur notre plan de mesures pour décider des données à utiliser pour évaluer le succès de ce projet et pouvoir récupérer les données de test à l'entrée de la prise de décision de l'Automoderator.
- août 2023 - Nous avons récemment présenté ce projet au Wikimania ainsi que d'autres projets axés sur la modération. Voir l'enregistrement de la session.
Motivation
Un nombre important de modifications sont effectuées sur les projets Wikimedia qui pourraient être annulées sans ambiguïté, en ramenant les pages à leur état précédent. Les patrouilleurs et les administrateurs doivent passer beaucoup de temps à examiner et à réviser manuellement ces modifications, ce qui contribue à donner la perception sur de nombreux wikis plus grands qu'il y a une quantité écrasante de travail qui nécessite l'attention, par rapport au nombre de modérateurs actifs. Nous souhaitons réduire ces surcharges et ainsi libérer du temps pour que les modérateurs puissent travailler sur d'autres tâches.
De nombreux sites web communautaires en ligne, y compris Reddit, Twitch et Discord, fournissent une fonctionnalité de « modération automatique », par laquelle les modérateurs communautaires peuvent mettre en place un mélange d'actions de modération automatiques spécifiques et algorithmiques. Sur Wikipedia, AbuseFilter fournit une fonctionnalité spécifique basée sur des règles, mais cela peut être frustrant lorsque les modérateurs doivent par exemple définir laborieusement une expression régulière pour chaque variante d'un juron. C'est également complexe et facile à casser, ce qui fait que de nombreuses communautés évitent de l'utiliser. Au moins une douzaine de communautés ont des robots anti-vandalisme, mais ceux-ci sont maintenus par la communauté, ce qui nécessite une expertise technique locale et disposant généralement de configurations opaques. Ces robots sont également largement basés sur le modèle de destruction de ORES qui n'a pas été entraîné depuis longtemps et qui a un support linguistique limité.
Buts
- Réduire la liste des tâches de modération en empêchant les mauvaises modifications d'arriver dans les files d'attente des patrouilleurs.
- Convaincre les modérateurs que l'automodération est fiable et qu'elle ne fournit pas de faux positifs.
- S'assurer que les éditeurs concernés par un faux positif ont clairement le choix entre valider l'erreur ou voir leur modificaltion reinstallée.
Recherche d'architecture
To learn about the research and design process we went through to define Automoderator's behaviour and interfaces, see /Design.
Modèle
Ce projet mettra à profit les nouveaux modèles de risque de réversion développés par l'équipe de recherche de la Fondation Wikimedia. Il existe deux versions pour ce modèle :
- Un modèle multilingue couvrant 47 langues.
- Un modèle qui ne dépend pas de la langue.
Ces modèles peuvent calculer un score pour chaque révision indiquant la probabilité que l'édition soit annulée. Each community can set their own threshold for this score, above which edits are reverted (see below).
Les modèles ne prennent en charge actuellement que Wikipedia, mais pourraient être entraînés sur d'autres projets Wikimedia. Actuellement, ils ne sont uniquement entraînés que sur les articles de l'espace de noms principal. Une fois déployé, nous pourrions re-entraîner le modèle en continu, car les faux positifs seront signalés par la communauté. (T337501)
Avant de poursuivre ce projet, nous aimerions offrir des occasions pour tester le modèle sur des modifications récentes, afin que les patrouilleurs puissent comprendre à quel point le modèle est précis et pour qu'ils se sentent confiants dans son utilisation telle que nous la proposons. The details and results of this test can be found at /Testing.
How it works
 | To request that Automoderator be deployed on your Wikimedia project, please see Extension:AutoModerator/Deploying. |
Automoderator scores every main namespace edit on a Wikimedia project, fetches a score for that edit based on how likely it is to be reverted, and reverts any edits which score above a threshold which can be configured by local administrators. The revert is carried out by a system account, so it looks and behaves like other accounts - it has a Contributions page, User page, shows up in page histories, etc.
To reduce false positives and other undesirable behaviour, Automoderator will never revert the following kinds of edits:
- An editor reverting one of their own edits
- Reverts of one of Automoderator's actions
- Those made by administrators or bots
- New page creations
Configuration
Automoderator is configured via a Configuration communautaire form located at Special:CommunityConfiguration/AutoModerator, which edits the page MediaWiki:AutoModeratorConfig.json (the latter can be watchlisted so that updates show up in your Watchlist). After deployment, Automoderator will not begin running until a local administrator turns it on via the configuration page. In addition to turning Automoderator on or off, there are a range of configurations which can be customised to fit your community's needs, including the revert threshold, minor and bot edit flags, and whether Automoderator sends a talk page message after reverting (see below).
Certain configuration, such as Automoderator's username, can only be performed by MediaWiki developers. To request such a change, or to request other kinds of customisation, please file a task on Phabricator.
Localisation of Automoderator should primarily be carried out via TranslateWiki, but local overrides can also be made by editing the relevant system message (Automoderator's strings all begin with automoderator-).
Caution levels
One of the most important configurations to set is the 'Caution level' or 'threshold' - this determines the trade-off Automoderator will make between coverage (how many bad edits are reverted) and accuracy (how frequently it will make mistakes). The higher the caution level, the fewer edits will be reverted, but the higher the accuracy; the lower the caution level, the more edit will be reverted, but the lower the accuracy. We recommend starting at a high caution level and gradually decreasing over time as your community becomes comfortable with how Automoderator is behaving.
Talk page message
To ensure that reverted editors who were making a good faith change are well equipped to understand why they were reverted, and to report false positives, Automoderator has an optional feature to send every reverted user a talk page message.
This message can be translated in TranslateWiki and customised locally via the Automoderator-wiki-revert-message system message.
The default (English) text reads as follows:
Hello! I am AutoModerator, an automated system which uses a machine learning model to identify and revert potentially bad edits to ensure Wikipedia remains reliable and trustworthy. Unfortunately, I reverted one of your recent edits to Article title.
- Because the model I use is not perfect, it sometimes reverts good edits. If you believe the change you made was constructive, please report it here.
- Learn more about my software.
- To learn more about editing visit your Newcomer Homepage. --Automoderator (talk) 01:23, 1 January 2024 (UTC)
If the same user receives another revert soon after the first, they will be sent a shorter message under the same section heading. Default (English) text:
I also reverted one of your recent edits to Article title because it seemed unconstructive. Automoderator (talk) 01:23, 1 January 2024 (UTC)
Remontée des faux positifs
Because no machine learning model is perfect, Automoderator will sometimes accidentally revert good edits. When this happens we want to reduce friction for the user who was reverted, and give them clear next steps. As such, an important step in configuring Automoderator is creating a false positive reporting page. This is a normal wiki page, which will be linked to by Automoderator in the talk page message, and in page histories and user contributions, as an additional possible action for an edit, alongside Undo and/or Thank.