histats

Des documents divulgués révèlent comment Roblox gère les simulateurs de coupe et de prise de vue en masse

Des documents divulgués révèlent comment Roblox gère les simulateurs de coupe et de prise de vue en masse

Un cache de documents récemment publié fournit un aperçu sans précédent de la façon dont Roblox, l’une des plates-formes de jeu les plus populaires au monde, à moitié de tous les enfants aux États-Unis jouer, modérer le contenu. Les documents montrent tout, de la façon dont les managers de l’entreprise parlent et simulateurs de tir de masse modérée la taille d’un “renflement” dans les vêtements conçus par les joueurs est un problème pour la plate-forme. Ils donnent également un aperçu du ciblage des enfants sur la plate-forme par des prédateurs et de la manière dont la plate-forme tente de lutter contre le toilettage des enfants.

Les documents, qui a été volé par un pirate informatique et publié en ligne, comprend des discussions internes sur la manière de répondre à certains des défis de modération de contenu les plus importants auxquels la plate-forme a été confrontée, tels que comment et quand supprimer les jeux créés par les utilisateurs qui simulent des fusillades de masse et comment répondre aux demandes des médias concernant la bande de jeu clubs. Ils incluent également une feuille de calcul avec un système de notation pour des termes spécifiques interdits qui peuvent être utilisés dans le chat ; le système de notation est apparemment destiné à déterminer la sévérité d’une peine spécifique et est divisé en catégories qui incluent “l’intimidation”, “sexting”, “mineurs”, “raciste”, “grooming”, “subversif”, “automutilation, ” “religion”, et plus encore.

“Roblox est une nouvelle communauté. Quel genre de société voulons-nous être ? lit une diapositive incluse dans les documents piratés.

Travaillez-vous sur Roblox ? Nous aimerions avoir de vos nouvelles. En utilisant un téléphone ou un ordinateur non professionnel, vous pouvez contacter Joseph Cox en toute sécurité sur Signal au +44 20 8133 5190, Wickr sur josephcox ou envoyer un e-mail à [email protected]

Dans un document, une “vision de la feuille de route” pour le groupe de sécurité comprend l’introduction de nouvelles catégories telles que le “grooming”. Un autre document répertorie certains des mots qui, selon Roblox, sont liés au “toilettage” et semble leur donner un score. “J’aimerais que tu sois plus jeune” obtient un 3. “Puis-je obtenir un {{media}} de ta part” est un 5. “Ne le dis pas à {{family_member}}” est également un 5. Il y a aussi un score de 6 pour ” bossu “, ” {{enfant}} esclave “, ” {{ enfant}} prédateur ” et d’autres termes horribles qui se rapportent clairement à l’abus sexuel d’enfants.

Roblox trie également les phrases dans d’autres sections telles que “sexting”, “intimidation”, “raciste” et “religion”.

Un problème identifié dans les documents est que bien que les systèmes de Roblox analysent 100 % des rapports d’abus soumis, seuls 10 % d’entre eux peuvent donner lieu à une action. Cela signifie “Il est difficile d’identifier quels 10% sont les bons à considérer”, indique le document. Une amélioration pour 2020 a été répertoriée comme s’améliorant dans l’identification des rapports d’abus exploitables.

Une présentation de mai 2021 du “groupe de sécurité” de Roblox énumère l’objectif de “réduire les chances de l’utilisateur de visualiser du contenu non sécurisé (niveau 4)”. Selon cette présentation, le “résultat clé” de cet objectif est de “réduire le taux d’exposition aux mauvais jeux de 1,2 % à 0,01 % des [weekly active users].

See also  Le ministre de l'informatique sur le piratage du site Wiki d'Arshdeep Singh

En septembre Pierre roulante rapporté sur les clubs de strip-tease à l’intérieur de Roblox où les enfants ont exécuté des “lap dances” avec leurs avatars dans le jeu en échange de la monnaie de Roblox Robux. Ce mois-ci, sortie locale de Caroline du Nord WECT 6 signalé un enfant ciblé par un prédateur sur Roblox.

Les documents comprennent également des notes de relations publiques et des documents de stratégie dans lesquels les employés et les responsables de Roblox discutent de la manière de répondre aux journalistes qui contactent l’entreprise au sujet d’un contenu controversé sur la plate-forme. Certains de ces échanges révèlent comment Roblox en parle et comment il peut supprimer ce contenu.

Par exemple, un document montre qu’en mai 2021, un journaliste norvégien a envoyé un e-mail à Roblox pour poser des questions sur “des extrémistes exploitant une plateforme de jeu populaire parmi les enfants”, et a fait référence à deux jeux Roblox : “Utøya July 22”, la date et le lieu du jeu. fusillade de masse menée en Norvège, et “Christchurch Simulator”, du nom de la fusillade dans la mosquée de Christchurch en Nouvelle-Zélande en 2019.

“Le jeu est toujours en place, mais il n’y a rien d’offensant à part le nom.” Jeff Maher, chef de produit Roblox pour la sécurité, a déclaré dans un commentaire du 11 mai 2021 sur le jeu Utøya. “C’est juste une île avec quelques campings dessus et je ne trouve aucune arme ou (ou quoi que ce soit à ajouter à l’avatar).”

Maher a également lié le jeu, qui a depuis été supprimé. Selon la page de Roblox, elle a été visitée 858 fois.

« Devrions-nous envisager un bloc de filtre de texte sur le mot Utøya ? Maher a écrit.

“Je pense que ce serait une réaction excessive”, a répondu Joel Silk, directeur principal de la modération chez Roblox. «Ce serait comme bloquer Columbine ou New York parce qu’une chose terrible s’y est produite. Nous pouvons envisager de bloquer les combinaisons du nom de l’île avec la date ou avec Oslo (un attentat à la bombe s’y est produit le même jour) ou lorsqu’il est associé à ‘tir’ ou ‘massacre’ ou quelque chose.”

“Sur la base de la description, pouvons-nous supprimer le jeu ? Ce ne sera pas facile de défendre cela s’il est toujours en place…”, a déclaré Teresa Brewer, vice-présidente des communications d’entreprise de Roblox, dans un commentaire du 14 mai.

« Ce jeu a été supprimé hier. [A Roblox employee] a relancé notre outil de décalage vers le rouge et ajouté des termes liés à Christchurch. Nous devrions voir moins (le cas échéant) de jeux/actifs liés maintenant », a répondu Silk le 15 mai.

Selon le document, Maher n’a pas pu trouver le simulateur de Christchurch spécifique sur lequel le journaliste norvégien a posé des questions, mais des liens vers un jeu Roblox maintenant supprimé, qui, selon l’URL, s’appelait “Goku contre Christchurch.” Goku est l’un des personnages principaux de l’anime Dragon Ball Z.

See also  Où trouver Harley Quinn dans Gotham Knights

“C’est un extrêmement version brute / en blocs, où sans le nom, vous ne sauriez pas qu’il simule en fait quoi que ce soit », a déclaré Maher. “Mais vous pouvez vous déguiser en” Goku “de DBZ et ils vous donnent un AK, vous entrez dans un bâtiment qui n’est qu’une simple pièce vide avec quelques PNJ en bloc qui courent. Je retirerais au moins pour violation du droit d’auteur. “

“Avons-nous une relation IP avec DBZ ? Sinon, j’éviterais la suppression de l’IP si nous n’obtenions pas de retrait”, a répondu Eliza Jacobs, directrice de la politique de contenu de Roblox.[@Joel Silk] pour confirmation là-bas. “Christchurch Simulator” sans plus de contenu pour le lier au massacre n’est pas suffisant pour soustraire à de vraies tragédies, de ma lecture de la politique.”

Roblox a déclaré à Motherboard dans un communiqué cette semaine que “nous ne tolérons pas le racisme, les discours discriminatoires ou les contenus liés à des événements tragiques, c’est pourquoi nous avons un système de sécurité strict que nous appliquons strictement”.

La société a également révélé qu’elle disposait d’une équipe de 2 600 personnes travaillant sur la modération sur la plateforme. “Nous examinons chaque image, fichier audio et vidéo avant que le contenu ne soit téléchargé avec une modération humaine assistée par une technologie d’apprentissage automatique et avons une équipe de plus de 2 600 personnes dédiées à la surveillance de la sécurité 24h/24 et 7j/7 pour détecter et répondre rapidement aux contenus ou comportements inappropriés, ” a ajouté la déclaration à. “Nous travaillons également en étroite collaboration avec le Centre sur le terrorisme, l’extrémisme et la lutte contre le terrorisme (CTEC) du Middlebury Institute, un institut de lutte contre le terrorisme de premier plan, et d’autres gouvernements et ONG du monde entier pour nous aider à prévenir les activités extrémistes sur notre plate-forme.” (Il y avait 811 personnes dans toute l’équipe de modération de Roblox à la fin du troisième trimestre 2020, selon l’un des documents)

L’un des documents, un examen trimestriel du groupe de sécurité de Roblox en 2020, offre une vue d’ensemble des défis de modération auxquels l’entreprise est confrontée sur la plate-forme. À savoir des jeux, des actifs et des messages de chat inappropriés. Le document expose ensuite plus en détail certains des divers efforts de modération que Roblox utilise ou prévoit de faire à l’époque. Celles-ci incluent l’utilisation du logiciel de reconnaissance d’images d’Amazon appelé Rekognition dans le cadre de la file d’attente de modération d’images de Roblox.

La société a également développé sa propre preuve de concept pour identifier des objets spécifiques dans les images ; dans ce cas, Pikachu.

Des tactiques potentiellement controversées sont également incluses dans les diapositives, telles que “développer le playbook” en recherchant “l’adresse MAC à interdire”. Les adresses MAC sont des identifiants matériels spécifiques à l’appareil, ce qui signifie que Roblox peut interdire à des appareils spécifiques d’accéder aux Services, plutôt qu’à des comptes spécifiques. Un porte-parole de Roblox a déclaré à Motherboard dans un e-mail que “nous ne divulguons pas ce niveau d’informations” lorsqu’on lui a demandé si l’entreprise bloquait les utilisateurs au niveau de l’adresse MAC.

See also  Le jeu est en plein essor. C'est de l'herbe à chat pour les cybercriminels - Actualités

“La sécurité et la courtoisie sont le moteur de tout ce que nous faisons, et nous travaillons sans relâche pour garantir que les personnes de tous âges aient une expérience positive et sûre sur notre plateforme. Nous appliquons nos normes communautaires en utilisant une approche de sécurité à plusieurs niveaux qui combine le meilleur de l’intelligence artificielle, de l’apprentissage automatique et de la modération humaine. Nous ne fournissons pas plus de détails sur les informations confidentielles obtenues illégalement par des criminels qui ont tenté en vain d’extorquer l’entreprise, a déclaré le porte-parole. (Mainboard pense qu’une grande partie des informations incluses dans les fichiers publiés sont dans l’intérêt public et justifient leur couverture).

Une partie du contenu évalué par Roblox est “assisté par la technologie” avec une modération humaine, comme les évaluations et les rapports d’abus. D’autres contenus sont modérés uniquement par la technologie, y compris la “détection de mauvais jeux” et la “détection IP”, comme les jeux que Roblox ne veut pas sur sa plate-forme ou ceux qui enfreignent les droits de propriété intellectuelle d’autrui.

L’examen trimestriel a également mis en évidence des problèmes que Roblox prédit qu’il devra traiter à l’avenir, tels que l’introduction d’un nombre de joueurs plus détaillé. Traditionnellement, les modèles de personnages de Roblox étaient de petits avatars en blocs qui ne pouvaient porter qu’un seul vêtement par couche à la fois. Avec la prochaine itération de personnages, le plan de Roblox était de leur faire porter des vêtements en couches, ou “LC”. Cela crée ses propres problèmes : “Comment décidons-nous à quoi ressemble l’indécence pour les vêtements superposés (lorsque UGC [user generated content]) ?”, lit-on sur une diapositive. Roblox a lancé des vêtements superposés en avril.

“Quelle est la taille d’un ‘renflement’ qui nous pose problème ?”, demande-t-il, faisant référence aux renflements que les utilisateurs peuvent créer avec leurs propres créations vestimentaires.

Roblox a refusé à plusieurs reprises de rendre quiconque disponible pour une interview sur la stratégie de modération de contenu de l’entreprise. Un porte-parole de Roblox a plutôt montré des cartes mères à plusieurs articles de blog Roblox, l’un d’eux l’a dit “Nous renforçons constamment nos systèmes pour rendre Roblox encore plus sécurisé.”

Abonnez-vous à notre podcast sur la cybersécurité, CYBER. Abonnez-vous à notre nouvelle chaîne Twitch.

You may also like...

Leave a Reply

Your email address will not be published. Required fields are marked *