Kluczowe dania na wynos
- ToxMod, bostońska firma Modulate, twierdzi, że automatycznie wykrywa i przeciwdziała zakłócającej mowie w czasie rzeczywistym.
- Zamiast ograniczać się prostym językiem, ToxMod wykorzystuje uczenie maszynowe do określania wartości niematerialnych, takich jak emocje, głośność i rytm.
- ToxMod jest obecnie przeznaczony do użytku z pokojami rozmów w grze, ale nie ma powodu, dla którego nie mógł trafić na Twój kanał Twitch.
Firma z siedzibą w Bostonie wykorzystuje uczenie maszynowe do stworzenia pierwszej na świecie usługi moderacji natywnej dla głosu, która może odróżnić to, co zostało powiedziane, a co to oznacza.
ToxMod to próba rozwiązania paradoksu moderowania dowolnej otwartej przestrzeni w Internecie; nie ma wystarczającej liczby ludzi, aby nadążyć za popytem, ale algorytmy, filtry i system raportów nie rozumieją niuansów.
Dzięki bazie danych ToxMod może śledzić czynniki w mowie graczy, takie jak emocje i głośność, co pomaga odróżnić chwilowy błąd od wzorca zachowania. Został niedawno ogłoszony jako dodatek do gry futbolu amerykańskiego 7 na 7 Gridiron, obecnie w Steam Early Access.
„Wszyscy wiedzą, że nękanie, mowa nienawiści i toksyczność w czacie głosowym i grach to ogromny problem. To powszechnie rozumiane” – powiedział Carter Huffman, dyrektor ds. technologii i współzałożyciel Modulate, podczas spotkania Google z Lifewire. „Możemy wziąć funkcje, które wyodrębniliśmy za pomocą różnych systemów uczenia maszynowego i połączyć je w system, który uwzględni całą tę ekspercką wiedzę, której uczyliśmy się od społeczności.„
Witajcie naszych nowych moderatorów robotów
Modulate pracuje nad ToxMod od zeszłej jesieni i włączyło go jako jedną z trzech podstawowych usług firmy. Oferuje również VoiceWear, narzędzie do ukrywania głosu oparte na uczeniu maszynowym, oraz VoiceVibe, usługę agregującą, która pozwala użytkownikom dowiedzieć się, o czym dyskutują ludzie w ich społecznościach.
Gdy ToxMod działa na czacie, można go zaprogramować w panelu administracyjnym Modulate tak, aby wykonywał różne automatyczne działania, takie jak wysyłanie ostrzeżeń, wyciszanie graczy lub indywidualne dostosowywanie głośności.
Wykorzystuje system segregacji, w którym jego lokalna instancja jest pierwszą, która podejmuje działanie, przed sprawdzeniem na serwerach Modulate w celu potwierdzenia. Potem w końcu eskaluje do punktu, w którym może wymagać interwencji człowieka. Przechodząc po kolei przez każdą kontrolę, którą Modulate nazywa „bramkami triage”, pomysł polega na tym, że ToxMod daje małemu zespołowi moderatorów narzędzia do skutecznego moderowania znacznie większej społeczności.
„Smutna prawda jest taka, że każdy miał takie doświadczenie, próbując korzystać z czatu głosowego na dowolnej platformie, na której byłeś, i odkrył, że to był zły pomysł”, powiedział dyrektor generalny Modulate, Mike Pappas. rozmowa wideo z Lifewire. "Możliwość wejścia i powiedzenia:" To nie jest Dziki Zachód. Są zasady. "Myślę, że to naprawdę ważne."
Łamanie systemu
Oczywiście drugie lub trzecie pytanie dotyczące ToxMod to jak go złamać.
Dzięki wielu automatycznym systemom moderacji, takim jak algorytmy rządzące Twitterem, łatwo jest ograć je przeciwko ludziom, których nie lubisz. Po prostu masowo zgłoś swój cel za pomocą kilku marionetkowych kont, a niezawodnie zjedzą bana.
„Na poziomie podstawowym ToxMod nie musi polegać na tych dodatkowych raportach graczy” – powiedział Pappas. „Nadal jest w stanie przedstawić solidne szacunki dotyczące tego, na jakie przestępstwa musimy zwrócić uwagę. Nie musisz się martwić, że gracze próbują ograć system, ponieważ tak naprawdę nie ma w co grać.
Wszyscy wiedzą, że nękanie, mowa nienawiści i toksyczność w czacie głosowym i grach to ogromny problem.
„Wszystko, nad czym masz kontrolę jako gracz, to twój własny dźwięk” – kontynuował Pappas. „Najgorsze, co możesz zrobić, to być mniej złym wobec człowieka, abyśmy nie oznaczyli cię jako złego aktora, co, jak powiedziałbym, jest bliskie sukcesu misji”.
Zasadniczo więc ideą stojącą za ToxModem jest aktywna próba rekultywacji. Wielu graczy w tym momencie doświadczyło jakiejś formy nękania przez losowych nieznajomych na otwartych kanałach głosowych, od losowych obelg po aktywne groźby. W rezultacie gracze zwykle unikają czatu głosowego, woląc rezygnować z wygody w zamian za spokój.
„Oczekujemy, że źli aktorzy spędzają dużo mniej czasu na czacie głosowym, zanim zostaniemy znaleziony i usunięty” – powiedział Pappas.„To ma więcej niż tylko liniowy wpływ. Kiedy wszyscy postrzegają czat głosowy jako bezpieczniejsze miejsce, więcej dobrych aktorów jest gotowych wrócić do czatu głosowego i spróbować. Myślę, że wszystko może się kręcić w pozytywnym kierunku.”
