Резники всех стран, объединяйтесь!

" В предыдущем материале я упоминал про "общественную" модерацию загружаемых в соц. сеть odnoklassniki.ru фотографий. В частности указал следующее:

Недавно заглянул в их приложение по модерации снова и увидел, что правила модерации изменились. Точнее упростились:

В модерации участвуют только личные фотографии пользователей. Мы рекомендуем загружать
такие фото, по которым ваши друзья смогут вас узнать. Просим не загружать изображения,
на которых:
• изображён рисунок, предмет или животное;
• известная персона;
• присутствует эротика, оскорбление;
• есть ссылка на другой сайт.

Они не стоят на месте - ищут более эффективные пути. Т.е. теперь нет запрета размещать фотографии детей без родителей. Групповых фотографий без указания участников и т.д. Так же, в дополнение к этому, увеличили диапазон начисления балов в случае правильного и ошибочного модерирования. Сейчас балы начисляются так:

Таким образом усилили стимулирование модераторов принимать правильные решения. Но мой спринт-тест на базе модерации почти тысячи фотографий привел к неожиданным результатам:

• пропускается любое фото какой-либо достопримечательности или просто местности, если там есть только маленький силуэт какого-то человека в углу кадра;

• пропускаются спины людей в футболках или куртках, где суть фотографии в рисунке на данной одежде;
• фотографии всемирно известных персон пропускаются "50/50"; откровенные вырезки из реклам, фильмов, боксерских поединков и других видеоматериалов скорее пропускаются, чем нет;
• два раза проходили фотографии Д. Медведева и В. Путина )) ;
• Даже "демотиватор" с групповой фотографией бригады из одноименного сериала пропустили ))

То есть нет главного: критичности восприятия модераторами проверяемого материала. Главное - гонка за балами, которых надо много даже на такие простейшие "покупки", как "закрытый профиль"...

А что делать, если Интернет проникает все глубже и глубже в народные массы и средний уровень пользователя становится все ниже? Может все идет закономерным путем?

Предлагаю следующий алгоритм построения арбитража на примере фотографий, загружаемых в соц. сети:

• Категорирование модераторов

  Да - их надо категорировать, что бы повышать "вес" голосов наиболее активных. Например, раз в неделю проверять активность обычных модераторов и давать повышенную категорию тем, кто показал среднесуточную активность на 10 и более процентов больше показателя остальных при на 10 и более процентов меньшем показателе ошибок опять же относительно остальных.

  При больших потоках проверяемой информации и достаточном количестве модераторов можно вводить и третью и так далее категории, но правила перехода в следующую категорию должны быть неизменными и опираться на показатели текущей категории модератора.

• Стимулирование модераторов к переходу к повышенной категории.

  Тут все просто - если сейчас за правильный ответ начисляют 2 балла, то модератору второй категории давать 3 балла, третьей - 4 балла и т.д. Увеличение штрафных баллов за ошибку увеличивать не стоит - это может испугать модераторов и, соответственно, вызвать их отток.

  Естественно, что все это должно быть озвучено в открытых правилах модерации и модератор должен уведомляться о присвоении ему очередной категории.

• Важность голоса модератора повышенной категории

  Модератор второй категории голосует за двоих, третьей - за троих и т.д.

• Исключение "сговора" модераторов повышенной категории

  Недопустимо, когда решение применяется двумя модераторами высокой категории вместо десяти обычных - в таком случае вероятность ошибочной модерации наоборот начнет расти. Поэтому модераторы повышенных категорий не могут давать более 2/3 всех голосов. Т.е., если решение применяется 10-ю голосами, то проверяемый материал нужно показать минимум 3 обычным модераторам. Если в текущий момент времени в онлайн нет достаточного количества обычных модераторов, а только повышенной категории, то материал "замораживается", пока не будет просмотрен минимум 3-мя обычными модераторами.

• Подтверждение категории модератора

  Особенно в случае с социальными сетями пользователи могут в какие-то моменты своей жизни приходить туда и вести активную деятельность, а потом надолго пропадать. И если мы, как правило, со временем становимся мудрее (но не все ), то все равно остаются сложные моменты: модератор может быть в состоянии психического срыва; аккаунт пользователя может быть передан другому физическому лицу или украден и т.д. В связи с этим необходимо каждый месяц проводить "обратный" анализ деятельности модератора повышенной категории: если процент ошибочных решений превышает на 20 и более процентов средний уровень его категории, то он переводится на уровень ниже. Анализ активности на данном этапе не производится: действовать можно редко, но метко. На нее надо обращать внимание реже:

  Раз в полгода проверять активность модератора: если он за весь анализируемый период проверил материалов на 50 и более процентов ниже, чем средний показатель в его категории за данный период времени, то это может говорить о полной потере им интереса к данной деятельности. Соответственно его надо переводить в первую - самую низшую - категорию.

Такой алгоритм можно использовать во многих случаях, где необходимо делать проверку больших потоков информации на достоверность: проверка объявлений на сайтах по торговле или обмену; отбор материалов из новостной ленты; принятие решений сложной нейронной системой, состоящей из большого количества автономных юнитов и т.д."