Идеальный арбитраж?

В предыдущем материале я упоминал про "общественную" модерацию загружаемых в соц. сеть odnoklassniki.ru фотографий. В частности указал следующее:

Цитата:
...любой из пользователей может стать "модератором"; загружаемые фотографии предоставляются на оценку этим модераторам; модераторы проставляют по каждой фотографии отметки "годится" или "не годится" с указанием одной из стандартных причин в последнем случае; при наборе с десяток голосов система теперь уже автоматически принимает решение оставить фотографию на сайте или убрать. Но! Пока не наберется необходимый минимум голосов фотография будет доступна всем! Мотивация модераторов построена просто - если твое мнение совпало с мнением большинства, то получаешь +5 баллов, не совпало - минус 10 баллов и т.д. Набранные таким образом баллы можно использовать на платные для всех остальных услуги. Просто и эффективно, хотя иногда и крайне спорно - в правилах запрещено размещать фотографии, где дети без родителей, но чаще всего модераторы пропускают такие фотографии. Может потому что там в основном женщины?...

Недавно заглянул в их приложение по модерации снова и увидел, что правила модерации изменились. Точнее упростились:

В модерации участвуют только личные фотографии пользователей. Мы рекомендуем загружать
такие фото, по которым ваши друзья смогут вас узнать. Просим не загружать изображения,
на которых:
• изображён рисунок, предмет или животное;
• известная персона;
• присутствует эротика, оскорбление;
• есть ссылка на другой сайт.

Они не стоят на месте - ищут более эффективные пути. Smiling Т.е. теперь нет запрета размещать фотографии детей без родителей. Групповых фотографий без указания участников и т.д. Так же, в дополнение к этому, увеличили диапазон начисления балов в случае правильного и ошибочного модерирования. Сейчас балы начисляются так:

Таким образом усилили стимулирование модераторов принимать правильные решения. Но мой спринт-тест на базе модерации почти тысячи фотографий привел к неожиданным результатам:

  • пропускается любое фото какой-либо достопримечательности или просто местности, если там есть только маленький силуэт какого-то человека в углу кадра;

  • пропускаются спины людей в футболках или куртках, где суть фотографии в рисунке на данной одежде;
  • фотографии всемирно известных персон пропускаются "50/50"; откровенные вырезки из реклам, фильмов, боксерских поединков и других видеоматериалов скорее пропускаются, чем нет;
  • два раза проходили фотографии Д. Медведева и В. Путина Smiling)) ;
  • Даже "демотиватор" с групповой фотографией бригады из одноименного сериала пропустили Smiling))

То есть нет главного: критичности восприятия модераторами проверяемого материала. Главное - гонка за балами, которых надо много даже на такие простейшие "покупки", как "закрытый профиль"...

А что делать, если Интернет проникает все глубже и глубже в народные массы и средний уровень пользователя становится все ниже? Может все идет закономерным путем?

Предлагаю следующий алгоритм построения арбитража на примере фотографий, загружаемых в соц. сети:

  • Категорирование модераторов

    Да - их надо категорировать, что бы повышать "вес" голосов наиболее активных. Например, раз в неделю проверять активность обычных модераторов и давать повышенную категорию тем, кто показал среднесуточную активность на 10 и более процентов больше показателя остальных при на 10 и более процентов меньшем показателе ошибок опять же относительно остальных.

    При больших потоках проверяемой информации и достаточном количестве модераторов можно вводить и третью и так далее категории, но правила перехода в следующую категорию должны быть неизменными и опираться на показатели текущей категории модератора.

  • Стимулирование модераторов к переходу к повышенной категории.

    Тут все просто - если сейчас за правильный ответ начисляют 2 балла, то модератору второй категории давать 3 балла, третьей - 4 балла и т.д. Увеличение штрафных баллов за ошибку увеличивать не стоит - это может испугать модераторов и, соответственно, вызвать их отток.

    Естественно, что все это должно быть озвучено в открытых правилах модерации и модератор должен уведомляться о присвоении ему очередной категории.

  • Важность голоса модератора повышенной категории

    Модератор второй категории голосует за двоих, третьей - за троих и т.д.

  • Исключение "сговора" модераторов повышенной категории

    Недопустимо, когда решение применяется двумя модераторами высокой категории вместо десяти обычных - в таком случае вероятность ошибочной модерации наоборот начнет расти. Поэтому модераторы повышенных категорий не могут давать более 2/3 всех голосов. Т.е., если решение применяется 10-ю голосами, то проверяемый материал нужно показать минимум 3 обычным модераторам. Если в текущий момент времени в онлайн нет достаточного количества обычных модераторов, а только повышенной категории, то материал "замораживается", пока не будет просмотрен минимум 3-мя обычными модераторами.

  • Подтверждение категории модератора

    Особенно в случае с социальными сетями пользователи могут в какие-то моменты своей жизни приходить туда и вести активную деятельность, а потом надолго пропадать. И если мы, как правило, со временем становимся мудрее (но не все Smiling), то все равно остаются сложные моменты: модератор может быть в состоянии психического срыва; аккаунт пользователя может быть передан другому физическому лицу или украден и т.д. В связи с этим необходимо каждый месяц проводить "обратный" анализ деятельности модератора повышенной категории: если процент ошибочных решений превышает на 20 и более процентов средний уровень его категории, то он переводится на уровень ниже. Анализ активности на данном этапе не производится: действовать можно редко, но метко. На нее надо обращать внимание реже:

    Раз в полгода проверять активность модератора: если он за весь анализируемый период проверил материалов на 50 и более процентов ниже, чем средний показатель в его категории за данный период времени, то это может говорить о полной потере им интереса к данной деятельности. Соответственно его надо переводить в первую - самую низшую - категорию.

Такой алгоритм можно использовать во многих случаях, где необходимо делать проверку больших потоков информации на достоверность: проверка объявлений на сайтах по торговле или обмену; отбор материалов из новостной ленты; принятие решений сложной нейронной системой, состоящей из большого количества автономных юнитов и т.д.


Отправить новый комментарий

Содержимое этого поля хранится скрыто и не будет показываться публично.
  • Доступны HTML теги: <a> <em> <strong> <cite> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Строки и параграфы переносятся автоматически.
  • You can use BBCode tags in the text.
  • Адреса страниц и электронной почты автоматически преобразуются в ссылки.

Больше информации о возможностях форматирования

CAPTCHA
Этот вопрос задается для проверки того, не является ли обратная сторона программой-роботом (для предотвращения попыток автоматической регистрации).