Не приходит письмо активации профиля?
 
1. Проверьте папку Спам
2. Воспользуйтесь этой ссылкой
3. Вероятно вы регистрируетесь на почту Mail.ru или Gmail.com или bigmir.net (в основном письма не доходят именно туда), пробуйте яндекс или другой аккаунт gmail
4. Если ничего не помогает, то идем сюда

______________________________________________________________________________________
No profile activation email coming?
 
1. Check your spam folder
2. Use this link
3. Probably you register on mail Mail.ru or Gmail.com or bigmir.net (generally letters do not reach there), try yandex or other gmail account
4. If nothing helps, go here

Советы по достижению высокого качества маркировки данных в Toloka

Этот раздел форума для тех кто еще только хочет стать заказчиком или уже является заказчиком, но не хочет регистрироваться на форуме.

Модератор: Toloka Support

Аватара пользователя
Толока.Робот
Сообщения: 52
Зарегистрирован: 08 апр 2020, 22:04
Репутация: 0

Советы по достижению высокого качества маркировки данных в Toloka

#10237

Непрочитанное сообщение Толока.Робот »

Сегодня я хотел бы поделиться с вами некоторыми советами по достижению высокого качества маркировки данных в Toloka. Существует пять различных областей, которые могут быть использованы для обеспечения этого:
  1. Инструкции. Исполнители часто не читают внимательно инструкции, поэтому не стоит ожидать, что они существенно повлияют на качество маркировки. Не прилагайте слишком много усилий к инструкциям. Делайте их короткими, не более 2-3 экранов. Намного проще и эффективнее отвечать на вопросы от толокеров в соц. сетях и форумах.
  2. Обучение. Тренировочный бассейн - это место, где исполнители действительно могут чему-то научиться. Мы рекомендуем включать неочевидные примеры в учебные пулы и разделять их на несколько небольших наборов. Помните, что мы учимся на своих ошибках, и чем больше ошибок совершает исполнитель, тем больше информации он сохранит. Разделение пула на несколько сюит помогает исполнителю научиться корректировать свою маркировку во время обучения.
  3. Экзамен. Если исполнители проходят обучение чуть лучше среднего (не устанавливайте слишком высокий фильтр, потому что люди учатся и будут совершать ошибки), вы можете предоставить им доступ к экзамену, чтобы проверить, чему они научились во время обучения. Экзамен - это пул, состоящий только из контрольных заданий. Его размер определяется только суммой денег, которую вы готовы на него потратить. Экзамены обычно состоят из 20-40 заданий, разделенных на несколько блоков.
  4. Эксперимент. Как сделать так, чтобы экзамен сдавали только отличники? И насколько они хороши? Давайте возьмем случайные задания, обозначим их сами и отправим на маркировку с перекрытием в 5 раз, чтобы посмотреть, сколько ответов исполнителей совпадает с нашими. Это будет приблизительное качество этикетки. Проанализировав несоответствия, мы можем внести изменения в предыдущие этапы, особенно в обучение. Затем мы можем провести эксперимент снова.
  5. Реабилитация. Толока - это игра на выбывание. Если качество ответов исполнителя на контрольные задания падает ниже установленного уровня, он теряет возможность доказать, что все еще хорош, и падение оказывается случайным. Чтобы дать им шанс, мы создаем реабилитационные бассейны. Технически они очень похожи на экзаменационные пулы. Однако они предназначены для людей, которые когда-то успешно сдали экзамен, но затем их навыки ухудшились. У каждого исполнителя есть ограниченное количество шансов на реабилитацию.
Обязательно внедрите их, и я могу гарантировать, что качество результатов маркировки улучшится. Если у вас есть какие-либо вопросы, не стесняйтесь спрашивать!
Today I would like to share with you some tips to achieve high data labelling quality within Toloka. There are five different areas that could be used to ensure it:
  1. Instructions. Performers often fail to read the instructions carefully, so don't expect them to significantly influence the quality of labeling. Don't put too much effort into the instructions. Make them short, no more than 2-3 screens long. It's much easier and more effective to answer questions from tolokers in social networks and forums.
  2. Training. A training pool is a place where performers can actually learn something. We recommend including non-obvious examples in training pools and dividing them into several small suites. Remember that we learn from our mistakes, and the more mistakes a performer makes, the more information they will retain. Dividing the pool into several suites helps the performer learn how to adjust their labeling during training.
  3. Exam. If performers pass training slightly better than average (don't set the filter too high because people are learning and will make mistakes), you can grant them access to an exam to test what they learned during training. An exam is a pool that consists only of control tasks. Its size is determined only by the amount of money you're willing to spend on it. Exams usually consist of 20-40 tasks divided into several suites.
  4. Experiment. How can we make sure that only good performers pass the exam? And how good are they? Let's take random tasks, label them ourselves, and send them for labeling with an overlap of 5 to see how many of the performers' responses match ours. This will be the approximate labeling quality. By analyzing the discrepancies, we can make changes to the previous stages, especially training. Then we can conduct the experiment again.
  5. Rehabilitation. Toloka is an elimination game. If the quality of the performer's responses to control tasks falls below the set level, they lose the opportunity to prove they are still good and the drop is accidental. To give them a chance, we create rehabilitation pools. Technically, they are very similar to exam pools. However, these are designed for people who once passed the exam successfully, but then their skills deteriorated. Each performer has a limited number of chances for rehabilitation.
Make sure you implement these, and I can guarantee the quality of the labeling results will improve. If you have any questions, feel free to ask!



Навигатор


Быстрый ответ


В целях предотвращения автоматической отправки форм спам-ботами, решите предлагаемое задание.
Изменение регистра текста:  Транслит: 
Смайлики
:) :D :ROFL: :sarc: ;) !ya !zad !tol :( :scratches :secret :nono: :rtfm :P blink :panic: O_O o_O 8) :oops: :twisted: :roll: :%) :no: :bad: :sorry: :o :cry: :Search: :good: :O: :evil: :Rose: :dash: :-P ¯\_(ツ)_/¯ :Bravo: :unknown: :OO: :Yahoo!: :fool: :beer: see_stars :friends: :dance: :sos: :cens:
   
Ответить

Вернуться в «Все вопросы заказчиков (доступно без регистрации)»

Зарегистрируйтесь или войдите в свой аккаунт чтобы иметь доступ к настройкам.