Регистрация. Справка

1. Перед началом
2. Где зарегистрироваться
3. Рекомендации
4. Что дальше
5. Решение проблем

Для регистрации необходим Яндекс ID с привязанным и подтвержденным номером телефона. Если Яндекс ID нет, зарегистрируйте его.

Ограничение.

• Если вы уже зарегистрированы в качестве исполнителя, понадобится другой Яндекс ID.

• На один телефон можно зарегистрировать только по одному аккаунту заказчика и исполнителя в каждой версии Толоки.

Есть две версии Толоки, в каждой надо регистрироваться отдельно:

• Основная версия Толоки для заказчиков.

• Песочница. В песочнице регистрироваться необязательно, но она пригодится для тестирования сложных \n

  Проект состоит из пулов с заданиями. Настройки проекта определяют интерфейс задания, входные и выходные данные.

  \n «}}»> перед запуском. Подробнее о работе в песочнице.

• Чтобы не запутаться, и в основной версии, и в песочнице используйте один и тот же Яндекс ID для регистрации в качестве заказчика.

• После регистрации рекомендуем сразу настроить уведомления. Для этого перейдите во вкладку Профиль, а затем Уведомления.

• Используйте совместный доступ для работы, если:

  • хотите быстро переключаться с аккаунта исполнителя на аккаунт заказчика.

  • планируете совместную работу над проектами с сотрудниками вашей компании;

  • вам необходима помощь в настройке проекта.

• Узнайте, как размещать задания

Не могу завершить регистрацию как «заказчик физлицо». Не приходит смс-код.

1. Проверьте введенный номер. В нем могут быть ошибки.

2. Проверьте номер, указанный в Яндекс ID. Он должен быть указан как основной. Если в Яндекс ID указан другой номер, то смс-код отправится на него.

Также вы можете воспользоваться рекомендациями Справки Яндекс ID. Если они не помогли решить проблему, напишите в службу поддержки.

Я владелец аккаунта. Хочу сделать владельцем другую учетную запись, чтобы пользователь мог подключить свой Яндекс Диск и самостоятельно управлять финансами.

Аккаунт заводится на адрес электронной почты, указанный при регистрации. Привязать аккаунт к другой учетной записи невозможно. Подключить Яндекс Диск другой учетной записи к действующему аккаунту заказчика также не получится.

Чтобы управлять финансами и взаимодействовать с внешними сервисами, нужно входить под логином и паролем, указанными при регистрации. Если эти данные вы не можете передать, то другому пользователю необходимо завести свой аккаунт.

Этот номер телефона принадлежит другому пользователю

Если вы получили такое предупреждение, убедитесь, что вы правильно ввели номер.

Учтите, что на один номер телефона можно завести только 1 аккаунт заказчика (см. Пользовательское соглашение).

Если в Яндекс ID привязан неверный номер, измените его. Подробнее о привязке номера см. Справку Яндекс ID.

Если вы не помните ваш аккаунт в Толоке, воспользуйтесь Восстановлением доступа.

Если вы удалили ваш аккаунт в Толоке, создайте новый Яндекс ID и зарегистрируйтесь в Толоке.

Как поменять номер телефона в моем аккаунте?

Чтобы поменять номер телефона, перейдите в Яндекс ID и измените основной номер.

Примечание. Если старый номер вам недоступен, замена номера займет месяц. Подробнее про изменение номера телефона см. Справку Яндекс ID.

Как перевести аккаунт с «Заказчика» на «Исполнителя»?

Изменить тип аккаунта с «Заказчика» на «Исполнителя» невозможно.

Для выполнения заданий вам необходимо повторно зарегистрироваться в Толоке как исполнитель, но с другим логином.

Чтобы создать аккаунт исполнителя:

1. Выйдите из аккаунта заказчика.

2. Перейдите на главную страницу Толоки.

3. Нажмите кнопку Присоединиться.

4. Следуйте указаниям системы.

Примечание. Для создания новой учетной записи можно использовать тот же самый номер телефона. Пошаговое описание процесса регистрации вы можете найти на странице Регистрация и вход.

Получить первичную консультацию

Вопрос по работе в песочнице

Проблемы с настройкой проекта

Заявка на обучение краудсорсингу и работе с Толокой

Была ли статья полезна?

инструменты и правила «Яндекс.Толоки» — Яндекс Реклама на vc.ru

Проблема качества — одна из ключевых в краудсорсинге. Когда работаешь с удалёнными, незнакомыми тебе исполнителями, невозможно угадать, кто возьмёт очередное задание. Достаточно ли он внимателен? Хорошо ли изучил инструкцию? И вообще, это человек или робот? Мы в Яндексе используем краудсорсинг каждый день. Создавать и развивать наши сервисы помогают миллионы пользователей. Как нам удалось не сойти с ума, пытаясь контролировать крауд, рассказывает Иван Карпеев, старший менеджер по развитию бизнеса Яндекс.Толоки.

5395 просмотров

Иван Карпеев, старший менеджер по развитию бизнеса Яндекс.Толоки

Яндекс начал использовать краудсорсинг в 2008 году — для оценки результатов поиска и обучения поисковых алгоритмов. Подход, при котором объёмная задача делится на множество небольших подзадач, позволил нам формализовать, автоматизировать и масштабировать процессы сбора данных. Но потребовал строгой, также автоматизированной системы контроля качества, и мы стали работать над ней.

Проектов с машинным обучением в компании становилось больше. Росла потребность в данных и исполнителях, которые бы эти данные генерировали. А значит — и в инструментах контроля с гибкими настройками для разных задач. В 2014-м мы запустили собственную краудсорсинговую платформу — Толоку. В 2015–2019 годах количество проектов на ней увеличилось в девять раз — с 443 до 4055 — и продолжает расти. Многолетний опыт работы с краудом позволил нам выстроить в Толоке ступенчатую систему управления качеством.

Основное правило краудсорсинга — отдавать в крауд задания, которые не требуют специальной квалификации. Чтобы справиться с ними, исполнителям достаточно изучить инструкцию. Удалённые пользователи классифицируют тексты и фото, выделяют области на изображениях, расшифровывают короткие аудиозаписи. Например, отвечают на вопросы: «На фотографии есть домашнее животное? Это кот или собака?» Ничего сложного, но ошибки возможны из-за спешки и невнимательности.

Сейчас на платформе зарегистрировано более 8 млн исполнителей — толокеров. Они выполняют около 13 млн заданий в день и тратят порядка 1,2 млн человеко-часов в месяц. При таких объёмах контролировать процессы вручную невозможно. В Толоке мы делаем это автоматически на всех этапах разметки — от поиска исполнителей до обработки результатов.

Обучение и экзамены: тренируем исполнителей

Первая ступень контроля — отбор исполнителей. С помощью обучения и экзаменов мы отсеиваем невнимательных и оставляем тех, кто ответственно относится к задачам.

Обучение — это тест, задания с правильными ответами и подсказками.

Пример обучающего задания, в котором допущена ошибка. Исполнитель пытается отправить неверный ответ и видит подсказку

Если задача сложная и требует строгого отбора, заказчики дополняют обучение экзаменом. Это тоже комплект заданий с ответами, но уже без подсказок. В итоге к основной разметке приступает лишь тот, кто потренировался и успешно сдал экзамен.

Пример настройки доступа: к разметке приступят только исполнители, которые правильно ответили на 80% (или больше) экзаменационных вопросов

Капча и контроль действий: отстраняем читеров

Вторая ступень — правила контроля качества, которые в режиме реального времени регулируют выполнение заданий и доступ толокеров к ним.

Прежде всего системе, в которой миллионы удалённых пользователей выполняют однотипные задания, нужна защита от ботов и бездумного прокликивания. В дополнение к встроенным антифродовым технологиям мы используем правила, которые можно настроить под каждую конкретную задачу. С их помощью оцениваем поведение исполнителей и блокируем тех, кто пытается хитрить. В частности, устанавливаем лимиты на пропуск заданий, неправильный ввод капчи или слишком быстрые ответы.

Например, задача исполнителя — выделить на фотографии объекты для обучения алгоритмов компьютерного зрения. Чтобы обвести объект аккуратно, нужно делать это медленно. Правило «Быстрые ответы» ограничит скорость разметки и отстранит исполнителей, которые отправят несколько заданий подряд быстрее контрольного времени.

Пример настройки правила «Быстрые ответы» в интерфейсе Толоки: если исполнитель выполнит 3 задания из 10 быстрее, чем за 15 секунд, то потеряет доступ к разметке на 5 дней

Лимиты полезны и в опросах, и в проектах по генерации контента. С помощью правила «Выполненные задания» мы ограничиваем число задач, доступных одному пользователю. Это позволяет привлечь больше исполнителей и получить больше уникальных ответов.

Пример настройки правила «Выполненные задания»: исполнитель может отправить только одну страницу с заданиями, после чего будет заблокирован

Контрольные задания, мнение большинства, результаты проверки: выбираем лучших

Другая группа правил позволяет следить за ответами добросовестных пользователей и отбирать тех, кто лучше справляется. Например, с помощью контрольных заданий — вопросов с заранее известными правильными ответами.

Например, толокерам нужно выбрать один из нескольких вариантов ответа: «Что изображено на фотографии — легковой автомобиль, грузовик, автобус, мотоцикл, другое транспортное средство?» Вперемешку с основными мы загружаем контрольные задания — фотографии, про которые точно знаем, что на них изображено. По количеству верных ответов на эти задания проверяем исполнителей и присваиваем им навыки — оценки по шкале от 0 до 100.

Пример настройки правила «Контрольные задания»: навык (оценка) исполнителя будет равен проценту правильных ответов на эти задания

Те, кто набрал критическое число ошибок, потеряют доступ к разметке. А толокеров с высоким навыком можно поощрить повышенной оплатой.

Вместе с контрольными заданиями или вместо них можно использовать правило «Мнение большинства». Мы настраиваем выдачу одного и того же задания нескольким исполнителям, например пятерым. И назначаем правильным тот вариант ответа, который выберут трое. Остальным засчитываем ошибку.

Пример настройки правила «Мнение большинства»: навык исполнителя будет равен проценту ответов, совпавших с мнением минимум двух других толокеров

Контрольные задания и мнение большинства не работают там, где каждый исполнитель должен дать уникальный ответ: записать аудио, снять фото или сочинить текст. Заказчики или другие толокеры проверяют их вручную и отклоняют ошибки. Итоги такой проверки тоже используются для настройки доступа к заданию. С помощью правила «Результаты проверки» мы автоматически отбираем тех, кто редко ошибается в заданиях с ручной приёмкой, и выдаём задания только им.

Пример настройки правила «Результаты проверки»: система заблокирует пользователя, если больше половины его ответов окажутся отклонёнными

Работа над ошибками: просим переделать

Исполнители, которые пытаются обмануть систему или часто ошибаются, теряют доступ к разметке. Важно, чтобы ответы, которые они успели дать до блокировки, не попали в итоговый датасет.

Мы сделали так, чтобы с помощью правил контроля качества в Толоке можно было автоматически отправлять на переразметку все сомнительные результаты. И каждый отклонённый ответ по отдельности, и сразу все задания, которые успел выполнить пользователь до того, как отправился в бан.

Обработка отклонённых заданий: как только вы отклонили ответ, перекрытие (количество пользователей, выполняющих одно и то же задание) увеличивается. Это значит, что непринятое задание отправляется на доработку другому толокеру

Агрегация результатов: выбираем достоверные ответы

Третья ступень — работа с результатами разметки.

Собрав нескольких мнений, легче получить объективную картину. Мы запускаем задания с «перекрытием» — задаём один и тот же вопрос разным исполнителям. А когда все задания выполнены, чтобы не разбирать ответы вручную, запускаем агрегацию. Система сама определяет наиболее достоверный ответ — оценивает статистическую значимость всех вариантов и учитывает навыки пользователей.

Комбинируем и экспериментируем

Правила и инструменты можно и нужно сочетать. Например, вот как с помощью толокеров мы сортируем упоминания компании в социальных сетях. Одна большая задача — фильтрация сообщений — разбита на три простые: 1) оценить важность упоминания; 2) понять, о каком продукте или сервисе речь; 3) определить тональность. Все три задания предполагают выбор ответа из нескольких вариантов. Стоит использовать:

• капчу — для защиты от автоматического прокликивания;
• ограничение быстрых ответов — чтобы исполнители не спешили и внимательно читали посты и комментарии;
• контрольные задания, проверку мнением большинства, чтобы отсеять исполнителей, которые допускают много ошибок;
• агрегацию ответов, чтобы получить более точный результат.

Проектам с генерацией контента подойдёт другое сочетание. Компания ID R&D с помощью Толоки собрала датасеты из оригинальных фотографий. В подобных задачах можно настроить:

• лимит на выполненные задания, чтобы не доверять значительную их часть одному исполнителю;

• доступ по результатам проверки, чтобы не выдавать задания тем, кто ошибается;

• обработку отклонённых заданий, чтобы собрать столько данных, сколько запланировано.

Каждый проект требует индивидуального подхода. Инструменты, эффективные для решения одних задач, неэффективны для других. Если ваша компания решила внедрить краудсорсинг в бизнес-процесс и вырастить собственных экспертов по работе с краудом, можно подать заявку на корпоративное обучение. Но можно разобраться и самостоятельно. Анализируйте, ставьте себя на место исполнителя, пробуйте разные методы. И не стесняйтесь обращаться в поддержку, если что-то не получается.

Как очистить кэш браузера

В кэше вашего браузера хранятся копии веб-страниц, изображений, видео и другого контента, который вы просматривали с помощью браузера. Это помогает уменьшить количество запросов веб-сайтов, сделанных вашим браузером. Если вы зайдете на сайт, который уже существует в вашем кеше, ваш браузер моментально загрузит его с жесткого диска.

Кэш необходимо периодически очищать, чтобы освободить место на жестком диске, а также когда сайты перестают отображаться корректно — например, при использовании устаревшего дизайна сайта.

Какой браузер вы используете?

YANDEX.Browser

Google Chrome

Mozilla Firefox

Opera

Internet Explorer

Microsoft Edge

Safari

1. Нажмите следующую комбинацию ключа: CTRL + Shift + Del. 9003

2

. просмотра данных, включите только параметр Кэшированные изображения и файлы и выберите период времени, за который вы хотите удалить кэшированные данные.

2. Нажмите кнопку с пометкой Очистить данные просмотра.

1. Установите браузерное расширение Click&Clean.

2. Нажмите   → Параметры.

3. В блоке Chrome включите опции Очистить кеш и Очистить кеш приложения.

4. В блоке «Дополнительно» включите параметр «Удалять личные данные при закрытии Chrome».

5. Закройте окно настроек.

1. Нажмите следующую комбинацию клавиш: Ctrl + Shift + Del.

2. В окне «Очистить недавнюю историю» в поле «Временной диапазон для очистки» выберите период времени, за который вы хотите очистить кэшированные данные. .

3. Откройте список сведений и убедитесь, что включен только параметр «Кэш».

4. Нажмите «Очистить сейчас».

1. Нажмите и выберите Параметры.

2. На вкладке Конфиденциальность в блоке История выберите из списка Использовать пользовательские настройки для истории.

3. Включите опцию Очищать историю при закрытии Firefox.

4. Нажмите кнопку «Настройки» и убедитесь, что включена только опция «Кэш».

5. Нажмите OK.

1. Нажмите следующую комбинацию клавиш: Ctrl + Shift + Del.

2. В окне Очистить данные просмотра укажите период, за который вы хотите удалить кэшированные данные.

3. Убедитесь, что включена только опция «Кэшированные изображения и файлы», и нажмите «Очистить данные просмотра».

Какую версию браузера вы используете?

Примечание. Чтобы узнать версию вашего браузера, просто перейдите на yandex.com/internet или следуйте инструкциям ниже.

1. Нажмите Alt, чтобы вызвать меню браузера.

2. Нажмите  → Об Internet Explorer.

3. Проверьте поле Версия.

1. Нажмите следующую комбинацию клавиш: Ctrl + Shift + Del.

2. В окне «Удалить историю просмотров» включите параметр «Временные файлы Интернета и файлы веб-сайтов». Убедитесь, что все остальные параметры отключены.

3. Нажмите Удалить.

1. Нажмите  → Параметры Интернета → Общие.

2. В блоке История просмотров включите опцию Удалять историю просмотров при выходе.

3. Нажмите «Применить», затем нажмите «ОК».

1. Нажмите  → Настройки.

2. В блоке «Очистить данные просмотра» нажмите «Выбрать, что нужно очистить».

3. Включите параметр Кэшированные данные и файлы. Убедитесь, что все остальные параметры отключены.

4. Щелкните Очистить.

Выберите, какая операционная система установлена ​​на вашем компьютере:

1. В меню браузера выберите Safari → Очистить историю.

2. Укажите период времени, за который вы хотите удалить данные просмотра.

3. Нажмите «Очистить историю».

1. Нажмите  → Сбросить Safari.

2. В открывшемся меню включите только опцию Удалить все данные сайта.

3. Нажмите «Сброс».

Март | 2022 | Арс Техника

1. Имея в этом году 5 нулевых дней, Apple находится на пути к тому, чтобы достичь или превысить свой показатель 2021 года, равный 12.

   Дэн Гудин – 1 апреля 2022 г., 00:49 UTC

2. AcidRain — седьмой вайпер, связанный с российским вторжением в Украину.

   Дэн Гудин – 31 марта 2022 г. 20:19 UTC

3. Что происходит, когда старый спутник больше не используется, но все еще может вести вещание?

   Лили Хэй Ньюман, wired.com – 31 марта 2022 г. 15:56 UTC

4. Данные, опубликованные группой, предположительно принадлежат Apple, Facebook и другим компаниям.

   Дэн Гудин – 30 марта 2022 г. 20:40 UTC

5. Не все MFA созданы равными, как недавно показали сценаристы и элитные хакеры.

   Дэн Гудин – 29 марта 2022 г. 19:49 UTC

6. Данные из приложений на мобильных устройствах Apple и Google отправляются на российские серверы.

   Патрик МакГи, Financial Times – 29 марта 2022 г. 14:18 UTC

7. Несмотря на тайминг, 45-минутный угон, скорее всего, был ошибкой, а не атакой.

   Дэн Гудин – 29 марта 2022 г. 2:00 UTC

8. Незапечатанные обвинительные заключения: хакеры атаковали энергетическую инфраструктуру США почти десять лет.

   Энди Гринберг, wired.com – 27 марта 2022 г. , 9:14 UTC

9. Московская фирма

   присоединяется к Huawei и ZTE в том же списке угроз безопасности США.

   Дэн Гудин – 26 марта 2022 г., 00:38 UTC

10. Критическая уязвимость используется двумя группами, работающими на правительство Северной Кореи.

    Дэн Гудин – , 24 марта 2022 г., 21:20 UTC

11. Крупнейший взлом с начала войны в России отключил тысячи людей.

    Мэтт Берджесс, wired.com – 24 марта 2022 г. 14:20 UTC

12. SpaceX: «Единственная цель повышения цен — не отставать от растущей инфляции».

    Джон Бродкин – , 23 марта 2022 г., 16:11 UTC

Подписывайтесь на нас

• Следуйте за нами на Facebook
• Подпишитесь на нас в Твиттере
• Следуйте за нами на YouTube
• Подпишитесь на нас в Instagram

Последнее видео Ars >

Пол Саттер рассказывает нам о будущем изменения климата — и дела обстоят не очень

Пол Саттер рассказывает нам о будущем изменения климата — и дела обстоят не очень

В этом выпуске Edge of Knowledge рассказывается о нашем быстро меняющемся мире.

Читать статью полностью

Рекламное объявление

1. Если вы еще не слышали о Lapsus$, теперь слышали. Вероятно, это будет не в последний раз.

   Дэн Гудин – 22 марта 2022 г. 20:23 UTC

2. В настоящее время нет данных о планируемых атаках, но новые данные вызывают беспокойство.

   Дэн Гудин – 21 марта 2022 г. 20:35 UTC

3. Как только вы подумали, что видели все фишинговые уловки, появляется BitB.

   Дэн Гудин – 21 марта 2022 г. 18:47 UTC

4. Альянс FIDO заявляет, что нашел недостающую часть пути к будущему без паролей.

   Лили Хэй Ньюман, wired.com – 20 марта 2022 г. 10:37 UTC

5. Хакерская банда

   иногда действует в интересах России, имея специальные связи с ФСБ, Cozy Bear.

   Мэтт Берджесс, wired.com – 19 марта 2022 г. 10:45 UTC

6. Когда код с миллионами загрузок уничтожает пользовательские файлы, могут произойти плохие вещи.

   Дэн Гудин – 18 марта 2022 г. 18:31 UTC

7. Что-то особенное делает MikroTik привлекательным для самого агрессивного ботнета Интернета.

   Дэн Гудин – 17 марта 2022 г. 18:16 UTC

8. Новая плата сначала в Чили, Коста-Рике и Перу, в то время как Netflix рассматривает возможность более широкого развертывания.

   Джон Бродкин – 17 марта 2022 г. 17:59 UTC

9. Исследователи Nvidia, IBM и университета планируют сделать исходный код BaM открытым.

   Шарон Хардинг – 17 марта 2022 г. 16:49 UTC

10. Обойти привратника App Store всегда было непросто. Вот два новых способа.

    Дэн Гудин – 16 марта 2022 г. 21:20 UTC

11. Это должно было случиться. Худшая уязвимость Linux за 6 лет поразила два популярных телефона.

    Дэн Гудин – 15 марта 2022 г. 21:10 UTC

12. Топологических кубитов пока не существует, но компания убеждена, что они будут масштабироваться.

    Джон Тиммер – 15 марта 2022 г. 14:55 UTC

Рекламное объявление

1. Платежная система обмена сообщениями может стать уязвимым местом глобальной сети транзакций.

   org/Person»> Оуэн Уокер и Имани Мойзе, Financial Times – 15 марта 2022 г. 13:57 UTC

2. Требуется всего одна секунда, чтобы взломать несколько слабых ключей. Есть ли еще что-нибудь?

   Дэн Гудин – 14 марта 2022 г. 21:31 UTC

3. Несколько критических ошибок дорого обошлись России в дезинформации.

   Том Саузерн, wired.com – 12 марта 2022 г. 11:50 UTC

4. На данный момент действия двух основных интернет-конвейеров оказывают незначительное влияние.

   Дэн Гудин – 11 марта 2022 г., 23:13 UTC

5. Мужчину, прибывшего из Украины, обвиняют в совершении атаки на цепочку поставок Kaseya.

   Дэн Гудин – 10 марта 2022 г. 22:01 UTC

6. Даже если вы заблокируете сторонние файлы cookie, отслеживание отказов все равно может их установить. До нынешнего момента.

   Дэн Гудин – 9 марта 2022 г. 22:30 UTC

7. В течение 2021 года военные и специалисты США работали над предотвращением ожидаемой российской кибератаки.

   Мехул Шривастава, Мадхумита Мургия и Ханна Мерфи, FT – 9 марта 2022 г. 14:33 UTC

8. Новый метод также увеличивает продолжительность DDoS-атак до 14 часов.

   Дэн Гудин – 8 марта 2022 г. 23:15 UTC

9. Грязная труба может запутать людей, использующих Linux и его производные.

   Дэн Гудин – 8 марта 2022 г. 2:39 UTC

10. Популярное «умное» устройство следует командам собственного динамика. Что может пойти не так?

    Дэн Гудин – 6 марта 2022 г. 13:00 UTC

11. Волна кибератак, направленных на поддержку Украины, может иметь непредвиденные последствия.

    Лили Хэй Ньюман, wired.com – 5 марта 2022 г.