Вот уже полтора года в Яндексе для совершенствования поисковых алгоритмов и технологий машинного интеллекта применяется платформа Толока . Может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческих оценках.

Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.

Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.

Задачи, о которых мы говорили выше, в Яндексе традиционно решаются с помощью обученных специалистов - асессоров. Асессоры смотрят, насколько результаты поиска соответствуют запросу, находят среди найденных веб-страниц спам, классифицируют его, решают схожие задачи и в других сервисах.

Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее растет потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не замусорена ли страница вредоносной рекламой? Не содержит ли страница контент для взрослых? А если содержит, то подразумевает ли запрос пользователя, что он искал именно такой контент? Для того чтобы автоматически учитывать все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой машины. А так как все в интернете постоянно меняется, то и обучающие наборы нужно постоянно обновлять и поддерживать в актуальном состоянии. В общем, только для задач поиска потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.

Привлекать все больше и больше асессоров в каждой из стран присутствия Яндекса организационно непросто. При этом далеко не все новые задачи требуют специального обучения. Со многими заданиями может справиться практически любой человек, а часто даже более полезно собрать мнения обычных пользователей, не натренированных профессионально оценивать ранжирование. Подобное разделение задач привело нас к выводу, что в дополнение к асессорам нам нужен еще один более гибкий и масштабируемый источник получения человеческих оценок.

Краудсорсинг

Ближайшим аналогом того, что нам на самом деле было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с помощью них, как правило, собирают простые человеческие оценки академические исследователи в области Machine Learning и крупные поисковые компании, например, Bing.

Вот только все эти платформы не работали в интересующих нас странах. К тому же мы уже успели накопить определенный опыт для того, чтобы решить задачу собственными силами.

Толока

Кстати, что это за слово такое «Толока»? Над названием думали довольно долго, искали международные варианты, но в итоге вышло совсем наоборот. Идея назвать сервис «Толокой» родилась в нашем минском офисе, в котором, кстати, и сосредоточено ядро разработки платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу на общий результат, а это отлично сочетается с краудсорсингом. Хотя выбор названия – это далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.

Какими могут быть задания? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить картинки и попросить их классифицировать, другому - отобразить аудио-плеер и попросить написать, что слышно на записи, третьему - показать карту с расположением пользователя.

Несколько примеров

Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html/css/js - для интерфейса, заказчик может создать практически любое задание. А для тех задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.

У гибкости в настройках есть и обратная сторона – высокий порог вхождения. Далеко не каждый человек умеет верстать интерфейс. Эту проблему мы решаем с помощью готовых шаблонов, общее количество которых планируем увеличить.

Как платить толокерам? Успешный вывод кровно заработанных - один из главных мотиваторов для человека возвращаться и продолжать выполнять задания. Сложная и долгая процедура вывода может похоронить платформу. Поэтому мы выстроили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньгах. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас - пару дней, а то и минут. При этом и толокеры, и заказчики освобождаются от бумажной волокиты.

Как обеспечить качество выполнения? Этот вопрос - главная головная боль любой краудсорсинговой платформы. В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть - ленивые, недобросовестные и при этом умеющие писать скрипты. Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей. У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других. Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.

Кстати, а что мы знаем о самих толокерах?

Толокеры

Мне на кошелек уже упало 790,41 рублей. Если что, то в регионе, где я живу, зарплата, к примеру, учителя-молодого специалиста, составляет 2800 рублей. Обратите внимание, что это все набито между делом, в свободное время, в перерывах между выполнением основной работы, когда хотелось отдохнуть и немного переключиться.

И вообще не чувствуешь себя тупым кликающим роботом. Есть какое-то ощущение полезности своей работы.

Толока в Яндексе

В момент открытия мы стартовали с тремя основными типами заданий, и интересно, что именно они по-прежнему остаются самыми любимыми заданиями для большинства толокеров: оценка качества поиска картинок, разметка контента для взрослых и попарное сравнение объектов (например, страниц в разном дизайне).

Использование краудсорсинга для сбора оценок в этих проектах позволило командам существенно сократить время ожидания оценок для построения метрик. Где асессорам требуется несколько дней на оценку набора объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки удалось заметно увеличить размеры обучающих наборов и повысить качество алгоритмов классификации. К примеру, после перехода на Толоку качество определения контента для взрослых выросло на 30%.

Заказчиками оценок в Толоке выступают десятки разных команд Яндекса. С помощью этого сервиса собираются данные для технологий компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, пополняется база справочника организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно для того, чтобы обеспечить всех толокеров заданиями. Нужно двигаться дальше.

Первые внешние заказчики

В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с толокерами.

1. Краудсорсинг - очень мощный инструмент, он отлично подходит, когда речь идет о больших объемах и необходимости масштабировать и стандартизировать процессы. Но если у вас разовая задача, которая решается одним человеком за пару часов, то именно так ее и проще решить.
2. Многократно проверено, что любую сложную задачу можно и нужно декомпозировать на набор мелких независимых подзадач. Это позволит существенно повысить качество итоговых данных без увеличения стоимости общей разметки.
3. Большинство заданий в краудсорсинге запускаются с перекрытием (когда несколько исполнителей делают одно и то же задание). Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
4. Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок. Зачастую завышение ставки может даже навредить качеству, так как толокеры в погоне за деньгами перестают уделять заданиям достаточное внимание.
5. А вот главное, от чего реально зависит качество оценок – это от организации задания. Чем понятнее написана инструкция и спроектирован интерфейс, тем выше качество результата. И не забываем о проверочных заданиях («ханипоты»), которые помогут выявить недобросовестных толокеров.
6. Большинства проектов в Толоке не требуют от исполнителя специальных знаний. Тем не менее иногда приходится «тренировать» толокеров выполнять задание именно так, как нужно заказчику. В этом случае следует создавать специальные обучающие пулы и использовать дополнительные настройки (например, допускать до задания только тех толокеров, которые успешно прошли тренировку).
7. Правильное таргетирование заданий на определенных исполнителей часто помогает заметно улучшить результаты разметки. Например, если для разметки каталога обуви вам требуется оценить пантолеты, то это задание лучше сразу отдать толокерам-девушкам.
8. Далеко не все задачи можно отдать на откуп мудрости толпы. Всегда найдется задание, которое требует профессиональной подготовки и предельной внимательности. Но практически всегда в этих случаях с помощью предварительной фильтрации краудом можно упростить жизнь профессиональным экспертам, заметно снизить стоимость получения оценок и увеличить пропускную способность вашего рабочего процесса.

Были бы благодарны сообществу Хабрахабра за отзывы о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить максимально качественный результат без необходимости писать код, а каждый ответственный исполнитель – поощрение и достаточное количество заданий. И ваши отзывы помогут нашей команде в этой работе. Спасибо!

Яндекс Толока – довольно молодой проект для заработка в сети интернет, позволяющий присоединиться абсолютно любому пользователю. Сервис предлагает заработать за счёт выполнения несложных заданий, напрямую связанных с поисковой системой Яндекс. А это значит, что работая в Яндекс Толока, вы не только получаете дополнительный заработок, но и помогаете улучшить крупнейшую российскую систему поиска в интернете. Адрес проекта - http://toloka.yandex.ru

Как уже говорилось ранее – присоединиться к проекту может абсолютно любой пользователь, имеющий на руках зарегистрированный почтовый ящик от Яндекс. Регистрация в самой Толоке не подразумевает никаких сложных действий и требует лишь заполнения информации о вашем расположении и образовании. Отдельно хочется сказать о галочке соглашения на выполнение заданий, содержащих контент для взрослых. Если вам 18 и более лет, рекомендуем оставить отметку на данном пункте, поскольку значительная часть заданий приходится именно на эту категорию. Помимо этого, здесь же присутствует пункт о знаниях языков, где так же стоит отметить все варианты, с которыми вам будет удобно работать.

Виды заданий Яндекс Толока.

Сразу после прохождения регистрации вам доступны начальные задания для выполнения. В качестве работодателя выступают функциональные подразделения, каждое из которых предоставляет задания разного характера исполнения. Яндекс Толока насчитывает большое количество разнообразнейших заданий, перечислять которых можно очень долго, поэтому мы перечислим их основные группы.

1. Поиск информации.
   Наибольшую долю в общей массе заданий имеет именно этот тип, подразумевающий поиск обозначенной текстовой информации на просторах интернета. Это может быть как простая информация, отвечающая на поисковый запрос, так и разного рода контакты организаций, содержащихся в каталоге Яндекс.
2. Редактирование и оценка информации.
   Вторым по счёту типом заданий является редактирование данных. Целью данных заданий является оценка соответствия данных. В качестве примера можно упомянуть задание по оценке релевантности информации и поискового запроса, в ходе которого вы должны проанализировать данные и сделать вывод о том, подходит ли указанная информация в качестве ответа на указанный запрос системы.
3. Работа с медиафайлами.
   Не менее популярным типом заданий Яндекс Толока является работа с картинками, видео и аудио. В ходе этих заданий вы должны провести аналитическую работу, направленную на изучение предоставленных файлов и вынесение решения, ответа на поставленный вопрос. Наиболее яркий пример – оценка релевантности скриншота страницы и поискового запроса. В ходе этого задания вы должны определить по снимку интернет страницы, насколько точно она описывает поисковый запрос Яндекс.

Оплата заданий Яндекс Толока.

Важным фактором, влияющим на выполнение заданий в проекте Толока, является оплата, которая предоставляется в долларах США. Стоимость заданий на сервисе имеет довольно сильный разброс – от 1 до 40 центов. Устанавливать точные рамки заработка в день на проекте Яндекс Толока не очень логично, так как заработок напрямую зависит от наличия активных заданий в системе. Так, можно заработать и 6 долларов в день, а можно и вовсе закончить на 50 центах за неимением активных заданий. В среднем же, заработок пользователя в Яндекс Толока составляет приблизительно 45 - 55 долларов месяц, что вполне не плохо для дополнительного заработка. Выплаты с проекта осуществляются на электронные кошельки Яндекс Деньги и Pay Pal, для пользователей из Украины предусмотрен так же вывод денег на карту ПриватБанка.

Система оценки выполнения заданий Яндекс Толока.

Логично предположить, что такой сервис должен иметь в наличии оценку исполнителей – специальную рейтинговую систему, положение в которой определяется качеством исполнения заданий. Таким образом, все выполненные задания проходят проверку на качество, в зависимости от которой пользователь получает очки рейтинга. Этот рейтинг формируется из совокупных оценок выполнения разных типов заданий Яндекс Толока, поэтому в случае неудачного выполнения тех или иных видов заказов, пользователь может потерять доступ к подобным заданиям в дальнейшем. Работая в Толоке важно отдавать отчёт о необходимости добросовестного исполнения заказов, так как в случае халтуры можно запросто лишиться возможности продолжения заработка в проекте.

Плюсы и минусы Яндекс Толока.

Несмотря на всю свою привлекательность с точки зрения получения дополнительного дохода, сервис Яндекс Толока имеет ряд недостатков и плюсов.

Плюсы:

1. Уникальный проект, не имеющий аналогов;
2. Возможность помочь в развитии и улучшении поисковой системы Яндекс;
3. Большое количество разнообразных заданий;
4. Возможность работы через мобильное приложение;
5. Честная система оплаты заданий.

Минусы:

1. Не всегда имеются активные задания для выполнения;
2. Система вывода денежных средств имеет малое количество способов, а кошелёк системы Яндекс Деньги должен обязательно иметь статус идентифицированного пользователя.

Выводы о системе заработка Яндекс Толока.

Подводя итоги, можно с уверенностью сказать, что проект Яндекс Толока стал достойным способом заработка, позволяющим получать доход абсолютно любому пользователю интернета. Продуманная система оценки выполнения заданий Яндекс Толока позволяет пользователю делать акцент на наиболее привлекательные типы заказов, ограничивая себя от заданий второстепенного характера. Простота и удобство работы в проекте позволяет с лёгкостью зарабатывать в свободное время, а наличие фирменного мобильного приложения расширяет границы пользования даже вдали от компьютера!

Доброго времени суток!

Яндекс Толока – выражение, которое может быть не очень знакомо многим пользователям интернета.

Что это такое и как сегодня на этом сервисе можно зарабатывать деньги?

Сейчас я постараюсь рассказать вам об этом.

Сервис Яндекс Толока помогает своим пользователям сделать лучше поисковую выдачу. Поэтому получается, что любой пользователь будет делать хорошее дело.

В чем это заключается, спросите вы? Дело в том, что вам понадобится пересматривать изображения, читать информацию, тем самым проверяя ее на «взрослость» и соответствие определенных параметров. Оплата за такие задания достаточно неплохая: за одну выполненную работу можно получить примерно 30 американских центов.

Яндекс толока - как заработать?

Чтобы начать работу на данном сервисе, человек должен быть совершеннолетним.

Яндекс Толока создала компания Яндекс несколько лет назад. Любой совершеннолетний пользователь интернета сможет заработать деньги на этом сервисе. Цель проекта в том, чтобы с помощью человеческой силы (не роботов) улучшить поисковую систему Яндекса.

Что нужно делать?

Те, кто хочет здесь работать, должны делать следующее:

• очищать поисковую выдачу от тех видео, которые не проигрываются;
• удалять порнографические картинки;
• проверять тексты на соответствие заголовкам;
• находить информацию об адресах и контактах, также решать вопросы по поводу сайтов;
• определять, нет ли изобилия рекламы на страницах.

Для мобильной версии Яндекс Толока существуют отдельные задания, которые на обычном компьютере или ноутбуке не поддерживаются.

Не стоит переживать о том, что вам может быть тяжело с этим справиться. Дело в том, что каждое задание имеет подробную инструкцию, в которой есть информация о том, как правильно или лучше выполнять заказ. Кроме этого, перед тем, как приступать непосредственно к заданиям, организаторы проекта дают вам пробный заказ. Хочу сразу вам сообщить, что не нужно бездумно отвечать на вопросы, так как ваш ID может быть заблокирован для подобных заданий.

Регистрация на русском - как зарегистрироваться?

Чтоб начать работу на этом сервисе, каждому пользователю нужно иметь почтовый ящик на Яндексе и пройти простую процедуру регистрации.

Если в любом поисковике ввести запрос на Яндекс Толоку, то можно почитать информацию о проекте на официальном сайте. Если вы согласны с условиями, тогда нужно нажать кнопку присоединиться на желтом фоне и заполнить информацию о себе. Стоит отметить, что основная часть заданий базируется на отборе контента для взрослых.

Отзывы и сколько можно заработать?

Заработать на Яндекс Толока вполне реально. В зависимости от сложности задания, на него дают время в пределах от 2 минут до полтора часа. Если так сложилось, что вы не успели выполнить задание – его не оплатят.

Каждое задание выполняют с определенной последовательностью шагов:

выбор задания – чтение инструкции – выполнение задания – получение заработанных денег.

Конечно, первое время на выполнение заданий у вас уйдет много времени, ведь вам нужно будет читать инструкции и следить за тем, чтобы не ошибиться. После изучения всех правил и требований, я вам гарантирую, ваша работа пойдет гораздо быстрее, следовательно, и увеличиться заработок.

Минимальная стоимость задания будет составлять 10 центов, а максимальная – 60. По прохождению времени, вы научитесь более качественно работать, а следовательно и зарабатывать. Говорят, что впредь можно будет выполнять задания, стоимостью 1 доллар.

Если говорить о заработке в день, то здесь нет определенной суммы, так как иногда можно заработать и 6 долларов, а в другой день еле найти задание на 50 центов.

Поэтому, ищите информацию, знакомьтесь с ею и зарабатывайте , не выходя из дома.

Я желаю Вам успеха! Зарабатывайте!

В современном мире крупные интернет-компании всё чаще прибегают к помощи пользователей глобальной сети для решения масштабных задач. Развитые системы взаимодействия между пользователями позволили сегодня создать большое количество так называемых краудсорсинговых платформ. Всё большее количество IT-организаций предлагают интернет-комьюнити заработать деньги удалённым способом за счёт участия в подобных платформах. Говоря простыми словами, краудсорсинговые организовываются компаниями с целью выполнения определённого ряда задач за счёт привлечения сторонних работников из глобальной сети. Таким образом, администрация краудсорсингового проекта получает выгодные условия выполнения работы, выраженные в снижении затрат на оплату труда персонала. В то же время исполнители проекта, в роли которых выступают свободные интернет-пользователи, получают отличную возможность заработать реальные деньги не отходя от домашнего компьютера. Такую возможность в 2017 году представили и в Яндексе. Для многих опытных пользователей участие в подобных платформах стало оптимальным вариантом заработка в интернете.

Оплачиваемые задания

2016 год стал весьма успешным для области краудсорсинга, ведь именно на это время пришлось появление множества платформ от именитых разработчиков. Разумеется, такой активный рост данной сферы не мог не повлиять на её популярность. Сегодня большинство краудсорсинговых проектов можно сравнивать с площадками оплачиваемых заданий. Среди всех способов заработка в интернете именно данное направление наиболее лучшим образом описывает принципы работы платформ краудсорсинга. Пожалуй, единственным значимым отличием в данном случае является больший объём денежных вознаграждений в краудсорсинговых проектах, ведь в роли заказчиков здесь выступают, как правило, функциональные подразделения команды разработчиков. Именно этот факт и обеспечил столь высокую планку популярности данного направления заработка в интернете.

Краудсорсинговая платформа на русском

Краудсорсинговая платформа Яндекс.Толока
Большую популярность среди интернет-комьюнити обрела краудсорсинговая платформа 2017 года от компании Яндекс. Ключевыми факторами столь ошеломительного успеха стали открытость и прозрачность системы, благодаря которым принять участие в работе Толока мог абсолютно каждый пользователь глобальной сети. Вся работа новой платформы от компании Яндекс построена вокруг принципов функционирования одноимённой поисковой машины. Если говорить простыми словами, то краудсорсинговая платформа от Яндекса организована с целью совершенствования рабочих принципов поисковой системы за счёт привлечения сторонних сил из глобальной сети.

Простая регистрация

Новая платформа, именуемая как Яндекс.Толока, имеет очень простую регистрацию и предлагает зарегистрированным участникам заработок на выполнении заданий, связанных с тематикой работы поисковых систем. Многих начинающих исполнителей такая тематика, разумеется, отпугивает, однако для участия никаких специальных навыков новая платформа не требует. Доступность и открытость краудсорсинговой платформы Яндекс.Толока обеспечиваются за счёт наличия в системе грамотно организованного алгоритма обучения, в соответствии с которым каждый пользователь проходит ряд вводных курсов по выполнению разнообразных типов заданий. Говоря о типах доступных задач, стоит заметить тот факт, что их вариативность расширяется с каждым днём. На старте запуска работы новой платформы от Яндекс пользователям было доступно всего три варианта работы, а уже сегодня классификация заданий насчитывает сотни различных типов.

За длительный период развития платформы Яндекс.Толока было введено большое количество новых задач, объединить которые можно в четыре целевые направления:
1) обработка заданной информации при помощи мобильных устройств;
2) поиск информации по заданным данным;
3) сортировка информации по заданным данным;
4) сравнение и отсеивание информации по заданным данным.
Заработок на заданиях в краудсорсинговом проекте от Яндекса характеризуется высоким уровнем оплаты. Так, заработать на представленных здесь заданиях можно от 0,2$ до 0,6$ в случае использования стационарного компьютера. При помощи же мобильных устройств можно заработать деньги куда более весомые – размер оплаты в Толока за выполнение мобильных заданий может достигать 1$.

Важным фактором успеха платформы Яндекс.Толока можно считать систему контроля работы пользователей. В качестве данной системы здесь выступает рейтинговый механизм, обеспечивающий регулярную оценку работы исполнителей. В соответствии с действующей системой рейтинговых показателей происходит ежедневное распределение заданий платформы. Таким образом, постоянный доступ к большому количеству работы получают исполнители с наивысшими показателями рейтинга. Толока предусмотривает три основных показателя рейтинга:
1) абсолютный уровень;
2) относительный уровень;
3) уровень навыка.
Говорить о необходимости поддержания всех видов рейтинга на высоком уровне вряд ли стоит, ведь далеко не каждый из них участвует в расчётных операциях по распределению заданий. К тому же заработок на заданиях, в большинстве случаев, характеризуется возможностью выбора индивидуального направления каждым зарегистрированным пользователем. В Яндекс.Толока такая возможность также присутствует, а на вероятность получения конкретного типа заданий влияет показатель уровня навыка, отображающий степень владения информацией. Таким образом, можно сделать вывод о том, что для регулярного получения определённых типов работ пользователю необходимо поддерживать лишь соответствующие уровни навыков. Для оценки результатов работ пользователей, Яндекс предоставляет доступ к разделу рейтинговой статистики, на страницах которой можно проследить динамику изменения значений по каждому показателю рейтинговой системы Яндекс.Толока.

Все заработанные средства пользователи платформы могут вывести в любой момент благодаря обширной системе вывода финансов. Действующая версия сайта предлагает вывод пользовательских накоплений на кошельки Яндекс.Деньги, PayPal и Skrill. Разумеется, условия длительности проведения операции и размера комиссионных сборов зависят от конкретного выбора платёжной системы.

Для пользователей из Украины и России

Заработок на выполнении заданий в Яндексе стал весьма популярным направлением прибыльной деятельности благодаря появлению в последние годы разнообразных краудсорсинговых платформ. Наиболее популярным проектом такого типа оказалась платформа Яндекс.Толока, осуществляющая свою деятельность с начала 2016 года. За свой непродолжительный период работы новая платформа от компании Яндекс собрала большое количество исполнителей из России и Украины, а также из других стран ближнего зарубежья, ежедневно выполняющих работы по совершенствованию механизмов поисковой машины. Заработок в интернете с Яндекс.Толока можно охарактеризовать как прибыльный и эффективный вариант получения дополнительной прибыли, не требующий от исполнителя специальной подготовки