Amazon Mechanical Turk

Облачные сервисы
Amazon Mechanical Turk
Amazon не нужно представлять никому, кто имеет хотя бы приблизительное знакомство с облачными системами. Amazon EC2, Amazon AWS, Amazon S3 – все эти названия хорошо знакомы каждому, кому приходилось иметь дело с облачными вычислениями. Amazon первым принял парадигму облачных вычислений и расширил ее до официальной политики компании. Сейчас Amazon является флагманом этого направления, единолично занимая около 60% рынка. Одновременно компания расширяется в другие направления, предоставляя клиентами все новые типы услуг. Одна из них, сравнительно, малоизвестная широкому кругу обывателей – Amazon Mechanical Turk, или, как его позиционирует сам Amazon, «искусственный ИИ» или «человеческое облако». Звучит довольно путанно, и тем не менее это один из наиболее перспективных и малоизвестных проектов Amazon.

«Механический Турок» – название поддельного шахматного автомата, сконструированного в конце XVIII столетия, который существовал с 1770 до 1854 года и на протяжении своей долгой «карьеры» успевшего обыграть множество известных людей. Известно, что сам автомат был фальшивкой – массивный корпус и система зеркал скрывали место, в котором прятался шахматист, который и вел партию. Тем не менее, автомат был чрезвычайно сложным и утонченным прибором.

Название, которое Amazon выбрал для своего проекта необычайно хорошо ему подходит, хорошо отражая суть – сервис, который позволяет клиентам выполнять сложные, трудоемкие операции автоматизировано для них, в то время как операции на самом деле производятся не машиной, а человеческими операторами.

Именно в этом и заключается суть Mechanical Turk – это сервис, который позволяет эффективно выполнять трудоемкие и одновременно плохо алгоритмизируемые задачи с применением легко масштабируемых в широких пределах человеческих ресурсов. Такими задачами являются, в частности, ранжирование информации по человеческим критериям, транскрибирование подкастов, копирайтинг, постинг комментариев в блоге, «лайков» на Facebook и так далее.

Впервые сервис Mechanical Turk был открыт для публики еще в 2005 году, но тогда он использовался в основном внутренними структурами Amazon. Он использовался для выполнения тех задач, которые невозможно было автоматизировать для выполнения компьютерами – например, удаления дубликатов в цифровом каталоге продукции. Первые полтора года сервис использовался почти исключительно самим Amazon, из-за чего вскоре число задач, предлагаемых для выполнения – так называемых HIT (Human Intelligence Tasks, задачи, требующие человеческого интеллекта) сильно упало – сервис практически остановился. Однако он начал восстанавливаться в 2007 году, когда сервисом начали пользоваться сторонние клиенты. Одним из первых была компания CastingWords, предлагающая услуги транскрипции подкастов и нашедшая на Mechanical Turk подходящую ей рабочую силу – взаимозаменяемую, недорогую и легко управляемую.

Впоследствии сервис быстро рос. В марте 2007 им пользовались больше 100000 работников из 100 стран, а к январю 2011 года это число выросло до 500000 и 190 стран соответственно.

Впрочем, анализы показывают что несмотря на формальную интернациональность сервиса, основная масса пользователей (работников) все равно происходит из двух стран – США и Индии. Это объясняется тем, что только в этих двух странах работники могут получать денежные средства от Amazon напрямую, на банковский счет. Во всех остальных странах оплата доступна только в виде подарочных сертификатов Amazon, позволяющих что-нибудь приобрести в магазине что сильно ограничивает круг работников. Работодатели же могут быть только из США, и 10% оплаты любого заказа отправляется Amazon.

Для чего вообще может понадобиться такой сервис? Выделяется несколько основных паттернов работы, которая предлагается «туркам»:

Чаще всего встречается работа, связанная с транскрибированием подкастов, установкой тегов на изображения, сортировке их по рейтингам, и так далее. То есть работа, которая требует навыков, которые еще недостаточно автоматизированы (транскрибирование, которое опирается на распознавание речи, все еще достаточно несовершенно в машинном варианте). Другой вариант – оперирование эстетическими понятиями (такими как сортировка изображений или других объектов по привлекательности), которые недоступны для понимания автоматами. Еще есть работа с социальными сетями, где использование автоматов запрещено правилами пользования (хотя и действия, которые являются целью заказов тоже, к целом, находятся в серой зоне). Вознаграждения за такие задания может составлять от 10 центов до 10 долларов.

Научные исследования и опросы. Ученые в США еще в 2010 году начали исследовать возможности использования Mechanical Turk и его контингента для проведения социологических исследований. В целом сотрудники Turk хотя и не идеально отражают население США, но и те так уж и сильно отличаются. Лучше всего они подходят для проведения исследований, которые касаются случайной выборки респондентов, например, интернет-пользователей. При этом затраты на проведение опросов с помощью MTurk значительно – вполовину – ниже чем при проведении их традиционными средствами.

Поиск пропавших людей. Зачастую при поиске пропавших персон, а также при необходимости обнаружить, например, место аварии, авиакатастрофы и т.д. используются спутниковые снимки, однако недостаточно просто сделать снимок – необходимо еще и найти на нем требуемый объект. По сути, задача является подтипом задачи распознавания изображений, однако применяется достаточно редко так как за всего два раза когда краудсорсинговое прочесывание фотографий применялось в поисково-спасательных операциях (при поиске Стива Фоссета и ранее – Джима Грея), оба раза результатов не было, хотя и не по вине «Турков» – область поиска была слишком ограниченной. Скорее всего аналогичным способом Mechanical Turk можено применять и в научных проектах, например астрономических, где тоже необходимо производить визуальный поиск по изображениям, но пока что их запросы удовлетворяются добровольцами.

Искусство. Некоторые исследователи пользовались услугами «Турков» для создания экспериментальных художественных произведений, требующих взаимодействия большого числа людей. Так, работы «The Sheep Market» и «Ten Thousand Cents» созданы с помощью сервиса. Они представляют собой коллажи огромного количества отдельных рисунков, собранных в единую картину.

Однако исследования показывают, что рынок труда MTurk движется в нежелательном направлении. Анонимность, взаимозаменяемость работников и отсутствие какой-либо системы рейтингов (все это направлено на то чтобы усилить сходство между базой работников Turk и кластером компьютеров, которые они заменяют потому что компьютеры пока недостаточно хорошо справляются с их работой) приводят к тому что отличить плохих работников от хороших становится невозможно. Это так называемый «Рынок лимонов» – рынок, на котором невозможно выяснить качество товара заранее. Как результат, оплата за работу выставляется на каком-то среднем уровне, что вытесняет с рынка хороших работников – их места занимают демпингующие халтурщики. В ответ на снижение качества, цена за работу уменьшается еще сильнее – и так пока она не упрется в нижний предел, хотя качество работы станет совершенно неприемлемым еще раньше. Именно это и происходит на рынке, где, по некоторым оценкам, уже 40% задач – спам. И этот же инструмент используется учеными в исследованиях.

Проблема в отсутствии обратной связи, которая позволила бы отделять «агнцев» от «козлищ». В погоне за унификацией и схожестью с настоящими облачными сервисами не стоит забывать, что все же живые люди – не компьютеры, которые могут работать «от сих и до сих» не отвлекаясь на еду, отдых и другие, еще менее значимые вещи. Однако идея краудсорсинга сейчас на подъёме, и если Amazon сможет исправить недостатки платформы (кстати говоря Mechanical Turk с момента запуска в 2005 и до сих под остается в стадии бета-версии) – ввести фильтрацию по навыкам и рейтинги среди работников, то этот рынок, «живое облако» прибавит в значимости для более серьезных организаций.

Комментарии (1)

  • lawsky
  • 10 сентября 2013, 15:07
  • #
  • 0
Очень интересно. облачно-человеческие сервисы.

Добавление комментариев доступно только зарегистрированным пользователям. Используйте свою существующую учетную запись для авторизации. Если у Вас еще нет учетной записи на сайте ее можно создать пройдя несложную процедуру регистрации. Кстати, для входа на сайт, наравне с учетной записью на cloudzone.ru, можно использовать аккаунт из следующих популярных сервисов: Яндекс, Facebook, Google и LinkedIn