Второе пришествие P2P: смогут ли распределенные хранилища заменить централизованные дата-центры?

Облачные сервисы
Space Monkey - распределенные хранилищаР2Р – замечательная технология, с этим не будет спорить никто кто хоть раз скачивал фильм с торрент-треккера. Как ни крути, эффективность использования ресурсов – вычислительных, пропускной способности, хранения (которые большую часть времени бессмысленно простаивают) на компьютерах множества пользователей, каждый из которых вносит только небольшой вклад – значительно больше чем при использовании одного мощного датацентра, который работает в полную силу (которой все равно никогда не хватает). Аналогичная перемена в свое время произошла с процессорами персональных компьютеров, которые отказались от «гонки мегагерц» в сторону «гонки ядер». Распределенные системы более живучи и эффективны чем централизованные, и в случае с облаками легко понять почему.

Когда-то давно (в переводе на понятия IT означает «лет 5 назад»), когда облачные сервисы только зарождались, облако казалось панацеей от всех бед. Еще бы – сама мысль о том, что данные на вашем компьютере могут автоматически сохраняться, копироваться по интернету куда-то и там храниться, доступные в любой момент (и что все это могло происходить автоматически) казалась фантастической. Сказка стала былью, по пути растеряв значительную часть обаяния. Теперь мы, веред тем как поставить галочку в очередном лицензионном соглашении очень внимательно его читаем – или не читаем. Так или иначе, возврат к временам, когда вся ваша информация принадлежала исключительно вам, сейчас пропагандируется многими. Но возвращаться к флеш-носителям тоже не хочется. И тут на сцену выходит P2P.

Попытки подвести пиринговую базу под облачное хранилище предпринимались уже не раз. Идея использовать простаивающее место на жестких дисках пользователей для хранения (в фрагментированном, и зачастую – зашифрованном виде) данных других пользователей того же сервиса поднималась неоднократно и даже несколько раз воплощалась в жизнь.

Самый известный случай – Wuala, которая позволяла обменивать выделенное на своем жестком диске пространство на некоторый объем хранилища в сервисе. При этом присутствовала сложная схема перевода жертвуемого места в хранилище, которая учитывала доступность компьютера в сети. Проблема была в том, что проверить показатель доступности, который сообщался пользователем не было никакой возможности. Как результат, использовать предоставляемые ресурсы эффективно было трудно, да и избавиться от традиционных серверов было невозможно – они должны были присутствовать как запасной вариант на тот случай, если пир с необходимыми данными будет недоступен. В общем, решение проблемы оказалось затратнее самой проблемы. В итоге эту часть Wuala вскоре закрыли к неудовольствию пользователей, сделав сервис традиционным хранилищем и спровоцировав отток пользователей. Причинами закрытия называли сложность и неэффективность пиринговой структуры, которая все равно должна была дублироваться дата-центрами, и не обеспечивала необходимой масштабируемости и надежности. Эта попытка не удалась, но будут и другие.

Space MonkeyНапример, Space Monkey, своего рода гибридное решение, которое по принципу работы находится где-то посередине между полностью централизованными системами, наподобие Dropbox, и полностью распределенными, наподобие Bittorrent. Недавно компания, которая собирается производить и внедрять решение получила финансирование на Kickstarter, и сейчас пробные образцы индивидуальных хранилищ уже производятся и распределяются для тестирования среди первых покупателей.

Space Monkey - распределенные хранилища (из чего состоит)Что это за «индивидуальные хранилища»? Дело в том что команда разработчиков Space Monkey выделила основную проблему с P2P хранилищами как непредсказуемость времени их подключения, зависимость от основного компьютера пользователя (который в последнее время включается все реже и реже), и разброс характеристик подключаемых устройств, который сильно затруднял создание единого надежного алгоритма архивации и восстановления данных.

Использование выделенных аппаратных устройств решает сразу несколько проблем.

Во-первых, каждое индивидуальное устройство хранения оснащено 3 Тб жестким диском, при этом каждому пользователю в сервисе доступен только 1 Гб. Все остальное пространство используется для дублирования данных других пользователей. Собственно говоря, можно сказать что даже на вашем собственном устройстве скорее всего не будут храниться ваши данные – при загрузке алгоритм разбивает их на небольшие кластеры и распределяет по всем доступным в сети устройствам. Поэтому вероятность того что на вашем устройстве будут храниться именно ваши данные невелика, но это никак не повлияет на эффективность и надежность всей системы. Алгоритмы дублирования и восстановления информации позволяют восстановить ваши данные даже в случае если с устройств, доступных в сети доступна только их половина.

Во-вторых, каждое устройство работает независимо от компьютера, потребляет немного энергии так как все задачи передачи и обработки данных выполняются энергоэффективным ARM-процессором и почти постоянно находится в сети – смысла выключать его, даже покидая жилище надолго нет. Как и NAS, это устройство из разряда «подключил и забыл».

В-третьих, основатели Space Monkey небезосновательно считают, что большинство облачных сервисов неоправданно завышают цены на хранение. Возьмем один из популярнейших облачных сервисов – Dropbox. Самый дешевый платный план стоит $9.99 в месяц (или $99 в год) и предоставляет в ваше распоряжение 100 Гб места. За те же деньги можно приобрести внешний или внутренний жесткий диск или NAS-систему с доступным объемом пространства в 1 Тб или даже больше, и при этом вам не придется заботиться о том что сервис может быть недоступен или о том, что ваши файлы могут просматриваться или удаляться сотрудниками сервиса. За те же $10 в месяц Space Monkey предоставляет в аренду 1 Тб пространства с удобством и приватностью NAS, но резервированием и доступностью данных отовсюду, как в Dropbox.

Для развитых стран, в которых сейчас вовсю идет борьба за снижение энергопотребления и переход на возобновляемую энергетику, у Space Monkey припасен еще один козырь – персональные хранилища потребляют совсем немного энергии, особенно по сравнению с дата-центрами, которые требуют резервирования систем и наличия запасного питания и так далее. Таким образом, участвуя в программе Space Monkey вы косвенно способствуете экономии электроэнергии.

Понятно, что пока что не все так чудесно, как того хотелось бы. Программа находится только в начальных стадиях развертывания и пока многие пользователи еще не получили устройства, говорить что-либо о надежности и производительности системы в реальных условиях преждевременно, непонятно как провайдеры отнесутся к таким сильно нагружающим сети устройствам (хотя после торрентов их уже трудно будет чем-либо удивить).

Опять-же, полностью распределенной сеть Space Monkey назвать, по-хорошему, нельзя. Для того чтобы добавлять новых пользователей в систему необходим центральный сервер синхронизации, который управляется самими создателями. Впрочем, без этого сервера созданные уже связи будут работать, вот только ни добавить ни убавить пользователей из сети будет невозможно. Создатели обещают что в будущем от единой уязвимой точки избавятся, а пока что структура сети Space Monkey напоминает Skype до того как его купила Microsoft – множество пиров и единый сервер авторизации.

У создателей наполеоновские планы – шутка ли, замахнуться на гегемонию Dropbox – и в более широком смысле Amazon и Google, которым и принадлежат дата-центры, на которых и хранятся наши данные. Впрочем, у традиционных сервисов и Space Monkey все же достаточно разные цели.

Если основой бизнеса Space Monkey является просто хранение и резервирование данных, пусть даже и в значительных масштабах и по недоступным ранее ценам, то для Dropbox и Ко эти услуги в значительной степени являются уже побочным продуктом. Основные достоинства облачных сервисов в их видении лежат уже в другой плоскости – предоставлении дополнительной функциональности и синхронизации между многочисленными устройствами.

Space Monkey – еще один интересный пример, который доказывает, что используя давно известные принципы и технологии можно творить что-то новое и интересное. P2P в последнее время переживает настоящий ренессанс. Bittirrent Sync, Bitcoin и плеяда ее последователей, Space Monkey и кто знает что еще…

По словам одного из основателей Space Monkey, интернет задумывался как сеть пользователей, а не сеть серверов, и в конечном итоге, от внедрения P2P выиграют все, но в первую очередь – сами пользователи. Интересно будет посмотреть во что выльется эта идея.

Комментарии (0)


Добавление комментариев доступно только зарегистрированным пользователям. Используйте свою существующую учетную запись для авторизации. Если у Вас еще нет учетной записи на сайте ее можно создать пройдя несложную процедуру регистрации. Кстати, для входа на сайт, наравне с учетной записью на cloudzone.ru, можно использовать аккаунт из следующих популярных сервисов: Яндекс, Facebook, Google и LinkedIn