Facebook готовится использовать «холодное хранилище» для обработки огромных объемов данных

Facebook пересматривает способ хранения данных, чтобы справиться с 7 петабайтами новых фотографий, загружаемых пользователями социальной сети каждый месяц. По мере того, как число фотографий растет, Facebook нуждается в поиске более дешевых, менее энергоемких способов хранения их всех, по словам вице-президента компании по инфраструктурной инженерии.

Пользователи загружают около 300 миллионов фотографий в день, больше по особым случаям, Facebook Jay Parikh рассказал на конференции «Структура Европы» в Амстердаме в среду. «Хэллоуин - одно из наших самых больших дней загрузки фотографий в году. Мы получим где-то между 1 и 2 миллиардами фотографий, загруженных всего за один день», - сказал он.

Фотографии, подобные тем, которые были сделаны в Хэллоуине, вскоре теряют интерес, и никто не смотрит на них через несколько дней или недель, но «наш контракт с нашими пользователями заключается в том, что мы не можем удалять данные, когда они не доступны, мы должны их сохранить», - сказал он. Это привело к идее помещать фотографии в своего рода «холодное хранилище», сказал Парих.

[Читать дальше: Лучшие телевизионные потоковые сервисы]

Для этого Facebook планирует построить новый дата-центр с сказал он.

Но насколько эффективны возможности Facebook для его холодного хранения? Когда затраты и потребление энергии в центрах обработки данных снижаются, это обычно происходит за счет скорости доступа.

Сохранение данных на лентах, например, снижает потребление энергии, но значительно замедляет доступ к данным.

Amazon Web Services средний путь с его службой хранения облачных ледников, который он ставит в качестве альтернативы ленте. Служба оптимизирована для данных, к которым редко обращаются, и для которых время поиска в течение нескольких часов является приемлемым.

Это слишком медленно для Facebook, по словам Париха. «Я не могу получить фотографию, доступ к которой вы получили от пяти или десяти лет назад, и для меня, чтобы показать баннер пользователю, который говорит:« Эй, почему бы вам не попробовать за 24 часа? »

Потребность в меньшей мощности

Изображение: предоставлено Центром данных DataFacebook Data Center в Орегоне

Большинство центров обработки данных, которые используются сегодня, оптимизированы для использования большого количества чтобы справляться с задачами, требующими большой вычислительной мощности. Технология «холодного хранения» Facebook думает, что находится на другом уровне, сказал Парих. «Вам нужно много и много места, но вам не нужна такая мощь», - сказал он, добавив, что все, что касается центра обработки данных, нужно переосмыслить, чтобы справиться с проблемой в масштабе Facebook.

На высоком уровне, Facebook работает над программным обеспечением, которое будет определять, как и где хранить фрагмент контента в инфраструктуре, когда он стареет, сказал Парих. «Это будет означать, что копии данных будут перемещаться со временем и использовать различные части инфраструктуры, которые мы будем оптимизировать для возраста контента». Некоторые из изобретений на программном уровне позволят Facebook еще быстрее реагировать, но хранить данные более экономически эффективно, сказал он.

Холодное хранение будет частью инфраструктуры Facebook в ближайшие год или два, сказал он. Facebook планирует раскрывать и распространять те части, которые, по его мнению, имеют отношение к проекту Open Compute Project, инициатива, начатая Facebook, применить модель совместной работы с открытым исходным кодом для мира оборудования для центров обработки данных.