Android

Yahoo ищет Hadoop Boost с выпуском внутренней версии

When to Use Hadoop | Hadoop Tutorial for Beginners | Edureka

When to Use Hadoop | Hadoop Tutorial for Beginners | Edureka
Anonim

Чтобы продвинуть внедрение технологии Hadoop для обработки массивных наборов данных, Yahoo выпустит версию программного обеспечения, которую она усовершенствовала, чтобы задействовать многие из ее ключевых сайтов и сервисов.

Объявление было в среду на втором ежегодном Hadoop Саммит, организованный Yahoo и спонсируемый несколькими крупными вендорами, поддерживающими эту технологию, включая IBM, Sun и Amazon.com.

Поисковые системы Yahoo, рекламные системы и веб-почта используют Hadoop, реализацию программной модели MapReduce с открытым исходным кодом для обработки больших наборов данных в кластерах процессоров.

[Подробнее читайте: Лучшие телевизионные потоковые службы]

В Yahoo, Hadoop работает на более чем 25 000 серверах, чтобы хруст данных на десятки миллиардов веб-страниц, десятки домашних животных каждый день.

Отпустив исходный код своего дистрибутива Hadoop, Yahoo надеется увеличить развитие этого проекта Apache Software Foundation.

Yahoo, в которой работает основатель Hadoop Дуг Резтинг, вносит свой вклад в Усовершенствования Hadoop для проекта Apache, но теперь выпускает полную реализацию Hadoop, которая является самой большой в мире и широко протестирована и усовершенствована для использования в живых, производственных системах. Код Yahoo не ограничивается коммерческим использованием.

«Было высказано много интересного, что если бы мы сделали это доступным, это было бы полезно для других пользователей», - сказал Шелтон Шугар, старший вице-президент по облачным вычислениям в Yahoo.

Yahoo все чаще консолидирует платформы обработки на кластерах Hadoop, потому что они могут лучше масштабироваться и обеспечивать крупномасштабную обработку данных, требуемую сайтами и услугами компании, сказал он.

«Мы очень довольны тем, как Hadoop работая для нас, это потрясающая платформа », - сказал Шугар.

Недавно Amazon.com запустил размещенный сервис, призванный упростить для разработчиков использование Hadoop под названием Amazon Elastic MapReduce, в то время как компании, такие как коммерческие дистрибутивы Hadoop на рынке Cloudera, предназначенные для развертывания предприятий.