Yahoo Помогает IIT Bombay Создайте Hadoop Cluster Lab

Yahoo помогла Индийскому технологическому институту в Бомбее создать кластерную лабораторию Hadoop в Мумбаи, пожертвовав кластер серверов с открытым исходным кодом Hadoop.

Apache Hadoop - это проект распределенных вычислений с открытым исходным кодом Apache Software Foundation, который поддерживает Yahoo.

Yahoo запускает большое количество своих критически важных операций с использованием Hadoop и не может выполнять все исследования, требуемые для Hadoop внутри компании, сказал Прабхакар Рагхаван, старший вице-президент и глава Yahoo Labs, в телефонное интервью в четверг.

Yahoo объявила в июне прошлого года свое собственное распространение Hadoop, сославшись на интерес сообщества Apache Hadoop, что он публикует версию Hadoop, которую он тестирует и развертывает на своих собственных больших кластерах.

Кластер лаборатория в М umbai поможет исследователям в таких исследовательских областях, как поиск и ранжирование, извлечение информации и обработка естественного языка.

Академические исследователи, желающие исследовать связанные с Интернетом проблемы, как правило, не смогли получить доступ к вычислительным ресурсам и терабайтам данные, которые необходимы для исследования «проблем в веб-масштабе», сказал Рагхаван.

Начиная с предоставления исследователям Hadoop из Университета Карнеги-Меллона с суперкомпьютером из 4000 процессоров в 2007 году Yahoo помогла другим университетам США создать Hadoop кластеры, сказал он.

Рагхаван больше не рассказывал о кластере, установленном на ИИТ, только говоря, что там были развернуты серверы с сотнями процессоров и возможность обработки терабайтов данных.

Кроме ИИТ Бомбея, Yahoo помогает создавать аналогичные кластеры в учебных заведениях Германии и Сингапура, сказал Рагхаван. Это первые три академических учреждения за пределами США, где Yahoo помогает создавать такие кластеры, добавил он.

Yahoo планирует позже объединить некоторые из кластеров по всему миру, чтобы создать «большую полезность». До этого необходимо укрепить возможности системного администрирования Hadoop, чтобы не допустить, чтобы студент в одном учреждении рухнул работу в другом учреждении, сказал Рагхаван.

Yahoo объединилась в 2008 году с Computational Research Laboratories (CRL), лабораторией, Tata Group, предлагая суперкомпьютерные услуги бесплатно для академических учреждений в Индии, которые занимаются крупномасштабными вычислениями, особенно вокруг Hadoop. По словам Рагхавана, партнерство с академическими институтами на Hadoop помогает Yahoo построить пул инженеров, знакомых с платформой Hadoop, сообщает Raghavan. Некоторые из них даже были наняты Yahoo, добавил он.

Yahoo также выиграла от идей, которые пришли из академических учреждений, проводящих исследования с использованием Hadoop, сказал Рагхаван. Однако он не дал конкретных примеров идей, которые были взяты из этого сотрудничества с академическими институтами.