Android

Amazon автоматизирует использование Hadoop для разработчиков

Amazon Prime Day shopping tips

Amazon Prime Day shopping tips
Anonim

Amazon.com запустил размещенный сервис, предназначенный для упрощения для разработчиков использования реализации Hadoop модели программирования MapReduce для обработки больших наборов данных в кластерах процессоров.

Called Amazon Elastic MapReduce, служба облачных вычислений предназначена для разработчиков чьи приложения нуждаются в сборе больших объемов данных, для которых Hadoop идеально подходит.

С Amazon Elastic MapReduce многие задачи, которые разработчики должны обрабатывать вручную, связанные с Hadoop, автоматизированы, облачные вычисления Amazon Web Services (AWS) подразделение сообщило в официальном блоге в четверг.

[Подробнее читайте: Лучшие телевизионные потоковые службы]

«Используя Elastic MapReduce, вы можете создавать, запускать, контролировать и управлять заданиями Hadoop с удобством точки и щелчка. Вам не нужно выходить и покупать кучу аппаратного обеспечения. Вам не нужно ставить его, подключать к сети или управлять им. Вам не нужно беспокоиться о нехватке ресурсов или обмениваться ими с другими членами вашей организации. Вам не нужно отслеживать это, настраивать или тратить время на обновление системы или прикладного программного обеспечения », - говорится в сообщении для блога.

AWS решила создать эту услугу, узнав, что у нее есть клиенты, работающие с Hadoop на Amazon Elastic Compute Cloud (EC2), которая обеспечивает размещенные вычислительные мощности. Поскольку Hadoop становится все более популярным, Amazon стремится облегчить другим разработчикам возможность использовать эту реализацию с открытым исходным кодом MapReduce.

Elastic MapReduce работает в сочетании с EC2 и служба хранения облачных хранилищ Amazon Simple Storage Service (S3). «Elastic MapReduce автоматически запускает реализацию Hadoop структуры MapReduce на экземплярах Amazon EC2, подразделяя данные в потоке заданий на более мелкие куски, чтобы они могли быть обрабатывается - функция «карта» - параллельно и, в конечном итоге, рекомбинирует обработанные данные в окончательное решение - функцию «уменьшить». Amazon S3 служит источником для анализируемых данных и в качестве конечного результата для конечных результатов «согласно отдельному описанию службы.

Как и в случае с другими облачными сервисами AWS, Amazon взимает плату за Elastic MapReduce на основе своих использование, без минимальной платы.