Hadoop получает больше запросов с помощью MapR, выпусков Cloudera

Пользователи платформы обработки данных Hadoop теперь имеют еще два инструмента, помогающих им сортировать свои горы информации.

Новый M7-дистрибутив MapR удаляет слои JVM Hadoop для повышения производительности

Hadoop дистрибьютор MapR интегрировал LucidWorks Search в свой собственный дистрибутив. Тем временем Cloudera запустил первый полноценный выпуск своего механизма запросов SQL с открытым исходным кодом Impala для Hadoop.

[Дальнейшее чтение: лучшие телевизионные потоковые службы]

«Использование поиска в качестве пользовательского интерфейса для больших данных очень интересно, Поиск хорошо подходит для использования большого количества различных типов информации, особенно неструктурированной информации », - сказал Джек Норрис, главный специалист по маркетингу MapR. «Мы видим некоторые действительно интересные приложения с поисковыми системами в их основе, даже если обычный пользователь не будет думать о них как о поисковой системе».

LucidWorks Search - это коммерческая версия открытого Apache Lucene / Solr full -text поисковой системы. Благодаря новой интеграции MapR, LucidWorks Search может осуществлять поиск по любым данным в файловых системах Hadoop (HDFS) или в файлах в других файловых системах.

LucidWorks Search предлагает снимки и зеркала для высокой доступности и устраняет большую часть работы, требуемой для установите Lucene / Solr с нуля. Он также предлагает встроенную поддержку большего количества источников данных, графического интерфейса пользователя и структуры безопасности.

Поисковая система может использоваться в динамическом веб-приложении для быстрого извлечения фотографий, рекламы, рекомендаций по продуктам и другой информации, которая может быть использована заполнять веб-сайты «на лету». «Это не более дешевая замена хранилищ данных. Речь идет о том, чтобы использовать новые источники данных и делать некоторые вещи, которые оказывают огромное влияние на бизнес », - сказал Норрис.

MapR и LucidWorks работают вместе над тем, чтобы соединить свои технологии с 2011 года, когда они сформировали совместное маркетинговое соглашение. В начале этого года они выпустили соединитель, который упростил использование Lucene / Solr с дистрибутивом MapR Hadoop.

Поиск LucidWords работает с недавно выпущенным M7-дистрибусом MapR в бета-форме. В дополнение к поддержке LucidWorks Search версия M7 была перепроектирована для устранения сбоев или проверки согласованности фона, ускорения производительности.

Также на этой неделе Cloudera выпустила версию 1.0 Cloudera Impala, SQL-совместимого механизма запросов с открытым исходным кодом для Hadoop. SQL - это язык интерфейса базы данных, используемый в системах управления реляционными базами данных (RDMS) и хорошо известен администраторам баз данных.

Impala была разработана для выполнения запросов быстрее, чем Hadoop's Hive, поскольку в нем не используется каркас MapReduce, что требует результаты поиска будут записаны на диск. Вместо этого пользователи могут напрямую запрашивать данные, хранящиеся в HDFS и HBase. Пользователи могут запрашивать данные в интерактивном режиме или через пакетные процессы.

Cloudera впервые выпустила версию этого движка в октябре прошлого года в качестве бета-версии. С тех пор программное обеспечение было протестировано компаниями, такими как 37signals и Expedia.

Impala является основным компонентом дополнительного пакета Cloudera Enterprise RTQ (Real-Time Query) для платформы Cloudera Hadoop. Impala можно скачать бесплатно.

Обновлено 6 мая, чтобы исправить информацию о технологии Cloudera Impala.