Инженеры Facebook определяют проблемы с большими объемами данных Graph Search

У инженеров Facebook впереди много проблем, поскольку они работают над расширением Graph Search, нового инструмента социального поиска сайта. Один камнем преткновения: чрезмерное количество данных для просеивания.

Возьмем пример поиска японских ресторанов в Нью-Йорке, которых любят люди из Японии. Поиск, который, казалось бы, генерирует сотни, если не тысячи результатов, только отплевывает два ничтожных бизнеса.

Поисковая система в своей нынешней бета-форме просто не имеет вычислительной мощности для просеивания через миллионы соединений между японцами на сайте, чтобы выполнить поиск, инженеры Facebook заявили в четверг во время небольшого брифинга в штаб-квартире компании в Менло-Парке, Калифорния.

[Читать дальше: Лучшие телевизионные потоковые сервисы]

Керри Дэвис, инженер IDGNSMike Кертисс, инженер в Facebook, описывает фон Graph Search, на котором работает поисковая система. Facebook называет Unicorn.

«Нам еще предстоит большая работа», - сказал инженер-программист Майкл Кертисс. «Подобный запрос очень сложно вычислить», - сказал он, - чтобы начать с 100 миллионов в Японии, а затем за долю секунды, чтобы отсортировать все страницы, понравившиеся людям в Японии.

«Это практически неразрешимы в ограниченное время, которое у нас есть », - сказал инженер, который помог разработать поисковую систему сайта Unicorn, которая обеспечивает инфраструктуру Graph Search. «То, что нам в итоге нужно сделать, - это вырезать, возможно, хорошие результаты».

Керри Дэвис, основанная на поисковом графе IDGNSFacebook, называется компанией Unicorn. Внутри этого типа кросс приписывается число. Здесь в левом нижнем углу экрана отображается число друзей, которое работает как ключевое слово внутри системы.

Facebook использует множество подходов для решения этой и других больших проблем с данными, связанных с поиском графиков.

Одна стратегия включает концепцию в компьютерных базах данных, известную как «оптимизация запросов», для повышения скорости и эффективности определенных типов поисков.

В случае поиска в японском ресторане технику можно применить, чтобы начать сначала с в ресторанах, которые нравятся вместо того, чтобы начинаться с Японии, а затем отфильтровывают подобные люди, говорят инженеры Facebook.

Компания также решает проблемы на аппаратном уровне, добавляя дополнительную флеш-память и другие новые функции для серверы, которые он использует в центрах обработки данных, чтобы обеспечить увеличение поискового трафика, вызванного поиском графиков.

«Нам нужно сделать дополнительную работу в центрах обработки данных, покупать новые аппаратные платформы, [с] новыми типами серверов, «вычислительные потребности Единорога», сказал Сорен Лассен, который возглавлял команду поисковой инфраструктуры за графическим поиском.

Facebook начал развертывать Graph Search в прошлом месяце ограниченному числу пользователей в США. Инструмент поиска предназначен для людей раскройте через 1 триллион соединений социальной сети среди пользователей, чтобы искать людей, места, фотографии и интересы, используя фразы на простом английском языке.

В принципе, ничто не может помешать пользователям вводить запрос, который необычно длинный, например «Работодатели» друзей моих друзей, которые живут в Нью-Йорке и которым нравится Downton Abbey, - сказали инженеры, поскольку Graph Search использует такие сигналы, как «Likes» и check-ins, чтобы легче ранжировать результаты.

В конце концов, поиск по графику будет включать в себя другие показатели, такие как комментарии пользователей и обновления статуса, для компиляции и ранжирования результатов, но это ниже по течению, говорится в сообщении компании.