Hotmail получает новую систему хранения данных, что делает ее еще быстрее!

Hotmail ежедневно получает миллиарды сообщений электронной почты, и их необходимо хранить безопасно и быть легко доступным. Система хранения на базе облачных вычислений Hotmail поддерживает более одного миллиарда почтовых ящиков и сотни петабайт данных (один петабайт - миллион гигабайт). И эффективно обрабатывать сотни тысяч одновременных транзакций в этом масштабе - инженерная задача. Система хранения построена с использованием технологии Microsoft, включая Windows Server и Microsoft SQL Server.

Microsoft работает над серьезным обновлением этой системы хранения. С начала этого года новая система, основанная на технологиях, разработанных в Hotmail, была запущена в пилотном кластере с использованием личных учетных записей сотрудников Microsoft. И после тщательного тестирования новая система была сертифицирована, что обеспечивает лучшую надежность по значительно более низкой цене.

Давайте рассмотрим некоторые из этих новых технологий, используемых Hotmail.

Реализация JBOD, заменяющая RAID:

"RAID (Redundant Массив недорогих дисков) - это технология, которая позволяет подключать несколько жестких дисков к одной плате контроллера, что делает их похожими на один более крупный и гораздо более надежный жесткий диск (иногда называемый «логическим блоком») на программное обеспечение, система хранения. "

Hotmail использует RAID в течение длительного времени. Электронная почта хранилась на нескольких группах RAID, так что даже при сбое всего RAID сообщения могут быть восстановлены. Hotmail изучил перспективность надежности накопителей емкостью более 1 терабайта и обнаружил, что это не стоит денег с точки зрения надежности. Поскольку RAID-системы легко справляются с проблемами, затрагивающими единую систему, но не при столкновении всей машины или RAID-контроллера. Hotmail обнаружил, что наличие копий на другой машине, не использующей контроллер, было не только более надежным, но и менее затратным, чем стоимость RAID.

Таким образом, они разработали JBOD (просто пучок дисков), где копии данных хранятся на независимых жестких дисков, контроллеров и машин. Таким образом, контроллер жесткого диска почти полностью отключен и передает его на программное обеспечение для управления. Это системное программное обеспечение JBOD было разработано Hotmail.

Это программное обеспечение JBOD постоянно отслеживает сбои и повышает оповещение при обнаружении, тем самым инициируя процесс восстановления. Этот процесс восстановления может перезагружать машину или перезапускать процесс, исправлять повреждение данных или даже включать вмешательство человека, если это необходимо. Основным преимуществом использования Программного обеспечения является то, что он может поддерживать хорошие копии почтовых отправлений, приоритизируя действие восстановления, если он находит меньше копий. Используя это программное обеспечение, сама репликация была упрощена

«Система хранения состоит из набора машин, каждый из которых имеет свою копию сообщения электронной почты и сообщения о записи журнала, которые прибыли, организованные по дате прибытия. Время от времени машины разговаривают друг с другом, сравнивают свои журналы и копируют любые сообщения, которые, как они понимают, не были скопированы на все компьютеры ».

Реализация твердотельных дисков (SSD) вместо жестких дисков.

Мы знаем, что SSD намного быстрее, чем жесткие диски.

«Обычный жесткий диск может выполнять чуть более сотни операций чтения / записи в секунду, тогда как некоторые из самых быстрых SSD могут делать более сто тысяч операций в секунду ».

Хотя эта скорость идет по цене, так как они очень дороги / гигабайт по сравнению с жесткими дисками.

SSDs эффективно справляется с постоянно меняющейся нагрузкой. Это можно объяснить тем, что Hotmail не только сохраняет сообщения электронной почты, но также отслеживает различные постоянно изменяющиеся метаданные, такие как список сообщений в папке «Входящие», «чтение / непрочитанный» статус сообщений, потоковая передача сообщений и т. Д. Эти метаданные, хотя и занимают небольшую часть пространства для хранения обеспечивает максимальную нагрузку на жесткие диски из-за постоянно меняющейся природы. Таким образом, использование SSD для хранения метаданных и жестких дисков для сообщений делает лучшую и эффективную комбинацию.

Помимо этих улучшений Hotmail покажет еще много в будущих сообщениях. Развертывание новой системы хранения уже началось, и новые кластеры будут основаны на JBOD. Уже 30 миллионов пользователей находятся на JBOD, а еще 100 миллионов будут двигаться с течением времени.

Если вы заметили, Hotmail стал очень быстрым. Если вы этого не сделали - попробуйте сейчас.