Подписка на RSS

Spanner: Новая инфраструктура вычислений и вместительных хранилищ данных Google

MapReduce, Bigtable, Pregel берут свое начало в Google и все они имеют дело с «огромными системами». Но все они выглядят мелко по сравнению с новым проектом, над которым работает Google, упомянутым на одном мероприятии в прошлом году.

Выглядит так, что вместо кэширования данных рядом с пользователем, Google пытается «доставить» данные к пользователю. Если вы используете Gmail или Google Docs, тогда Google, используя этот фреймворк, может автоматическим-магическим образом переместить одну из мастер копий ваших данных в ближайший к вам датацентр, при этом не потребуется ничего кэшировать локально. И похоже, что им больше не нужны выделенные кластеры для отдельных проектов, так как они строят единый кластер датацентров по всему миру вместо сотен более мелких для отдельных приложений.

Ниже приведена суть Spanner, извлеченная из разговора с Jeff Dean на симпозиуме в Cornell. Обратите внимание на другие слайды, если вы интересуетеся впечатляющей статистикой производительности и надежности аппаратного обеспечения.

Spanner: Система хранения и вычислений, которая охватывает все наши датацентры

  • Единое глобальное пространство имен
    • Имена не зависят от местонахождения данных
    • Сходства с Bigtable: table, families, locality groups, coprocessors…
    • Различия: иерархические директории вместо строк, мелкоструктурная репликация
    • Мелкоструктурные ACL, настройка репликации на уровне директорий
  • Поддержка сочетания слабой и сильной согласованности между датацентрами
    • Сильная согласованность реализуется при помощи Paxos реплик
    • Полная поддержка распределенных транзакций между директориями/машинами
  • Более автоматизированные операции
    • Система автоматически перемещает и добавляет реплики данных и вычислений основываясь на ограничениях и шаблонах использования
    • Автоматическое выделение ресурсов для всех машин

Автор статьи: Royance Tharakan
Дата: 18 марта 2010
Оригинал статьи

Leave a Reply

Your email address will not be published. Required fields are marked *