Лучшие DevOps практики и кейсы

Классы хранилищ Amazon S3 и их сравнение


В предыдущих статьях мы рассказывали о EC2, сегодня более детально разберемся с Amazon S3.
S3 (Simple Storage Service) - cервис от AWS для хранение и извлечения данных. Важные данные об S3:
  • Файлы в S3 хранятся в bucket-ах (как папки )
  • S3 является объектно-ориентированным хранилищем ( подобно изображениям, видео, документам и т.д.)
  • Имена bucket-ов должны быть уникальными глобально, потому что когда мы создаем его в S3, он будет иметь уникальный URL.
  • Хорошей практикой является создание bucket-ов в ближайшем к вам или вашим клиентам регионе.

Классы хранилища

Amazon S3 имеет разные классы хранилищ. Поэтому загружая файл в S3, мы можем выбрать подходящий класс хранения подходит для наших файлов. Существует 6 типов классов хранения.
  • Standard
  • Intelligent Tiering
  • Standard Infrequent Access
  • One Zone Infrequent Access
  • Glacier
  • Glacier Deep Archive

Классы хранилищ разделяются по таким свойствам:
  • Стоимость хранения
  • Долговечность объекта (Ваш файл не будет утерян)
  • Доступность объекта (однозначно сможете получить нужный объект)
  • Частота доступа

Разница между типами хранилищ

S3 Standard

  • S3 имеют 99,99% доступности и 99,99999999999% долговечности, что означает, что объекты в этом классе хранения очень доступны, и шансы потерять этот файл очень редки.
  • Мы можем хранить файлы, которые регулярно используем.
  • S3 является самым дорогим стандартом хранения среди всех остальных.
  • Данные хранятся в нескольких местах.

Мы рекомендуем использовать этот тип для фотографий пользователей и прочего важного контента, который должен быть доступен и не может быть утерян.

S3 Intelligent Tiering

  • Он контролирует ваши закономерности доступа к данным и соответствующим образом перемещает данные в различные классы хранения.
  • Объекты в этом хранилище имеют 99,90% доступности и 99,99999999999% долговечности объектов в разных местах.
  • Менее дорогой, чем стандартные классы хранения.

Мы рекомендуем использовать этот тип если вы не знаете статус своих файлов.

S3 Standard Infrequent Access (IA)

  • Используется для хранения данных, к которым обращаются реже, но которые нуждаются в быстром доступе при необходимости.
  • Объекты в этом хранилище имеют 99,90% доступности и 99,99999999999% долговечности объектов в разных местах.
  • Это дешевле, чем стандартное хранение.
  • Amazon взимает плату за поиск данных.

Мы рекомендуем использовать этот тип для дампов баз данных, которые не будут вам часто нужны.

S3 One Zone Infrequently Access

  • Это дешевый вариант хранения данных по сравнению с S3 standard storage и Standard Infrequent access.
  • Он используется для хранения некритичных данных с редким доступом или данных, которые могут быть восстановлены в случае потери, так как этот класс хранения хранит данные только в одном хранилище.
  • Объекты в этом хранилище имеют 99,5% доступности и 99,99999999999% долговечности объектов в одной зоне доступности.

Мы рекомендуем использовать этот тип для файлов, которые могут изредка понадобится, например архивные данные. И старые веса моделей машинного обучения.

S3 Glacier and Glacier Deep Archive

  • Glacier используется для архивирования данных
  • Это самая дешевая услуга хранения S3
  • Поиск данных может занимать от минут до часов.
  • Glacier Deep Archive также используется для архивирования данных, но время поиска составляет 12 часов.
  • Долговечность данных составляет 99,999999999%.

Мы рекомендуем использовать этот тип для хранения архивных данных, по которым не будет производиться поиск.

Резюмируя, можно сделать такие выводы:
  • S3 Standard для важных файлов, которые используются в production-е, например аватарка пользователя
  • S3 Standard Infrequent Access для старых дампов БД, которые не очень часто нужны
  • S3 One Zone Infrequently Access для архивных данных, например аналитика за прошлый год, по которым можем производиться поиск
  • Glacier and Glacier Deep Archive для архивных данных по которым нет необходимости в поиске

S3 одно из самых удобных и доступных хранилищ на рынке, правильный выбор типов поможет сэкономить деньги на инфраструктуру и время разработчиков. Если у вас есть вопросы по работе с S3 или построением инфраструктуры, пишите нам.
Статьи