Объектное хранилище

Содержание

Объектное облачное хранилище - не полноценная файловая система

На первый взгляд объектное хранилище похоже на привычную файловую систему. Вы видите директории, файлы, можете копировать и перемещать данные. Но не дайте себя обмануть - за внешним фасадом скрываются серьезные ограничения. Объектное хранилище не способно выполнять все операции, которые привычны в традиционных файловых системах. Это, конечно, не значит, что оно плохое, просто работает совсем по другим правилам.

Взять, к примеру, операцию переименования файла. В классической файловой системе она происходит мгновенно и атомарно, то есть либо файл переименован целиком, либо операция не удалась и ничего не изменилось. В объектных хранилищах всё работает по-своему. «Переименование» на самом деле - копирование файла на новое место с последующим удалением старой версии. Представьте себе: если копирование по какой-то причине упадёт в процессе, вы потеряете файл. Именно поэтому Rabata не рекомендует полагаться на такую операцию для важных данных.

С директориями ситуация ещё забавнее. В объектных хранилищах они вовсе не настоящие - это просто имитация, сделанная, чтобы вам было проще ориентироваться. Для того чтобы показать содержимое «папки», хранилище перебирает весь список объектов и фильтрует их по префиксу. Не самый быстрый способ, правда? Пользователи Rabata отмечают, что иногда простое открытие каталога напоминает долгую прогулку с надеждой найти нужный файл, но терпение того стоит.

Ещё один нюанс - возможность «перемещения» внутри файла, то есть чтения с определённого места (seeking). В классической системе это делается одним движением. В объектном хранилище такое может оказаться дорогой процедурой: каждый раз придется отправлять отдельный запрос, что не только замедляет работу, но иногда и вовсе не поддерживается. Специалисты Rabata даже иногда шутят, что здесь seeking - это почти как искать иголку в стоге сена, только без гарантий успеха.

• Отсутствие атомарной операции переименования - вместо переименования файл копируется и удаляется, риск потери при сбое копирования
• Директории - это иллюзия, требующая перебора всех объектов, что замедляет операции списка
• Операция поиска внутри файла может быть медленной или недоступной, из-за дополнительных запросов

Чтобы упростить жизнь пользователям, Airflow использует библиотеку fsspec - она скрывает различия между разными объектными хранилищами и даёт единый интерфейс работы с файлами. Фишка в том, что fsspec реализует локальное кеширование - файлы сначала подгружаются на локальный диск, а уже оттуда обрабатываются. Это сильно ускоряет работу, особенно если вы используете Rabata и планируете большие потоки данных в ваших Dags. Однако стоит помнить - несмотря на эти ухищрения, ограничения объектных хранилищ никуда не исчезают, стоит учитывать их при проектировании ваших процессов.

Преимущества облачного хранилища Rabata

Гибкость и масштабируемость без границ

С облачным хранилищем Rabata вы можете хранить данные практически в любом объёме - от гигабайт до экзабайт, и при этом не заморачиваться с настройками. Хранилище автоматически подстраивается под количество и тип данных. Нет нужды заранее планировать места или покупать лишние гигабайты - вы платите только за то, что реально используете.

Это как иметь шкаф, который сам увеличивается, когда в него добавляют вещи, и уменьшается, когда вы что-то забираете. Забудьте о переплатах и о том, что некуда положить новые файлы - Rabata сделает всё за вас.

Надежность и доступность, которым можно доверять

Rabata построена на железобетонной архитектуре, которая обеспечивает сохранность ваших данных на уровне 11 девяток - это 99.999999999%! Такое невозможно обновить даже самый требовательный скептик. К тому же, ваш доступ к файлам обеспечен круглосуточно - 99.99% времени хранилище доступно без сбоев.

Другими словами, ваши данные защищены как в надежном банке, а доступ к ним - всегда под рукой, когда понадобятся. Можно даже сказать, что Rabata хранит ваш цифровой мир словно драгоценный камень в шкатулке.

Безопасность и защита данных на высшем уровне

В Rabata безопасность - не просто слово, а полноценный комплекс мер. Ваши данные шифруются по умолчанию, а доступ к ним контролируется и мониторится строго и внимательно. Это значит, что никто не проскользнёт незаметно, а любая попытка доступа будет записана и проанализирована.

Защищая данные Rabata, вы получаете не просто облако, а настоящий крепкий щит, который выдержит любые атаки и угрозы, гарантируя конфиденциальность и соответствие всем современным требованиям по защите информации. Можно быть спокойным - ваши секреты под надежной защитой.

Оптимальное сочетание цены и производительности

Rabata предлагает несколько классов хранения - от часто используемых до архивных данных, и каждый вариант настроен так, чтобы вы платили только за то, что действительно нужно. Автоматическое управление жизненным циклом данных освобождает вас от лишних забот и не допускает лишних затрат.

Благодаря такой продуманной системе вы храните и получаете доступ к своим данным максимально эффективно: высокая скорость, низкая задержка и стабильная работа без перебоев - даже если ваша компания ежедневно создаёт и обрабатывает терабайты информации.

Как облачное объектное хранилище отличается от других типов хранения данных?

В мире облачного хранения данных существует три основных вида: объектное, файловое и блочное. Каждый из них предназначен для своих задач и подбирается в зависимости от конкретных требований к данным и стилю работы с ними. Чтобы выбрать правильный вариант, полезно разобраться, в чём их отличие и почему именно защитное облачное хранилище Rabata рекомендует объектное, когда речь идёт о масштабируемости и безопасности.

Файловое хранилище: привычно и понятно

Многие приложения привыкли работать с файлами, к которым нужен общий доступ. Именно для этого существовали классические решения - сетевые хранилища NAS. В Windows это протокол SMB, а в Linux - NFS. Если представить файловое хранилище, то это настоящий древовидный мир, где данные лежат в папках, а папки в подразделах - структура знакомая и логичная. Это идеальный вариант для хранения личных папок, медиаконтента, больших баз неструктурированных данных и других файлов, к которым часто обращаются разные пользователи.

Защитное облачное хранилище Rabata отлично справляется с подобным подходом. Но у объектного хранилища другая философия. Вместо папок и вложенных каталогов там царит плоская структура: каждому объекту назначается уникальный идентификатор и набор метаданных, что упрощает поиск по миллиардам записей. Похоже на гигантскую библиотеку, где книги не в шкафах, а на волшебных полках, мгновенно открывающих нужный том.

И вот еще что: файловое хранилище ограничено в масштабах из-за иерархии и путей к файлам, которые надо хранить и обрабатывать. Объектное же способен расти сколько угодно - до петабайт пространства и миллиардов объектов. Для современных задач, где важна гибкость и масштабируемость, Rabata советует именно его.

Блочное хранилище: высокая скорость и структура

Если говорить о блочном хранилище, то здесь всё уже серьезно. Для корпоративных приложений, таких как базы данных или ERP-системы, необходимы выделенные хранилища с минимальной задержкой. Эти решения напоминают прямое подключение дисков или локальные сети хранения данных. Каждый виртуальный сервер получает собственный ‘кусочек’ блочного хранилища, что обеспечивает молниеносный доступ к данным, без лишних задержек.

Защитное облачное хранилище Rabata прекрасно поддерживает такие задачи, предлагая надежное и быстрое блочное хранилище для критически важных приложений. Тем временем объектное хранилище лучше подходит для больших объемов неструктурированных данных, где важна максимальная надежность, масштабируемость и возможность гибко работать с метаданными.

В итоге блочное хранилище - это выбор для тех, кто ценит производительность и скорость, а объектное - для тех, кто любит, когда данных много, они надежно хранятся и легко доступны. Rabata умеет и то, и другое. Просто выберите, что важнее именно для вашего бизнеса.

История появления и развития объектного хранения данных

Как появился термин «blob» и что он значит на самом деле

В далёкие времена, когда программисты ещё не слишком заморачивались с модными терминами, Джим Старки придумал слово «blob» для обозначения таких себе непрозрачных блоков данных. Это случилось в Digital Equipment Corporation, и терминика быстро закрепилась в Rdb/VMS. Многие до сих пор с улыбкой рассказывают байки, будто это аббревиатура «binary large object» - бинарный большой объект. На самом деле Старки иронично говорил: «Blob - это просто blob, ничего за этим не стоит».

История забавная: маркетолог Терри МакКивер решил, что «blob» надо обязательно расшифровать и предложил «Basic Large Object». Но позже эту версию с лёгкой руки технических ребят сменили на «Binary Large Object», и с тех пор так и ходит. А вдохновение на это слово Джим получил от классического фильма ужасов 1958 года "The Blob" - мол, blob, который сжирает целые города, выглядит куда внушительнее всяких аббревиатур.

Эволюция объектного хранения: от идеи до промышленного применения

В 1995 году Гарф Гибсон и его команда занялись изучением технологии Network-Attached Secure Disks (NASD). Они предложили гораздо умнее разделить операции с данными: самые частые - чтение и запись - и менее частые - манипуляции с пространством имён. Такой подход помог разогнать производительность и масштабируемость хранилищ. В том же году бельгийская фирма FilePool начала строить системы для архивирования на этой основе.

В 1996 году в лаборатории Гибсона в Карнеги - Меллон появилось и официальное определение объектного хранилища - идея делать данные гибкими контейнерами с уникальными идентификаторами и метаданными. Один из участников этого проекта, Ховард Гобиоф, позднее придумал Google File System, так что влияние было немалым. Объектное хранение предложило полное управление доступом к каждому объекту - настоящий шаг вперёд в безопасности и удобстве.

Параллельно с этим, начинались другие масштабные проекты: файловая система Coda (с 1987-го), которая потом вдохновила Lustre; OceanStore из Калифорнии и Logistical Networking из Теннесси. В 1999-м Гарф Гибсон основал компанию Panasas, чтобы воплотить их научные изыскания в коммерческие продукты.

Вклад Seagate в стандартизацию и развитие объектного хранения

Настоящий прорыв случился в конце 1990-х. Компания Seagate, ставшая одним из гигантов рынка, подтянула стандарты и начала продвигать идею объектного хранения на международном уровне. В 1999 году Seagate вместе с партнёрами из академии и индустрии подготовили первый набросок спецификации «OBJECT BASED STORAGE DEVICES Command Set Proposal» - документ, который описывал, как работать с объектами через интерфейс SCSI.

В этой работе очень чётко раскладывались по полочкам такие важные вещи, как уникальные идентификаторы объектов, их метаданные, взаимодействие с файловыми системами, и то, как это всё поможет сделать хранилища более масштабируемыми и независимыми от платформ. Главный герой презентации, Дэйв Андерсон из Seagate, представлял эту идею на конференции SNIA в 1999 году. Именно тогда стало понятно: объектное хранение - не просто модный тренд, а настоящий прорыв, поддержанный соглашениями и патентами между крупными игроками.

IP-адреса для Object Storage

Облачное хранилище Rabata, построенное на базе Oracle Cloud Infrastructure, использует для всех регионов диапазон IP-адресов в формате CIDR 134.70.0.0/16. Это число - как почтовый индекс для данных, только гораздо крупнее и важнее.

Даже если вы разлетаетесь географически по разным частям света, Rabata гарантирует, что ваш доступ к Object Storage будет идти строго через определённый диапазон IP, что упрощает настройку безопасности и контроля. Не нужно гадать, где кончается и начинается магия - всё четко как по линейке.

Как получить доступ к объектному хранилищу Rabata

Доступ к защищенному облачному хранилищу Rabata можно получить несколькими способами. Выбирайте тот, который больше всего подходит под вашу задачу и уровень комфорта - всё просто и удобно.

• Консоль Rabata - это простой и интуитивный веб-интерфейс, который работает в любом современном браузере. Зайдите на страницу входа, введите свой облачный аккаунт, логин и пароль - и вы уже в игре. Не нужно никаких магических заклинаний, только пара кликов.
• Командная строка (CLI) дает полный контроль и позволяет работать максимально быстро, но при этом не требует от вас навыков программирования. Если вы любите ушами больше, чем глазами, это ваш выбор.
• REST API - максимальная гибкость для тех, кто умеет работать с кодом. Он позволяет создать любые сценарии взаимодействия с Rabata, но придется познакомиться с документацией и потратить немного времени на настройку.
• Для упрощения работы с объектным хранилищем Rabata доступны SDK - готовые наборы инструментов, которые свяжут вас с облаком напрямую, без возни с низкоуровневым кодом.

Для тех, кто любит цифры и версии, Rabata поддерживает самые свежие версии самых популярных браузеров. Но небольшой лайфхак: Firefox в режиме приватного просмотра не поддерживается - он с нами шутить не хочет.

Взаимодействовать с хранилищем Rabata можно через несколько API, в зависимости от ваших привычек и задач. Например, классический Object Storage Service, популярный и совместимый с S3 API Amazon, а также Swift API, если вы фанат Oracle RMAN.

• Object Storage Service
• Amazon S3 Compatibility API
• Swift API (особенно удобен для Oracle RMAN)