Правда об «облаке». Как хранят наши данные крупнейшие компании мира

Владимир Кузин avatar | 38
FavoriteLoading В закладки
Правда об «облаке». Как хранят наши данные крупнейшие компании мира

Лет 15 – 20 назад компьютер с жестким диском на 200 – 300 ГБ считался непозволительной роскошью. В 2000-х забить под завязку такую емкость казалось чем-то из разряда фантастики: практически весь интернет тарифицировался помегабайтно, а с безлимитным тарифом можно было провести вечность, чтобы забить те самые 200 ГБ.

? Рубрика «Технологии» выходит при поддержке re:Store.

Но время все изменило. В середине сентября Apple анонсировала iPhone XS и XS Max, топовая комплектация которых предусматривает размер встроенной памяти в целых 512 ГБ. И, поверьте, те, кто выберет смартфон с такой памятью, наверняка найдут что в нем хранить.

Что делать пользователям, которым нужно хранить большие объемы данных, но нет возможности повсюду носиться с внешним накопителем? На помощь придут «облака» или облачные хранилища.

Разберемся, по какому принципу они работают и что происходит с пользовательскими данными при хранении в облаке.

Тайна за семью печатями

Вы будете удивлены, но как на самом деле работают облачные хранилища сказать очень сложно. У каждой компании, будь то Apple, Google или Amazon свои алгоритмы сжатия, хранения и предоставления доступа.

Информация эта весьма конфиденциальна. Учитывая растущую активность хакеров всех мастей, посвящать в нее никто не хочет. А все потому, что одно интервью и пару технических уточнений могут поставить под угрозу петабайты информации.

Тем не менее есть определенная схема, по которой работает классическое облачное хранилище.

Вы проходите регистрацию на том или ином сервисе, и тут же получаете бесплатный тариф в размере 5 – 10 ГБ. А дальше либо самостоятельно загружаете файлы через браузер, либо устанавливаете отдельный клиент на компьютер, где автоматическая загрузка из подтвержденной вами директории происходит автоматически.

Как устроены облачные хранилища

На сегодняшний день существует масса всевозможных облачных систем хранения. У каждого свои задачи. Одни отвечают за хранение переписки в мессенджерах, другие — для переноса фотографий или резервного копирования писем из электронной почты. Есть и универсальные, благодаря которым можно загружать файлы любого типа и с любым расширением.

В зависимости от масштабов оборудование, необходимое для хранения данных, может занимать как небольшую комнату, так и отдельные здания, по площади сопоставимые с полноценными ангарами для самолетов. Такие места называются центрами обработки данных.

Для компаний, предоставляющий дисковое пространство в качестве облачного, важно иметь не только достаточную мощность, но и позаботиться о нескольких дополнительных факторах.

Избыточное резервирование. Центра обработки данных не может состоять из серверов, которые рассчитаны сугубо на конкретную клиентскую базу. Говоря проще: если облаком пользуется 1000 человек по тарифу 10 ГБ в облаке, то компании нужно позаботиться о наличии не 10 ТБ емкости хранилища, а о значительно большем.

Дело в том, что серверам необходима периодическая профилактика. Ведь, по сути, это железо, которое покрывается слоем пыли, перегревается, выходит из строя. Но клиент должен быть уверен в том, что получит доступ к своим файлам в любое время.

Для этого используются избыточные сервера. На них хранятся, как бы странно это не звучало, копии копии ваших данных. А оригиналы — у вас на компьютере или смартфоне. Во время профилактики сервера отключаются в такой последовательности, чтобы, как минимум, одна копия данных всегда оставалась доступной.

Резервное питание. В облачных хранилищах инженеры подключают сервера таким образом, чтобы пользователи, опять-таки, всегда имели доступ к файлам даже при аварии в электросети.

Для обеспечения бесперебойного доступа используются автономные электрические генераторы, способные обеспечить весьма продолжительное время работы.

У той же Apple, учитывая приоритеты компании в «зеленой» энергетике, роль таких генераторов выполняют солнечные панели.

Шифрование. С целью безопасности и предотвращения несанкционированного доступа, все загруженные в облако данные шифруются посредством сложного алгоритма кодирования. Получить доступ к таким данным можно лишь с помощью ключа шифрования, которые есть лишь у пользователя.

Само по себе облачное хранение разделяется на три категории: инфраструктура как услуга (IaaS) — ситуация, в которой такие крупные игроки как Amazon и Google предоставляю свои аппаратные мощности в аренду другим компаниям; платформа как сервис (PaaS) — объемы пространства в онлайне, в которых разработчики создают приложения для различных категорий пользователей; ПО как сервис (SaaS) — когда пользователи используют программное обеспечение для доступа к облаку через интернет.

Итак, вы решили загрузить очередную порцию фотографий с отпуска в облачное хранилище. Открыв мобильный клиент, выбираете снимки для синхронизации и выбираете «Загрузить».

Со смартфона через интернет поступает запрос на управляющий концентратор облачного сервера. Его еще называют «распределительным сервером» или MasterMind-сервером. Он отвечает за обработку вашего запроса и отправку файлов точно по адресу, то несть непосредственно в папку, которая принадлежит вам.

Верифицировав вас как зарегистрированного пользователя, концентратор подает сигнал на зашифровку отправляемых файлов, после чего они начинают выгружаться в конкретные кластеры общего хранилища, которые связаны с вашей учетной записью.

При это концентратор вычисляет доступный и остаточный объем дискового пространства, которым вы можете пользоваться по условиям вашего тарифного плана. Во время загрузки файлов, они перераспределяются между серверами и копируются в резервное хранилище. То есть параллельно загрузка ведется на несколько накопителей для мгновенного резервирования.

Внутри дата-центров Apple

Чтобы представить, как может выглядеть центр обработки данных, давайте заглянем в «серверную» компании Apple. Журналистам издания The Arizona Republic удалось договориться о съемке всего месяц назад, поэтому предоставленные данные актуальны.

Площадь помещения, в котором хранятся сотни серверов, составляет 120 тыс. квадратных метров. Представьте себе, что это 2 400 квартир, площадью 50 квадратов.

Все это пространство заставлено «серверными шкафами», стоящими на бетонном полу.

На снимке выше — помещение, получившее название центра глобальных данных. Здесь трудятся несколько человек. Смена каждого составляет 10 часов. Именно из этой точки контролируется работа таких сервисов, как Siri, iCloud, iMessage.

Всего здесь трудятся около 150 человек, хотя изначально Apple планировала привлечь около 600 сотрудников. Видимо, потребности в большем количестве рабочих нет — все работает и так стабильно.

Территория дата-центра строго охраняема, а сам объект признан стратегически важным. Найти какую-либо информацию о принципах работы хранилищ Apple практически невозможно. Разве что, устроиться на работу в подобный центр обработки.

Размеры подобных «серверных» могут быть просто огромными. Вот, к примеру, один из дата-центров Apple. Расположен он в Аризоне (США):

А так выглядит проект одного из центров обработки в Айове (США).

Интересный факт: Apple планирует создать дополнительные рабочие места за счет строительства дополнительных дата-центров. Так вот, стоимость часа работы одного инженера в таком месте составляет около $30.

Спорное право собственности

Облачные хранилища — это удобно. Вы получаете доступ к гигагабайтам информации с любой точки мира. А все, что нужно для доступа — учетная запись и интернет. Никаких переносных дисков и боязни за сохранность информации во время транспортировки накопителя.

Но так ли все однозначно? Многих пользователей интересуют несколько ключевых вопросов, которые их останавливают перед использованием облачных сервисов.

Кому принадлежат загруженные данные: пользователю или компании, которая предоставляет место в облаке? Что будет с данными, если пользователь решит попрощаться с хранилищем?

Физически ваши данные могут храниться на дисках, которые расположены на самых разных странах и континентах. Все зависит от того, где именно компания, предоставляющая облачное пространство, располагает свои центры обработки. Учитывая, что сервера принадлежат конкретной компании, то и ваши данные отправляются в ее владение.

Не верите? Тогда достаточно вспомнить выдержку из лицензионного соглашения Google Drive:

Загружая или иным образом добавляя материалы в наши Службы, вы предоставляете нам действующую во всем мире лицензию, которая позволяет нам использовать это содержание, размещать его, хранить, воспроизводить, изменять, создавать на его основе производные работы, обмениваться им, публиковать его, открыто воспроизводить, отображать, а также распространять.

Потом эти условия использования пережили еще несколько редакций, превратившись в это:

Наши Условия использования гласят: "Все права на интеллектуальную собственность в отношении… материалов остаются у их владельца. Проще говоря, все, что было вашим, таковым и останется".

Мы не претендуем на права собственности на контент, который вы загружаете, передаете или храните на Диске (в том числе любые файлы, текстовые и графические данные). Условия использования лишь наделяют нас правом предоставления требуемых сервисов.

Например, мы можем реализовать возможность настройки совместного доступа к документам или поддержку открытия файлов на других устройствах.

Но так потрудилась поступить лишь Apple, Google и еще парочку авторитетных компаний.

А вот еще пример того, что, по сути, компании не несут ответственности за все, что вы у них храните. Условия постараются обеспечить максимально комфортные, но, если что, пинайте на себя.


Выдержка из условия использования сервиса iCloud.

В большинстве же сервисов условия использования звучат так, как будь-то вас заведомо предупреждаю: «Все, что вы загрузили на наши сервера, теперь принадлежит нам». То есть файлы по-прежнему остаются вашими, но облачный сервис может делать с ними все, что захочет.

Эта информация — явно повод задуматься над хранением особо важных и секретных данных.

Стоит ли им доверять?

Когда вы задаете себе подобный вопрос, сразу же вспомните ваше поведение во время установки десктопного клиента Dropbox, Google Drive, Яндекс.Диска и прочих.

В момент, когда вы ставите галочку и щелкаете по кнопке «Принимаю», вы предварительно читаете добрый десяток страниц текста с «Условиями обслуживания»?

95% пользователей не делают этого. А значит и беспокоиться о конфиденциальности загруженных данных им нет смысла. Если вам нечего скрывать и вы не храните достоверные результаты спортивных мероприятий на ближайшие лет десять, как это было в фильме «Назад в будущее», то беспокоиться не за что.

Главное — правильно выбирать «облако», в котором планируете хранить свои данные. Из тех, кому можно доверять, стоит отметить:

Apple с сервисом iCloud и весьма гуманными тарифами;
Google с сервисом Google Drive и безлимитном для загрузки фотографий со смартфона в стандартном качестве;
Dropbox с дорогим, но крутым тарифом на 1 ТБ пространства в облаке.

А сервисы, предлагающие вам сотни гигабайт бесплатно — сомнительное удовольствие. Рискуете либо потерять данные, либо отправлять/скачивать их целую вечность.

Облачные хранилища действительно существенно упрощают нашу жизнь. Они заменили нам громоздкие винчестеры и вечно теряющиеся флешки, предоставив мгновенный доступ к сотням гигабайт информации. Стоит ли отказываться от таких преимуществ из суеверности? Вряд ли.

1 Звезд2 Звезды3 Звезды4 Звезды5 Звезд (22 голосов, общий рейтинг: 4.86 из 5)
undefined
iPhones.ru
Здесь тоже есть свои моменты.
Прокомментировать

🙈 Комментарии 38

  1. gorbunovin avatar
    gorbunovin3 октябрь 2018
    9

    @xakerbox, хороший формат. Я бы с удовольствием почитал большие развернутые статьи и о других продуктах

    Владимир Кузин avatar
    Владимир Кузин3 октябрь 2018
    1

    @gorbunovin, спасибо большое! подумаем!;)

    Craft avatar
    Craft3 октябрь 2018
    0

    @Владимир Кузин, только очень прошу, проверяйте на опечатки, я только при беглом чтении две обнаружил. :)

  2. rkolyan avatar
    rkolyan3 октябрь 2018
    2

    99% мне кажется не читают, я в том числе.

    Andrew avatar
    Andrew3 октябрь 2018
    1

    @rkolyan, 99,9% )))

  3. - - - avatar
    - - -3 октябрь 2018
    0

    NAS у себя дома самое надежное место.
    + ИБП. Ну и к ИБП роутер подключаем какой нибудь не дорогой. Кенетик к примеру.
    Хотя если хотите быстрый Wi-Fi не 2.5ГБ то лучше брать Микротик на 9.7ГБит/с недавно анонсированный.

    PS Облака вообще не надежны. Многие не читают лицензионное соглашение а там черное по белому написано, всё что хранится в облаке – доступно спец.службам.
    iCloud ваш не исключение. Если данные хранятся в Айфоне – может как то они и защищены не спорю, но Облакам доверять точно незя. Разве что Mega ) Любопытный факт что в многих странах запрещен Mega из за его политики. Вот ему то и можно доверить в рамках разумного.

    smile70 avatar
    smile703 октябрь 2018
    4

    @- – -, пожар или потоп дома или обокрали – и придется сказать данным “пока”. хотя у самого тоже NAS и тоже дома ))) однако все важное продублировано в платном облаке.

    supchik avatar
    supchik4 октябрь 2018
    0

    @smile70, много лет держал дома пк на bsd, а потом на линуксе как роутер, фаервол и хранилище файлов с качалкой. правда в какой-то момент он разросся так, что жрать начал прилично. и я в прошлом году неосторожно развалил 5 рейд. потерялось инфы за последние 12 лет. сейчас уже не жаль даже фоток. К тому же основное их количество кочует с айфона на айфон последние 10 лет

  4. iVillain avatar
    iVillain3 октябрь 2018
    2

    Ничего нового для себя не узнал, но статья хорошая:)

  5. Specter avatar
    Specter3 октябрь 2018
    3

    когда наконец статьи будут без опечаток? то букву в слове пропустите, то смысл предложения самому додумывать нужно. ?

  6. enohpi avatar
    enohpi3 октябрь 2018
    3

    Раз в квартал на данной ресурсе происходит чудо – появляется интересная статья.
    Но скоро придёт очередь статей сида и ресурс вновь засрётся.

  7. Chinik avatar
    Chinik3 октябрь 2018
    1

    Пользуюсь гугл драйв и ещё Яндекс диск очень доволен. Дропбоксом больше не пользуюсь ибо мало места, дорогие тарифы меньше функционал по сравнению с Яндекс диск и гугл драйв.

    Google диск 115 гб (15беслатные)
    Яндекс 42

    Alex_Crafty avatar
    Alex_Crafty4 февраля 2021
    0

    @Chinik, а что если брать изначально платный файлообменник, особенно если задачи такие стоят по работе, что приходится постоянно отправлять тяжелые файлы, фото, видео в хорошем качестве (иногда и более 10гб).

    Во всех бесплатных файлообменниках ограничение на размер файла, и в принципе для большинства обывательских задач их вероятно хватает, но для профессиональных – далеко не всегда.

    Как вывод, скорее, все индивидуально!)

    Anonimous666 avatar
    Anonimous66614 февраля 2021
    0

    @Chinik, Гугл диск с марта закрывается, думаю с яндексом тоже случится..все просто халявки хотят а не все так просто, за сервера платить надо и такие отделения корпорации как файлообменники убыточны и кормятся с других направлений, но когда тяжелые времена приходят все затягивают пояса потуже ) Я лично в моем файлообменнике фекс (https://fex.net/ru/) уверен, он не пропадет т.к. модель у него изначально условно бесплатная.

  8. meowmeow avatar
    meowmeow3 октябрь 2018
    5

    > всё что хранится в облаке – доступно спец.службам

    Совершенно верно. Но выбор за вами – каким именно!

  9. ToxaPlut avatar
    ToxaPlut3 октябрь 2018
    1

    Было время качал фильмы в формате HD для Apple TV. Дома, всё время крутилось около 20 Tb дискового пространства. Денег на это, потратил кучу. А теперь забил, фильмы покупаю или беру на прокат (последнее реже). Телефоны и диски с большой памятью не покупаю, поскольку есть iCloud. Музыку не качаю, потому, что есть Apple Music. На iCloud семейный доступ, все бекапы, фотки и т.п там хранит вся семья. Даже учитывая ежемесячные выплаты всё равно для меня так выгоднее, а главное удобнее.

    wrongguy avatar
    wrongguy3 октябрь 2018
    1

    @ToxaPlut, в случае ахтунга во встающей с колен все ваши облака превращаются в тыкву …

    ToxaPlut avatar
    ToxaPlut3 октябрь 2018
    0

    @wrongguy, ахтунги на частных лиц как правило не распространяются ) надежда только на это!

    wrongguy avatar
    wrongguy4 октябрь 2018
    0

    @ToxaPlut, молитесь и примощайтесь! ;-)

  10. HUIBAM avatar
    HUIBAM3 октябрь 2018
    0

    а у меня терабайт от mail.ru :D

    Craft avatar
    Craft3 октябрь 2018
    1

    @HUIBAM, соболезную.

    iVillain avatar
    iVillain4 октябрь 2018
    0

    @HUIBAM, Тоже урвал на халяву как-то, но храню там только то, что не особо жалко потерять) Не вызывают они доверия)

    Anonimous666 avatar
    Anonimous66630 января 2021
    0

    @HUIBAM, если тебе этого достаточно то наслаждайся им, пока этого не станет мало :D что такое 1 терабайт? 20 фильмов да 10 альбомов музыки и все, мысли шире, бесплатные сервисы на то и бесплатные…

  11. Sanchezzz avatar
    Sanchezzz3 октябрь 2018
    0

    1) Файлы шифруются только для передачи данных через интернет, на самих серверах они хранятся в открытом виде (незашифрованными).
    2) Все, что в облаке, вам не принадлежит. И точка.
    3) Все ваши файлы доступны по запросу третьим лицам, и всяким алгоритмам.
    4) С учетом так себе связи – иногда доступ то еще удовольствие.

    mikrotik avatar
    mikrotik3 октябрь 2018
    1

    @Sanchezzz, файлы шифруются выделенным для пользователя ключом перед записью на диск и расшифровываются после чтения. Когда все данные необходимо удалить — просто “забывается” ключ — и не надо ничего специально затирать на диске. Это уже стандартная практика. Так даже SSD-диски делают :)

    Sanchezzz avatar
    Sanchezzz4 октябрь 2018
    0

    @mikrotik, ключ шифрования, доступный кому-либо, кроме вас, делает все ваши загруженные файлы общедоступными. И никакая реализация доступа к файлам этого не меняет.

    mikrotik avatar
    mikrotik5 октябрь 2018
    0

    @Sanchezzz, вы лишь пытаетесь неумело подменить понятия. Я говорю, что файлы не хранятся незашифрованными. Я не утверждаю, что ключ шифрования не лежит рядом в открытом виде.

    З.Ы. Расскажите, как мне получить доступ к “общедоступным” файлам соседа, не зная его пароля.

    Sanchezzz avatar
    Sanchezzz5 октябрь 2018
    0

    @mikrotik, не важно, как хранится файлы – если есть ключ шифрования, их можно расшифровать по запросу спецслужб, левой ноги или хакеры постараются. Но сомневаюсь, что файлы шифруются – история с айклаудом и гуглдиском тому подтверждение. Кстати, история гуглдиска с общедоступными файлами ответ на ваш последний вопрос. Просто примите мысль – вы теряете контроль над загруженным в облако.

    mikrotik avatar
    mikrotik5 октябрь 2018
    0

    @Sanchezzz, вы какие-то глупые примеры приводите. Если вы дверь квартиры оставите открытой и на улице незнакомцу отдадите ключи, сказав адрес — вы будете производителя замков винить в том, что вас вдруг ограбили?

    Или, может, вы дома забаррикадируетесь от спецслужб?

    Sanchezzz avatar
    Sanchezzz5 октябрь 2018
    0

    @mikrotik, о чем и речь, ключи от дома (ключи шифрования) надо тщательно хранить и никому не отдавать.
    Аналогия с баррикадой дома неуместна – хотя если брать крепость как эквивалент стойкости шифра….

    А вообще, я вашу позицию понял. Хотите хранить в облаке файлы? Храните. Ваша информация – ваша ответственность.

    mikrotik avatar
    mikrotik5 октябрь 2018
    0

    @Sanchezzz, моя позиция такова: ко всему надо подходить осознанно. И не надо распространять ложную информацию для того, чтобы склонить людей к своему мнению.

  12. Craft avatar
    Craft3 октябрь 2018
    0

    Собственно, когда-то у меня было с пяток “облаков”. Особенно когда всякие мессенджеры не позволяли взять и просто поделиться файлом. Сейчас остался один iCloud и хранится там всё, что жалко и/или опасно потерять: рабочие файлы, всякое творчество, бэкапы настроек и лицензионных ключей некоторых программ и пр. и пр. Ну и стандартные бэкапы, поддерживаемые MacOS/iOS там же: все эти фото, резервные копии телефона и т.п. Стоимость удовольствия — 60 рублей в месяц за минимальный тариф. Не заполнен даже наполовину.

  13. andrianov_roman avatar
    andrianov_roman4 октябрь 2018
    0

    я лично пять лет пользуюсь яндекс.диском и никаких проблем нет, странно, что его не выделили в конце подборки

    Anonimous666 avatar
    Anonimous66630 января 2021
    0

    @andrianov_roman, может потому что объемы твоего использования сервиса крохотны? В этом случае да, можешь пользоваться как и 90% юзеров, залил пикчу пару видосов, игры и все, а когда этого мало и для проф деятельности нужен сервис то этоих беслпатных сервисов уже мало.

  14. SashaGerchik avatar
    SashaGerchik6 октябрь 2018
    1

    Не понимаю: почему некоторые взъелись на mail.ru?
    Получил там 100 гб и использую их аж со времён 4 iPhone… Сервис стабилен и постоянно развивается. Очень удобно.
    Если кто-то думает, что наши данные не под колпаком спецслужб – это ошибка. Просто разные спецслужбы контролят разные сервисы.
    Вспомните историю Сноудена: качали всё из всего.

  15. Evgeny 1989 avatar
    Evgeny 19894 апреля 2021
    0

    Сильно удивляет увеличение весса различных файлов, но если вспомнить те файлы, что были в 2004г, тогда нечему удивляться. я считаю, что искать место где будет храниться личная информация нужно с особым трепетом.

  16. Grumm avatar
    Grumm5 апреля 2021
    0

    Какая тема интересная! Я-то вообще от всего этого далёк. Хоть мало что понял, но вё же просветился. Будет чем теперь перед соседкой козырнуть:) А сам я пользуюсь только яндекс диском. Но был такой момент, что три папки перестали открываться. Вот поэтом и нужно облако или файлообменник облачный

  17. Серза avatar
    Серза5 апреля 2021
    0

    Я храню свои файлы на флешки, но ни давно чуть её ни потерял (оставил у друга), хорошо что он вернул мне её, а так-бы всё что я снимал в разных городах – исчезло-бы без возврата. Вот теперь я понял для чего нужны файлообменники. Я посмотрел в интернете разные хранилище, и понял что все хорошие, которые работают уже давно, и дорожат своей репутацией – они все платные. Мне интересно – есть хоть один хороший файлообменник, с большим пространством – бесплатный…

Вы должны авторизоваться или зарегистрироваться для комментирования.

Нашли орфографическую ошибку в новости?

Выделите ее мышью и нажмите Ctrl+Enter.

Как установить аватар в комментариях?

Ответ вот здесь