Долгосрочное хранение данных: какой носитель лучше?

ВНУТРИБиблиотека Конгресса в Вашингтоне, округ Колумбия, есть живая капсула времени. Огромный склад, находящийся в ведении Отдела кино, радиовещания и звукозаписи, заполнен восковыми цилиндрами, проигрывателями и другим устаревшим аудиовизуальным оборудованием. Кому-то это может показаться свалкой устаревших технологий, но Стефани Барб любит называть это место «страной потерянных игрушек».

«Раньше мы постоянно проигрывали пластинки, — говорит Барб, заместитель директора по ИТ-службе Библиотеки Конгресса. Теперь иметь проигрыватель пластинок почти прихоть.

Когда машины устаревают, хранящиеся в них данные также могут быть потеряны. Программное и аппаратное обеспечение исчезает из общего пользования, поскольку их заменяют новые продукты и услуги. Это одно из нескольких препятствий, с которыми постоянно сталкиваются технические специалисты и архивариусы, такие как Барб, в своем стремлении хранить информацию для долгосрочного хранения. Эксперты говорят, что сейчас нет ни одного устройства хранения, которое может хранить данные вечно. Такие опции, как магнитная лента, диск Blu-ray,

и даже ДНК могут предоставить стабильные, но относительно временные банки хранения, в которых могут храниться данные, пока лучшие технологии тестируются и выводятся на рынок. Тем не менее, у каждого из этих вариантов есть свои недостатки, и ни один метод не является идеальным с точки зрения производительности и долговечности, а новые инновации всегда на горизонте.

Библиотека Конгресса, например. имеет цифровой след 176 000 терабайт, с каталогами книг, фотографий, видео и других материалов на веб-сайте, занимающими только 5350 терабайт (что эквивалентно почти 2 миллиардам трехминутных MP3-файлов). Сейчас эта гора данных растет примерно на 1500 терабайт в год. Архивариусы спешат наперегонки со временем, чтобы продлить жизнь важным документам и носителям.

«Часть процесса сохранения состоит в том, чтобы поддерживать операционные системы и оборудование в актуальном состоянии, — говорит Натали Буда Смит, директор по цифровой стратегии Библиотеки Конгресса.

Ничто не вечно

Сохранение файлов на старых носителях, таких как пластинки LP и игровые приставки, производство которых было прекращено, требует некоторой ручной работы. В библиотеке архивариусы восстанавливают старые медиаплееры, чтобы восстановить данные и перенести их в более современную форму хранения. Иногда команда даже разрабатывает специализированные технологии. Например, система под названием IRENE, которую библиотека разработала совместно с Национальным фондом Лоуренса Беркли. Лаборатория считывает глубину канавок на сломанных пластинках фонографа, чтобы преобразовать музыку в цифровой формат. формат.

По словам Барб, это особенно важно для материалов, на которые распространяется авторское право. Книги могут храниться вечно, если их правильно хранить, но предметы, представленные для защиты авторских прав на более подверженных повреждению материалах, таких как DVD, CD и DVR, могут со временем ухудшиться. «Это ставит нас в тупик, чтобы извлечь эти данные из этих устаревших технологий и сохранить их в цифровом виде, потому что мы потеряем то, что там есть», — объясняет Барб. Поскольку с каждой заявкой на авторские права предоставляется дубликат, Библиотека Конгресса обычно добавляет его в коллекции с намерением обновить его до более современного метода.

Сделайте резервную копию своей работы

Когда дело доходит до сохранения данных на будущее, важно сохранить контекст, в котором существует контент. «Контент говорит: «Вот кусочки»; контекст говорит: «Вот все остальное, что вам нужно, чтобы понять эти фрагменты», — отмечает Итан Миллер, почетный директор Национального научного фонда. Центр исследований систем хранения данных. Дополнительный контекст включает метаданные, программное и аппаратное обеспечение, такое как эмуляторы видеоигр. Это современный эквивалент Розеттского камня — ключ, придающий значение письменным языкам и символам прошлого.

По словам Буды Смит, многие из собираемых в настоящее время данных представляют собой «родившийся цифровой контент», а не контент, который необходимо было оцифровать. Артефакты, собранные из интернет-архивов, являются хорошими примерами. Несмотря на то, что виртуальная информация может в конечном итоге оказаться на физическом носителе, например на ленте, по пути она может жить во множестве других форм хранения. Сохранение нескольких резервных копий на разных носителях также является хорошей практикой.

Скреплены лентой

Библиотека хранит большую часть своих данных на носителе с многолетней историей, который до сих пор выдержал испытание временем: на простой и доступной магнитной ленте. Этот материал представляет собой среду Златовласки, ценимую за его плотность, скорость записи данных и низкую стоимость.

Несмотря на то, что ленточные хранилища существуют с середины 1900-х годов, они все еще постоянно совершенствуются, чтобы втиснуть все больше и больше битов данных на каждый дюйм ленты. Компании как IBM работают над удвоением емкости на картридж (максимум до 45 терабайт) в новых поколениях, сохраняя при этом актуальность формата для будущего. Но лента не является надежной. Если магнитная полоса повреждена или перегрета, данные могут быть стерты. И хотя лента считывается и записывается быстрее, чем более новые носители, к хранящимся на ней данным не так легко получить доступ или изменить их, как информацию, хранящуюся на флэш-накопителях или жестких дисках (HDD).

Движущая сила

То, как вы используете данные и как часто, будет влиять на то, какие носители лучше всего подходят. Жесткие диски — основа облачной инфраструктуры — являются хорошим стартовым решением для небольших компаний с цифровыми коллекциями, — говорит Шон Брум, специалист по стратегии хранения IBM. Взять, к примеру, киностудии.

«Мы почти 25 лет в [съемках] Звездные войны приквелы», — говорит Брум. «Disney никогда не переносила необработанные кадры, снятые с помощью цифровых технологий, и заявила, что не будет». Это потому что Хранение их на жестком диске приводит к вырезанию или вставке отснятого материала всякий раз, когда создатели фильма решают внести изменения. Полегче.

Но жесткие диски со временем и масштабом становятся все более дорогими, добавляет Брум, что делает их использование дорогостоящей проблемой в системах, которые непрерывно выкачивают большие объемы данных, таких как автономные транспортные средства. средняя беспилотная автомобильная система будет генерировать более 400 терабайт в год: если у вас есть миллионы автомобилей, делающих одно и то же, то компании легко раздавятся жесткими дисками. В отрасли общие затраты на хранение По словам Брума, стоимость терабайта данных на жестком диске с высокой плотностью хранения (включая затраты на эксплуатацию инфраструктуры) колеблется от примерно 0,70 до примерно 0,80 доллара в месяц. Для ленты это намного меньше, примерно от 0,08 до 0,12 доллара в месяц. Таким образом, с помощью этого метода информацию в конечном итоге необходимо будет перенести на ленту для более дешевого, долгосрочного и автономного хранения. «Это процесс загрузки, сопоставления, координации и копирования на ленту», — говорит Брум.

Если вы посмотрите на историю, ничто не было вечным носителем, кроме чего-то, что высечено на стене в пещере.

Шон Брум, специалист по стратегии хранения IBM

IBM консультирует компании по переносу данных с жестких дисков на долговременную ленточную инфраструктуру, если в будущем им потребуется извлечь их. Но недостатком ленты, в отличие от жестких дисков, является то, что ее довольно сложно изменить. Вы должны стереть и переписать все, даже если вы хотите изменить только одну деталь.

Гонка за космос

Часто упускаемый из виду соперник может вскоре опередить ленточные и облачные хранилища в гонке за вечное хранилище. Многие эксперты сходятся во мнении, что Blu-ray, или оптические диски из поликарбоната, открывают огромные перспективы, особенно для сохранения данных в течение десятилетий, а может и столетий, в нетронутой коробке. По словам Миллера, эта система, названная в честь фиолетового лазера в считывателе, имеет преимущество перед флэш-памятью или жесткими дисками, поскольку ее детали не изнашиваются.

Все сводится к базовой механике. Жесткие диски не очень хорошо читают или записывают после кратковременного отключения питания. Точно так же флэш-накопители имеют ограниченный срок службы. Это связано с тем, что электроны в транзисторах устройства просачиваются по мере использования, проходя через барьеры и изменяя заряд материала в течение месяцев и лет. «Это означает, что вам придется время от времени считывать флэш-память и перезаписывать данные», — говорит Миллер.

Вот где Blu-ray может преуспеть. По словам Миллера, технология, необходимая для сканирования дисков, относительно проста по своей конструкции: в основном это вращающийся двигатель, считыватель, который входит и выходит, и маломощный лазер. Оптические приводы еще проще, чем те, что используются для магнитных лент. Более низкая цена от 50 до 200 долларов за диск также делает сделку приятной.

Для Миллера вопрос о том, где хранить данные, сводится к вопросу о том, какие технологии будут будет доступно через 100-1000 лет, чтобы прочитать его — будь то с Blu-ray или более экспериментальных форм хранения, таких как стекло и ДНК.

«Если вы посмотрите на историю, ничто не было вечным носителем, кроме чего-то, что высечено на стене в пещере», — говорит Брум. Но даже эта информация разъедает. С каждым новым изобретением для ведения записей — камень, бумага, код — знания все еще должны были передаваться и переводиться в следующее место. «Нам всегда приходилось управлять данными, — добавляет он. «Никогда не было вечного экземпляра чего-либо».

Читать далее PopSci+ истории.