Электронные архивы. О новых технологиях долговременного хранения данных

Высокие технологии архивации и хранения данных. Сделано в Японии

2 июня 2015 года на базе инновационного комплекса в Сколково состоялось открытие Центра исследований и разработок Panasonic. В рамках конференции «Startup Village» заместитель генерального директора Panasonic Россия Масато Накамура в числе прочих новинок компании представил масштабируемую роботизированную библиотеку, которая обеспечивает архивацию больших массивов данных и их надежное хранение сроком до 50 лет.

Российским компаниям и некоммерческим организациям хорошо известны офисные и мультимедийные устройства Panasonic. Однако с этого года фирменную надпись Panasonic можно будет увидеть не только на рабочих столах, но и в центрах архивации и хранения больших объемов данных. В арсенале японского разработчика, занимающего ведущие позиции в сегменте потребительской и бизнес-электроники, появилось уникальное программно-техническое решение для хранения информационных архивов. 

Роботизированная библиотека LB-DH8, специально разработанная под потребности отечественного рынка, станет первым программно-техническим комплексом, с которым японцы выйдут на рынок хранения и обработки данных. «Мы ожидаем, что к 2020 году объем архивных данных в мире увеличится до 4,3 зеттабайт (~4,3 трлн гигабайт). И Panasonic готов работать с таким количеством информации, как никто другой», – заявил Герман Гаврилов, руководитель отдела развития бизнеса Panasonic Россия, на майской конференции DOCFLOW.

Большие данные – ключевое слово в понимании сути роботизированной архивной разработки. Новые возможности хранения данных заинтересуют в первую очередь те компании и организации, которые работают с big data. Это банки, страховые компании, медиакомпании, госслужбы, университеты, музеи, архивы и пр. учреждения, оперирующие крупными массивами файлов разного формата.

О запуске первого проекта по внедрению решения для архивации и хранения данных на базе роботизированной библиотеки Panasonic LB-DH8 в апреле текущего года объявил Санкт-Петербургский государственный университет. Как сообщили в пресс-службе Panasonic Россия, внедрение библиотеки в университетскую ИТ-инфраструктуру завершится этим летом. Она охватит электронные библиотечные ресурсы, записи лекций и защиты диссертаций, презентационные материалы, мультимедийные продукты и др. Когда это произойдет, СПбГУ станет первым вузом в стране, где для хранения данных будут использоваться технологии подобного уровня.

Роботизированный архив – новое решение для хранения данных и снижения затрат

По своему назначению роботизированная библиотека Panasonic LB-DH8 предназначена для долговременного хранения больших данных. Это устройство получило название «библиотека» потому, что оно может работать с информацией, которая записана сразу на несколько носителей. Такие библиотеки могут применяться и для хранения данных, доступ к которым осуществляется регулярно (например, не реже одного раза в неделю), и для хранения документов (файлов), которые востребованы от случая к случаю.

Компоненты библиотеки Panasonic LB-DH8

Масштабируемость архива

Особенность японской разработки заключается в масштабируемости устройства. Библиотека серии LB-DH8 собирается по модульному принципу. Модульная конструкция состоит из трех модулей: базового (устройства записи картриджей), нижнего (транспортера – загрузчика картриджей) и модуля расширения с интегрированным программным обеспечением.

Каждый модуль рассчитан максимально на 76 картриджей, в которые помещается 12 оптических дисков. В минимальной конфигурации библиотека состоит из одного базового и нижнего модулей. Как это работает? Загрузчик из нижнего «этажа» быстро переносит картридж в устройство записи на базовый «уровень», где 12 дисков из картриджа загружаются в 12 приводов. Все приводы могут работать с дисками одновременно. Это позволяет достичь высокой скорости записи и чтения больших массивов информации.

При растущих объемах данных к базовой конструкции можно добавить еще 6 модулей расширения. Таким образом, из основных физических компонентов устройства (дисков, картриджей и модулей) получается своего рода технологическая «матрешка», которую можно «одеть» в стандартную 19-дюймовую стойку (в максимальной конфигурации с 7 модулями).

В случае наступления чрезвычайной ситуации картриджи библиотеки можно извлечь из устройства и перенести их во внешнее защищенное хранилище (сейф). Это поможет сохранить в полном составе все электронные архивы компании.

Стратегия долгосрочного хранения

В библиотеку изначально заложен принцип обратной совместимости, исключающий потерю способности читать морально устаревшие форматы. По заявлению разработчика, оптические диски Blue-Ray обладают ресурсом хранения данных до 50 лет. Эта цифра была получена расчетным способом в ходе ускоренных испытаний, проведенных компанией при температуре 30 °С и влажности 70 %. В течение срока хранения отпадает необходимость периодической перезаписи данных на новые носители (миграции).

Отметим также, что длительность и надежность хранения обеспечивается особенностями оптических дисков для архивирования Blue-Ray. Они не подвержены колебаниям внешней среды (температуры и влажности) и не нуждаются в кондиционировании: диски могут храниться при комнатной температуре. От механических повреждений (царапин, отпечатков пальцев и пыли) их защищает коробка картриджа. К тестированию дисков привлекался всемирно известный независимый центр TÜV Rheinland (Германия), специалисты которого подтвердили долгий срок службы оптических медианосителей от Panasonic.

Технические особенности библиотеки Panasonic LB-DH8

Емкость хранения и скорость записи

В одном картридже с 12 оптическими дисками может храниться до 1,2 ТБ данных. При максимальной комплектации модуля (76 картриджей) емкость хранения составит до 91,2 ТБ. Если в конструкцию поместить 7 модулей, то система выдержит электронный архив объемом до 638,4 ТБ, который можно кратно увеличивать в соответствии с меняющимися потребностями хранения.

Panasonic обещает высокую скорость передачи данных в библиотеке – до 216 МБ/сек. При распределении данных японцы использовали технологию RAID (Redundant Array of Independent Disks – избыточный массив независимых дисков), обеспечивающую избыточное хранение путем «зеркалирования» или распределения данных в группе дисков. Благодаря поддержке RAID 0, RAID и 5 RAID 6 информация не будет потеряна в случае выхода из строя одного из дисков.

Варианты конфигурации библиотеки

Минимальная конфигурация: 1 нижний модуль и 1 базовый модуль. Емкость – до 91,2 ТБ. Минимальные инвестиции на старте – ~5 млн рублей. 

Максимальная конфигурация № 1: 1 нижний модуль, 1 базовый модуль, 6 модулей расширения (без устройства записи). Емкость – до 638,4 ТБ. Типичная конфигурация для дата-центров, где используются так называемые «холодные» архивы с минимальной стоимостью за 1 бит.

Максимальная конфигурация № 2: 1 нижний модуль, 1 базовый модуль, 6 модулей расширения (с устройством записи) Емкость – до 638,4 ТБ. В отличие от предыдущего варианта, большое число устройств записи (7 штук) позволяет вести параллельную запись и чтение из нескольких картриджей. Это обеспечивает одновременный доступ к системе разных пользователей.

RFID-метки

В картриджи роботизированной библиотеки Panasonic LB-DH8 встроена RFID-метка HF-диапазона. Учет возможен и с помощью штрихкодирования: система поддерживает линейный штрихкод формата Code 39 и двумерный код формата QR Code (Model 2). Радиочастостная идентификация и штрихкодовые маркеры позволяют вывести автоматизацию дата-центра на новый уровень. Например, можно назначить удаление, уничтожение или повторное использование дисков с заданными значениями идентификаторов.

Умное программное управление

Для управления роботизированной библиотекой было создано специальное ПО «Диспетчер библиотеки» (Data Archiver Manager) в двух версиях: для ОС Windows и Linux. Японский софт может интегрировать библиотеку в существующую информационную инфраструктуру. Он также позволяет управлять несколькими библиотеками и всеми картриджами библиотеки как одним логическим томом.

* * *

Перспектива долговременного хранения данных до 50 лет не единственное преимущество, которое предлагают японцы из Panasonic. Как утверждает разработчик, использование роботизированной библиотеки емкостью 3.2 ПБ (3,2 млн ГБ) позволит клиентам компании сэкономить до $6,4 млн за 20 лет. В процентном соотношении общее снижение затрат оценивается в 50 %. Потребление энергии сокращается на 80 %, что достигается за счет снижения потребляемой мощности (7 Вт*2 при питании 24 В постоянного тока в минимальной конфигурации). Таким образом, в долгосрочной перспективе довод в пользу современного роботизированного архива выглядит весьма убедительным.

Необходимость автоматизации и применение робототехники в дата-центрах не в последнюю очередь связаны с пресловутым человеческим фактором. По данным Gartner Research, в 2015 году в 80 % даунтаймов (времени, когда система не работает) критически важных центров обработки данных будут повинны люди, включая просчеты сотрудников, сделанные при создании рабочих процессов. По прогнозам причиной более половины этих отключений станут проблемы, возникающие при изменении, конфигурировании и интегрировании компонентов информационной инфраструктуры. Автоматизация ряда рабочих процессов в электронном хранилище позволяет свести к минимуму риски «мертвой» системы.

НААР.РУ ©

На главном фото: вице-президент Фонда «Сколково» Николай Грачев, президент Panasonic Россия Дзюнити Судзуки,
генеральный директор Инновационного центра Олимпийского комитета России Сергей Зоткин
Автор: Евгений Погонин. Предоставлено: Panasonic Россия