Как защищаются данные в Dell EMC ECS


Dell EMC ECS или Elastic Cloud Storage — система объектного хранения данных, которая мне показалась интересной в процессе изучения. Мой основной опыт в области СХД на данный момент приходился на блочные и файловые системы. Те методики для обеспечения сохранности данных, которые использует Dell ECS, любопытны с точки зрения архитектурных особенностей и однозначно заслуживают внимания всех спецов, кто интересуется тематикой стораджей. Что делают блочные системы — это используют, как правило, различные уровни RAID, для обеспечения сохранности данных в случае выхода из строя одного или нескольких дисков. При этом частенько это маскируется под именем собственной технологии, которая выполняет аналогичные действия. Если говорить про Scale-out системы, как например, CEPH, то они обеспечивают запись каждого блока информации сразу на несколько нод кластера, страхуясь от выхода из строя не только нескольких дисков, но и отдельных серверов системы.

Основные типы СХД можно разделить на 3 большие разновидности. Это блочные системы, файловые системы, а также объектные. Особенность последних, к которым относится и Elastic Cloud Storage, это хранение разнородного массива данных. При этом все эти многообразные объекты находятся в одном общем плоском пространстве, без вложенных директорий. Ряд аналогичных решений использует дополнительные шлюзы поверх файлового или блочного хранилища, которые обеспечивают доступ через протоколы Amazon S3 или OpenStack Swift. Разработчики ECS использовали отличные методики в своей архитектуре по хранению данных, про которые хотелось бы поговорить. В целом Elastic Cloud Storage изначально заточен сугубо под хранение объектных данных, без оглядки на объектное или файловое хранение. Именно это его делает эффективным и интересным в своем направлении.

Читать далее «Как защищаются данные в Dell EMC ECS»

Тюнинг клиентов PowerProtect DD


PowerProtect DD или Data Domain — продукт от DELL-EMC предоставляет различные способы подключения к нему клиентов для записи и чтения данных резервного копирования. Два протокола, которые часто используются при этом, это NFS и CIFS. Первый из них широко применяется в средах Linux/*nix, а второй в инфраструктуре Microsoft Windows. Для того, чтобы использование данных протоколов было максимальном эффективным и производительным, приходится подкручивать определенные настройки в клиентских системах. Если этого не сделать, то можно не получить ожидаемый эффект при бекапе или восстановлении. PowerProtect DD поддерживает и ряд других способов доступа, таких как DDBoost и VTL. Но они имеют более специфичную конфигурацию при использовании и не будут затрагиваться в этой статье.

Читать далее «Тюнинг клиентов PowerProtect DD»

Эволюция систем резервного копирования Dell EMC

emc_backup_img

У компании EMC всегда был очень широкий портфель продуктов и решений для помощи организациям в области систем резервного копирования и защиты информации. После слияния с DELL это направление за последние годы также активно развивалось, как и ранее до этого. В свое время посвятил определенное значительное время изучению и внедрению решений резервного копирования от EMC. Интересно было познакомиться по случаю с современным текущим состоянием дел у компании DELL EMC с решениями и наработками по бекапу. Две основные тенденции развития, которые четко прослеживаются, это активная разработка всех продуктов в сторону облачных технологий и виртуализации, а также создание комплексных решений по аналогии с VxRail. Dell EMC успешно предлагает уже несколько лет ряд таких комплексных решений, в которых комбинируются различные продукты и услуги из ассортимента компании. В области резервного копирования это прежде всего IDPA — Integrated Data Protection Appliances, а также IRS — Isolated Recovery Solution. Кроме этого также активно продолжают расти классические продукты резервного копирования EMC.

Читать далее «Эволюция систем резервного копирования Dell EMC»

Типы портов в SAN FC сети

san_ports_img

У сетей SAN или Storage Area Network есть несколько специфических особенностей, которые отличают их от привычных IP сетей. Одна из них наличие разного типа портов в сети SAN. С точки зрения физики и внешнего вида они все абсолютно одинаковые. Однако, с позиции логики работы они могут сильно отличаться. Эта особенность Fibre Channel часто смущает администраторов сетей передачи данных, кому приходится сталкиваться с SAN, в частности, и меня самого. Небольшая статья, которая поможет разложить по полочкам данный вопрос, давно зрела в тайниках моего подсознания, что и стало мотиватором для ее написания. Далее по тексту постараюсь разложить основные нюансы в терминологии сетей FC SAN, что поможет при их проектировании и внедрении.

Читать далее «Типы портов в SAN FC сети»

Подсчет IOPS на RAID массиве

iops_img

При добавлении нового дискового пространства крайне важно понимать сколько Вам нужно операций чтения/записи или по научному IOPS, а также сколько та или иная дисковая система может Вам выдать таких транзакций в секунду. Такой подсчет в целом не представляет никаких сложностей и доступен любому, кто в ладах со школьной алгеброй. Если с определением объема дискового пространства на RAID массиве, как правило, проблем не возникает, то с подсчетом необходимых, а также доступных IOPS зачастую во многих организациях все обстоит не так гладко. В современных системах хранения данных зачастую используется определенный уровень кеша, технологии tiering, дедупликации и прочие фишки, которые могут влиять на общее значение IOPS. Однако, понимание того, сколько реально операций чтения/записи можно получить от самой дисковой подсистемы дает знание базовой производительности системы, от которого можно отталкиваться при проведении дополнительных расчетов.

Читать далее «Подсчет IOPS на RAID массиве»

Тестирование дисковой системы в Linux

hdd_test_img

Основные аппаратные ресурсы любого серверного оборудования — это процессор, ОЗУ и дисковая подсистема. Определение их производительности и мониторинг — одни из ключевых задач в эксплуатации такой техники. Тут хотелось бы остановиться на вопросе определения производительности дисковой подсистемы. При этом под таковой я подразумеваю не только один обычный жесткий диск, но и различные сложные системы для хранения данных, которые используются в серверных системах. Современные программно определяемые стораджи настолько далеко ушли в технологиях, что нет смысла в данном контектсе останавливаться на специфике их работы. Давайте рассмотрим ситуацию, когда у нас есть виртуальная или физическая машина с ОС Linux, на которой доступен физический или логический жесткий диск, производительность которого хотелось бы протестировать. Для этих целей идеально подходит небольшая утилита fio. Она очень гибкая и богатая по фунционалу. Позволяет провести разнообразные тесты ввода-вывода дисковых подсистем.

Читать далее «Тестирование дисковой системы в Linux»

Кеш на SSD в CEPH

cache_img

Система хранения CEPH уже давно поддерживает функционал кеширования HDD пулов с помощью дисков SSD или NVMe. То есть, сами данные хранятся на массивах медленных HDD дисках, но при этом при оперативной записи/чтении могут использоваться намного более быстрые диски SSD/NVMe. Такой функционал считается одним из базовых в дорогих коммерческих стораджах middle-range уровня. В свое время долгое время занимался такого типа оборудованием. По своему опыту могу сказать, что такое кеширование является одним из важных моментов при выборе СХД в организации. Для Open Source продукта Ceph это важная фича, которая позволяет обеспечить нужную производительность общей системы при использовании шпиндельных дисков при необходимости.

Читать далее «Кеш на SSD в CEPH»

Организуем backup в Proxmox

bakup_img

Один из важнейших компонентов любой системы виртуализации при использовании в продуктовых средах — наличие средств резервного копирования и восстановления. Можно вспомнить о различных вариантах бекапов виртуальных машин VMware, которые были доступны в разное время. И сама компания VMware пыталась реализовать такие решения и сторонние поставщики. В итоге на текущий момент решение VEEAM Backup & Replication стало настолько популярным, что вытеснело по сути все остальные продукты. К большому сожалению, оно поддерживает только среды виртуализации VMware и Hyper-V. Для кластера Proxmox средства по резервному копированию были встроены в сам дистрибутив, однако обладали довольно базовым функционалом. Относительно недавно компанией разработчиком был выпущен Proxmox Backup Server. Данное решение позволяет профессионально бекапить данные как на диски, так и на ленту. Кроме этого этот продукт дает возможность использовать дедупликацию, разнообразные политики резервного копирования и способы работы с виртуальными машинами.

Про систему виртуализации Proxmox уже было несколько статей на моем блоге. Это «Небольшие лайфхаки с Proxmox», «Импорт kvm виртуалок в Proxmox», а также «Миграция виртуальных машин из VMware в Proxmox». Open Source проект Proxmox VE по созданию виртуализированной среды развивается довольно таки успешно. Большим плюсом с моей точки зрения является наличие серьезного объема документации, а также форума, где разбирается огромное количество проблем и различных практических ситуаций. Со своей стороны, публикуя здесь очередную статью о системе виртуализации Proxmox, надеюсь внести посильный вклад в русскоязычное комьюнити пользователей данного замечательного продукта.

Читать далее «Организуем backup в Proxmox»

FreeIPA клиент на Ubuntu 20.04

freeipa client img

Обычная аутентификация на современных системах под управлением ОС Linux, как правило, подразумевает использование файлов /etc/passwd и /etc/shadow, в которых содержится информация о пользователях и их паролях. Однако, недра операционной системы Linux поддерживают с помощью механизма PAM гораздо больше возможностей по аутентификации и авторизации пользователей. PAM (Pluggable Authentication Modules) — низкоуровневые библиотеки, работающие на уровне операционной системы, позволяющие задействовать различные способы идентификации пользователей. Сценарии использования модулей PAM в операционной системе Ubuntu 20.04 находятся в директории — /etc/pam.d/. Другим важным компонентом операционной системы, задействованным в вопросах аутентификации является Name Service Switch. С помощью данного сервиса ОС в том числе определяет источник данных для пользователей и их паролей. Конфигурация данной службы находится в файле — /etc/nsswitch.conf.

FreeIPA клиент в Linux позволяет интегрировать отдельные операционные системы серверов и виртуальных машин в общую управляемую среду с централизованной базой пользователей и правил безопасности. Центральной частью всей подобной системы, безусловно, является сервер FreeIPA, который требует отдельной установки и настройки. Непосредственно на клиентских операционных системах кроме самого freeIPA клиента необходим также System Security Services Daemon (SSSD), который напрямую интегрируется с модулями PAM. При этом сервис SSSD может задействовать различные способы идентификации и аутентификации пользователей — такие как LDAP, Kerberos. Конфигурация демона SSSD находится в файле /etc/sssd/sssd.conf.

Читать далее «FreeIPA клиент на Ubuntu 20.04»

Установка Radosgw вручную на Ubuntu 20.04

radosgw installation

Объектный шлюз Radosgw — один из компонентов кластера CEPH, который позволяет организовать доступ к данным через протоколы S3 или swift. Многие привыкают использовать хранилища данных s3 в сервисах Amazon AWS, вследствии чего возникает закономерный спрос на анологичный сервис в локальных системах хранения. Программное определяемое хранилище данных Ceph позволяет с легкостью организовать данный тип интерфейса для пользователей системы. Шлюз radosgw может быть установлен как на тот же самый сервер, где работают службы MON и OSD кластера, так и на отдельный хост. В этой статье я покажу, как установить этот сервис на отдельный сервер на базе операционной системы Ubuntu 20.04.

Ранее на своем блоге публиковал статью — Установка кластера CEPH. В ней рассказывал о способе инсталяции кластера с помощью ролей Ansible от разработчиков продукта. Замечательный и простой способ, который позволяет с нуля развернуть с нуля практически любую конфигурацию. Однако бывают случаи, когда необходимо провести этот процесс вручную. При этом пройдя через все шаги такой настройки, можно лучше понять определенные глубинные механизмы работы системы CEPH.

Читать далее «Установка Radosgw вручную на Ubuntu 20.04»