Дедупликация данных является особенностью Windows Server 2016, которая помогает уменьшить влияние избыточных данных на расходы по хранению. Когда включена функция дедупликации, то Windows Server 2016 оптимизирует свободное пространство на томе, изучая данные об объеме дублирования. После идентификации дублированные части набора данных тома сохраняются единожды и сжимаются (опционально) для дополнительной экономии.
Дедупликация данных оптимизирует избыточность без ущерба целостности и идентичности данных.
Почему дедупликация данных – полезно?
Дедупликации является важным инструментом администраторов хранения данных, который используется для снижения расходов, связанных с дублированием информации. Большие массивы данных часто имеют много дублей, что увеличивает затраты на их хранение.
Наиболее подходящие кандидаты на дедупликацию:
- Файловые сервера
- Хранилища резервных копий и архивы
- Хранилища инсталляционных файлов и иной информации, преимущественно использующейся только для чтения
- Библиотеки образов виртуальных машин
| Сценарий | Тип данных | Экономия места |
| Пользовательские документы | Офисные документы, фотографии, музыка и т.д. | 30-50 % |
| Дистрибутивы ПО | Software binaries, cab files | 70-80 % |
| Библиотеки образов виртуальных машин | ISOs, виртуальные диски VHD и т.д. | 80-95 % |
| Файловые сервера | Все вышеперечисленное | 50-60 % |
Изменения в дедупликации Windows Server 2016 в большей степени были направлены на оптимизацию производительности, гибкости и управления.
Поддержка для больших объемов
В Windows Server 2012 R2 для получения максимальной производительности от дедупликации данных, объемы должны быть рассчитаны таким образом, чтобы гарантировать совпадение оптимизации со скоростью изменения данных. Как правило, это означает, что дедупликация данных является производительной только на объемах 10 ТБ или меньше в зависимости от моделей записи рабочей нагрузки.
В Windows Server 2016 же дедупликация данных является весьма производительной на объемах до 64 ТБ.
Изменения в принципе работы
В Windows Server 2012 R2 задание «оптимизации» происходило однопоточно для каждого тома. Для обеспечения приемлемой производительности процесса дудупликации большие наборы данных должны были разбиваться на меньшие объемы.
В Windows Server 2016 задание «оптимизации» было модернизировано для запуска нескольких потоков параллельно с использованием нескольких очередей ввода / вывода для каждого тома, в результате чего увеличилась производительность.
Эти изменения схематично можно представить так:
Что это означает?
В Windows Server 2012 R2 очень большие файлы не являются хорошими кандидатами для дедупликации данных из-за снижения производительности конвейера обработки дедупликации. В Windows Server 2016 же дедупликация файлов до 1 ТБ будет намного производительней, что позволяет администраторам применять ее для более широкого спектра рабочих нагрузок, например, включение дедупликации очень больших файлов, которые, как правило, связанны с рабочими нагрузками резервного копирования.
Упрощенная настройка для виртуализированных приложений резервного копирования
Дедупликация для виртуализированных приложений резервного копирования является поддерживаемым сценарием в Windows Server 2012 R2, но требует ручной настройки параметров дедупликации. В Windows Server 2016 конфигурация дедупликации для виртуализированных приложений резервного копирования резко упрощается за счет заранее определенной опции "Тип использования" при включении дедупликации для тома.
Поддержка Cluster Operating System Rolling Upgrade
В предыдущих версиях продукта отказоустойчивый кластер под управлением Windows Server требует, чтобы все узлы были одинаковой версии Windows Server. Начиная с Windows Server 2016, появился механизм под названием Cluster Operating System Rolling Upgrade, который позволяет организовать кластер в смешанном режиме. Достаточно в инфраструктуру кластера добавить новый узел Windows Server 2016 и запустить процесс обновления остальных узлов. При этом кластер продолжит работать на функциональном уровне Windows Server 2012 R2 до тех пор, пока все его узлы не будут переведены на Windows Server 2016.
Дедупликация поддерживает эту новую конфигурацию кластера в смешанном режиме для обеспечения полного доступа к данным во время обновления. Таким образом, мы можем постепенно внедрять новые версии дедупликации на существующем Windows Server 2012 R2 кластере без простоев.