Содержание
Dremio описала механизм шифрования таблиц Apache Iceberg на основе конвертного шифрования и модульного шифрования Parquet. Подход позволяет защитить данные на уровне таблицы без изменения прикладного кода. Для инженеров это означает возможность встраивать шифрование в существующие lakehouse-архитектуры, сохраняя совместимость с форматом Parquet и каталогами Iceberg. Apache Iceberg представляет собой формат таблиц, который организует большие наборы данных в озере данных и обеспечивает атомарность операций, отслеживание версий и совместимость с различными движками запросов. Parquet служит колоночным форматом хранения, оптимизированным для аналитических нагрузок, а KMS — это служба управления ключами, которая хранит и предоставляет криптографические ключи по запросу. Внедрение такого шифрования помогает организациям соответствовать требованиям безопасности, не переписывая приложения и не меняя способ взаимодействия с данными.
Механизм конвертного шифрования
Конвертное шифрование отделяет ключ данных от ключа шифрования, который хранится во внешней системе. Каждый файл Parquet получает собственный ключ данных, зашифрованный главным ключом через KMS. Такой подход снижает количество обращений к KMS и уменьшает риск утечки главного ключа. В Iceberg метаданные таблицы хранят ссылки на зашифрованные ключи, поэтому при чтении движок запрашивает расшифровку только нужных конвертов. Конвертное шифрование работает по принципу: главный ключ никогда не покидает KMS, а ключи данных генерируются заново для каждого файла. Это важно при принятии решения о внедрении, поскольку снижает поверхность атаки и упрощает ротацию ключей без перешифрования всех данных. При записи движок генерирует новый ключ данных для каждого файла и упаковывает его в конверт. Чтение требует обратной операции: извлечения зашифрованного ключа из метаданных и запроса KMS. Это добавляет одну операцию на файл, но позволяет использовать разные ключи для разных партиций без перешифрования всей таблицы. Ограничение проявляется при высокой частоте записи мелких файлов: количество запросов к KMS растет линейно. Для оценки целесообразности стоит учитывать, что при массовой записи мелких файлов нагрузка на KMS может стать узким местом, а стоимость вызовов службы управления ключами способна вырасти. В то же время раздельные ключи упрощают управление доступом к отдельным партициям и снижают риск компрометации всего набора данных.
Интеграция с Parquet и ограничения
Iceberg опирается на модульное шифрование Parquet, которое позволяет шифровать отдельные колонки или страницы. Это дает гибкость: можно оставить незашифрованными метаданные, нужные для планирования запросов, и защитить только чувствительные колонки. Однако не все версии Parquet-библиотек поддерживают полный набор режимов, поэтому при обновлении кластера требуется проверка совместимости. Модульное шифрование Parquet означает возможность выборочного применения криптографии к конкретным частям файла, что сохраняет производительность при сканировании только нужных колонок. При решении о внедрении важно оценить, насколько текущие версии библиотек в кластере соответствуют требованиям, поскольку несовместимость может потребовать дополнительных работ по обновлению компонентов. Еще одно ограничение связано с размером метаданных. Каждый зашифрованный файл добавляет в манифест Iceberg информацию о ключе, что увеличивает объем метаданных при большом количестве файлов. При частых операциях компакции это приводит к росту размера каталога и замедлению планирования запросов. В контурах с ограниченной пропускной способностью сети между движком и KMS задержки становятся заметными при сканировании тысяч файлов. Рост метаданных напрямую влияет на скорость планирования запросов и объем памяти, потребляемой каталогом, поэтому перед внедрением стоит оценить, насколько часто выполняются операции слияния файлов и как это скажется на общей производительности.
Применение в российских контурах
В российских инфраструктурах шифрование Iceberg можно связать с локальными реализациями KMS, например на базе КриптоПро или встроенных механизмов Yandex Cloud. Требования 152-ФЗ по защите персональных данных предполагают контроль над ключами, поэтому внешние облачные KMS часто исключают. Интеграция через envelope encryption позволяет оставить ключи внутри периметра, при этом Parquet-файлы остаются переносимыми между кластерами. Envelope encryption здесь означает использование конвертного шифрования, при котором ключи данных шифруются главным ключом, хранящимся локально. Это важно для compliance, поскольку обеспечивает полный контроль над криптографическим материалом без передачи его за пределы организации. При внедрении важно учитывать, что не все российские дистрибутивы Spark и Trino содержат актуальные версии библиотек Parquet с поддержкой модульного шифрования. Требуется сборка или обновление компонентов, а также тестирование на совместимость с используемыми форматами сжатия. Дополнительно стоит оценить нагрузку на KMS при массовой записи, поскольку каждое создание файла генерирует запрос на шифрование конверта. Несоответствие версий библиотек может привести к необходимости дополнительных усилий по сборке и тестированию, что увеличивает сроки проекта и риски несовместимости с существующими пайплайнами.
Когда стоит внедрять
Решение имеет смысл при наличии строгих требований к изоляции данных и при работе с чувствительными колонками, которые нельзя хранить в открытом виде. Если основная задача — защита от доступа к файловой системе, то проще использовать шифрование на уровне диска или объектного хранилища. Iceberg-шифрование добавляет ценность именно при необходимости избирательного доступа к колонкам и при совместном использовании данных разными командами с разными правами. При оценке стоит сравнить затраты на поддержку KMS и рост метаданных с выгодами от granularного контроля доступа и соответствия регуляторным требованиям. Если данные не содержат персональной информации и не требуют избирательного шифрования, то дополнительные накладные расходы могут оказаться неоправданными.
Источник
Это краткий разбор материала Dremio. Полная версия с примерами кода, схемами и деталями реализации — в оригинале: Шифрование таблиц Iceberg через KMS и Parquet.
Курс по теме — Каталог курсов Школы Больших Данных


