Безопасное выполнение Apache Storm

ui.filter: "фильтр.класс"
ui.filter.params: "параметр1": "значение1"

ui.filter: "org.apache.hadoop.security.authentication.server.AuthenticationFilter"
ui.filter.params:
   "type": "kerberos"
   "kerberos.principal": "HTTP/nimbus.witzend.com"
   "kerberos.keytab": "/vagrant/keytabs/http.keytab"
   "kerberos.name.rules": "RULE:[2:$1@$0]([jt]t@.*EXAMPLE.COM)s/.*/$MAPRED_USER/ RULE:[2:$1@$0]([nd]n@.*EXAMPLE.COM)s/.*/$HDFS_USER/DEFAULT"

curl -i --negotiate -u:anyUser -b ~/cookiejar.txt -c ~/cookiejar.txt http://storm-ui-hostname:8080/api/v1/cluster/summary

# Zookeeper (Необходим один из этих для каждого узла в агрегате Zookeeper)
sudo kadmin.local -q 'addprinc zookeeper/zk1.example.com@STORM.EXAMPLE.COM'
sudo kadmin.local -q "ktadd -k /tmp/zk.keytab  zookeeper/zk1.example.com@STORM.EXAMPLE.COM"
# Nimbus и DRPC
sudo kadmin.local -q 'addprinc storm/storm.example.com@STORM.EXAMPLE.COM'
sudo kadmin.local -q "ktadd -k /tmp/storm.keytab storm/storm.example.com@STORM.EXAMPLE.COM"
# Все UI, лог-просмотрщики и управители
sudo kadmin.local -q 'addprinc storm@STORM.EXAMPLE.COM'
sudo kadmin.local -q "ktadd -k /tmp/storm.keytab storm@STORM.EXAMPLE.COM"

storm.thrift.transport: "backtype.storm.security.auth.kerberos.KerberosSaslTransportPlugin"
java.security.auth.login.config: "/путь/к/файлу/jaas.conf"
```Процессы Nimbus и supervisor также будут подключаться к ZooKeeper (ZK), и мы хотим настроить их для использования Kerberos для аутентификации с ZK. Для этого добавьте

```yaml
nimbus.childopts: "-Xmx1024m -Djava.security.auth.login.config=/path/to/file/jaas.conf"
ui.childopts: "-Xmx768m -Djava.security.auth.login.config=/path/to/file/jaas.conf"
supervisor.childopts: "-Xmx256m -Djava.security.auth.login.config=/path/to/file/jaas.conf"
```Файл `jaas.conf` должен выглядеть примерно так для узлов Storm.

Раздел `StormServer` используется процессами Nimbus и DRPC Nodes. Этот раздел не требуется на узлах supervisor.

Раздел `StormClient` используется всеми клиентами Storm, которые хотят общаться с Nimbus, включая UI, LogViewer и supervisor. Мы будем использовать этот раздел на шлюзах, но структура будет немного другой.

Раздел `Client` используется процессами, которые хотят общаться с Zookeeper, и действительно требуется только для Nimbus и supervisor.

Раздел `Server` используется серверами Zookeeper.

Наличие незадействованных разделов в файле JAAS не является проблемой.

```markdown
StormServer {
    com.sun.security.auth.module.Krb5LoginModule необходим
    useKeyTab=true
    keyTab="$keytab"
    storeKey=true
    useTicketCache=false
    principal="$principal";
};
StormClient {
    com.sun.security.auth.module.Krb5LoginModule необходим
    useKeyTab=true
    keyTab="$keytab"
    storeKey=true
    useTicketCache=false
    serviceName="$nimbus_user"
    principal="$principal";
};
Client {
    com.sun.security.auth.module.Krb5LoginModule необходим
    useKeyTab=true
    keyTab="$keytab"
    storeKey=true
    useTicketCache=false
    serviceName="zookeeper"
    principal="$principal";
};
Server {
    com.sun.security.auth.module.Krb5LoginModule необходим
    useKeyTab=true
    keyTab="$keytab"
    storeKey=true
    useTicketCache=false
    principal="$principal";
};

StormServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/storm.keytab"
    storeKey=true
    useTicketCache=false
    principal="storm/storm.example.com@STORM.EXAMPLE.COM";
};
StormClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/storm.keytab"
    storeKey=true
    useTicketCache=false
    serviceName="storm"
    principal="storm@STORM.EXAMPLE.COM";
};
```Client {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/storm.keytab"
    storeKey=true
    useTicketCache=false
    serviceName="zookeeper"
    principal="storm@STORM.EXAMPLE.COM";
};
Server {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    keyTab="/keytabs/zk.keytab"
    storeKey=true
    useTicketCache=false
    serviceName="zookeeper"
    principal="zookeeper/zk1.example.com@STORM.EXAMPLE.COM";
};
```Nimbus также будет преобразовывать имя принципала в локальное имя пользователя, чтобы другие службы могли использовать это имя. Для настройки этого для аутентификации Kerberos установите

Это требуется только на nimbus, но не повредит на любом узле.
Также нам нужно сообщить топологиям, кто является демоном supervisor и демоном nimbus с точки зрения ZooKeeper.

Здесь *nimbus-user* — это Kerberos-пользователь, используемый nimbus для аутентификации с ZooKeeper. Если ZooKeeper удаляет хост и реалм, то это тоже должно быть удалено.

#### Кластер ZooKeeper

Полные детали того, как настроить безопасный ZK, выходят за рамки данного документа. Но в общем вы хотите включить SASL-аутентификацию на каждом сервере, и опционально удалить хост и реалм

И вы хотите включить jaas.conf в командной строке при запуске сервера, чтобы он мог найти keytab.

#### Шлюзы

Идеально, если конечному пользователю потребуется запустить только `kinit` перед взаимодействием с Storm. Для обеспечения этого процесса без проблем, необходимо, чтобы по умолчанию конфигурация `jaas.conf` на шлюзах выглядела примерно так:

### Настройка авторизации

*Аутентификация* выполняет задачу проверки личности пользователя, но также нам нужна *авторизация*, которая выполняет задачу контроля над тем, что каждый пользователь может делать.

Предпочтительным модулем авторизации для Nimbus является *SimpleACLAuthorizer*. Чтобы использовать *SimpleACLAuthorizer*, установите следующее:

```yaml
nimbus.authorizer: "backtype.storm.security.auth.authorizer.SimpleACLAuthorizer"

storm.scheduler: "backtype.storm.scheduler.multitenant.MultitenantScheduler"

multitenant.scheduler.user.pools: 
    "evans": 10
    "derek": 10

supervisor.run.worker.as.user: true

storm.worker-launcher.group=$(worker_launcher_group)
min.user.id=$(min_user_id)
```где `worker_launcher_group` — это та же группа, к которой принадлежит `supervisor`, а `min.user.id` установлен как первое реальное значение ID пользователя в системе.
Этот файл конфигурации также должен принадлежать `root` и не иметь прав записи для группы или всех пользователей.### Имитация пользователя
Клиент Storm может отправлять запросы от имени другого пользователя. Например, если пользователь `userX` отправляет рабочий процесс Oozie, а в ходе выполнения этого рабочего процесса пользователь `oozie` хочет отправить топологию от имени `userX`, он может сделать это с помощью функции имитации. Чтобы отправить топологию от имени другого пользователя, вы можете использовать API `StormSubmitter.submitTopologyAs`. В качестве альтернативы, вы можете использовать `NimbusClient.getConfiguredClientAs`, чтобы получить клиент Nimbus от имени другого пользователя и выполнять любое действие Nimbus (например, завершение работы, балансировка, активация, деактивацию) с помощью этого клиента.Чтобы обеспечить доступ только для авторизованных пользователей к имитации, вы должны запустить nimbus с параметром `nimbus.impersonation.authorizer`, установленным на `backtype.storm.security.auth.authorizer.ImpersonationAuthorizer`.
Компонент `ImpersonationAuthorizer` использует `nimbus.impersonation.acl` в качестве списка разрешений для авторизации пользователей. Ниже приведен пример конфигурации nimbus для поддержки имитации:```yaml
nimbus.impersonation.authorizer: backtype.storm.security.auth.authorizer.ImpersonationAuthorizer
nimbus.impersonation.acl:
    impersonating_user1:
        hosts:
            [список разделённых запятыми хостов, с которых impersonating_user1 имеет право имитировать других пользователей]
        groups:
            [список разделённых запятыми групп, чьих пользователей impersonating_user1 имеет право имитировать]
    impersonating_user2:
        hosts:
            [список разделённых запятыми хостов, с которых impersonating_user2 имеет право имитировать других пользователей]
        groups:
            [список разделённых запятыми групп, чьих пользователей impersonating_user2 имеет право имитировать]

nimbus.impersonation.acl:
    oozie:
        hosts:
            [oozie-host1, oozie-host2, 127.0.0.1]
        groups:
            [some-group-that-userX-is-part-of]
```### Автоматическое предоставление и продление учетных данных
Индивидуальные топологии имеют возможность предоставлять учетные данные (билеты и токены) сотрудникам, чтобы те могли получить доступ к защищенным службам. Экспонирование этого процесса для всех пользователей может быть проблематичным.
Чтобы скрыть этот процесс от пользователей в общем случае, можно использовать плагины для заполнения учетных данных, распаковывать их на стороне сотрудников в объект java Subject и также позволять Nimbus периодически продлевать учетные данные, если это необходимо.
Эти параметры контролируются следующими конфигурациями. topology.auto-credentials — это список java-плагинов, все из которых должны реализовать интерфейс IAutoCredentials для заполнения учетных данных на шлюзе и распаковки их на стороне сотрудников. В безопасном кластере Kerberos они должны быть установлены по умолчанию на backtype.storm.security.auth.kerberos.AutoTGT.
nimbus.credential.renewers.classes также должны быть установлены на это значение, чтобы Nimbus мог периодически продлевать TGT от имени пользователя.nimbus.credential.renewers.freq.secs контролирует частоту опроса продлителя для проверки необходимости продления учетных данных, но значение по умолчанию должно быть достаточно. Кроме того, Nimbus сам по себе может использоваться для получения учетных данных от имени пользователя, отправляющего топологии. Это можно настроить с помощью параметра `nimbus.autocredential.plugins.classes`, который представляет собой список полностью квалифицированных имен классов, все из которых должны реализовать интерфейс `INimbusCredentialPlugin`. Nimbus будет вызывать метод `populateCredentials` всех конфигурируемых реализаций в процессе отправки топологии. Вы должны использовать эту конфигурацию вместе с параметрами `topology.auto-credentials` и `nimbus.credential.renewers.classes`, чтобы учетные данные могли быть заполнены на стороне рабочих узлов, а Nimbus мог автоматически обновлять их. В настоящее время есть два примера использования этой конфигурации: `AutoHDFS` и `AutoHBase`, которые автоматически заполняют делегирующие токены HDFS и HBase для отправителя топологии, чтобы они не были вынуждены распространять ключевые таблицы на всех возможных рабочих узлах.

### Ограничения
По умолчанию Storm позволяет отправлять топологии любого размера. Однако ZK и другие системы имеют ограничения на максимальный размер топологии. Следующие параметры позволяют вам ограничивать максимальный размер топологии.| YAML Параметр | Описание |
|------------|----------------------|
| nimbus.slots.perTopology | Максимальное количество слотов/рабочих узлов, которое может использовать топология. |
| nimbus.executors.perTopology | Максимальное количество исполнителей/потоков, которое может использовать топология. |

### Удаление старых логов
Демон Logviewer теперь также отвечает за удаление старых лог-файлов умерших топологий.

| YAML Параметр | Описание |
|--------------|-------------------------------------|
| logviewer.cleanup.age.mins | Минимальный возраст (по времени последнего изменения) лог-файла рабочего узла, чтобы он был рассмотрен для удаления. (Логи живых рабочих узлов никогда не удаляются: Их логи переключаются через logback.) |
| logviewer.cleanup.interval.secs | Интервал времени в секундах, через который демон Logviewer удаляет логи рабочих узлов. |

### Разрешение конкретным пользователям или группам доступа к Storm

С помощью SimpleACLAuthorizer любой пользователь с действительной керберской билетом может развернуть топологию или выполнять дальнейшие операции, такие как активация, деактивация, доступ к информации о кластере. Этот доступ можно ограничить, указав параметры `nimbus.users` или `nimbus.groups`. Если указан параметр `nimbus.users`, только пользователи из этого списка могут развертывать топологию или получать доступ к кластеру. Аналогично параметр `nimbus.groups` ограничивает доступ к кластеру Storm только пользователям, которые принадлежат этим группам.Для настройки укажите следующую конфигурацию в файле storm.yaml```yaml
nimbus.users: 
   - "тестовый_пользователь"

nimbus.groups: 
   - "шторм"