2 Потоки данных

← Предыдущий раздел: Общие сведения Следующий раздел: Элементы →

Поток данных — это рабочее пространство для решения конкретной бизнес-задачи, например создания отчёта, автоматизации процесса или глубокого анализа.

В рамках потока вы управляете всеми необходимыми элементами:

• Исходными данными.

• Цепочками их преобразований.

• Бизнес-логикой.

Таким образом, потоки позволяют изолировать данные и процессы для разных задач, команд или направлений, обеспечивая чёткое разделение внутри системы.

По умолчанию после успешной авторизации открывается вкладка «Потоки данных» (Рисунок 4).

Рисунок 4 — Вкладка «Потоки данных»

2.1 Публичные элементы

Для включения отображения публичных элементов в потоке нажмите переключатель . При переключении обновляются значения количества элементов в инфографике карточек потоков.

2.2 Поиск потоков

Чтобы выполнить поиск среди потоков данных, введите полностью или частично наименование требуемого потока в строке поиска . В результате в списке отобразятся потоки данных, подходящие по введенным символам или маскам ( * ), присутствующим в наименовании.

Поиск осуществляется по полному соответствию и не учитывает формы слова (падежи, окончания и т.д.).

2.3 Фильтрация потоков

Для более удобного поиска потоков данных предусмотрены фильтры
(Рисунок 5), переход к которым выполняется с помощью нажатия кнопки .

Рисунок 5 — Фильтры потоков данных

Доступны следующие виды фильтров по:

• уровню доступа;

• автору последнего внесенного изменения;

• периоду последнего внесенного изменения.

В результате в списке отобразятся потоки, удовлетворяющие условиям выбранных фильтров.

Чтобы сбросить все выбранные фильтры, нажмите кнопку .

Чтобы закрыть фильтры нажмите на кнопку .

2.4 Создание потока данных

Для создания нового потока данных нажмите кнопку во вкладке «Потоки данных» (Рисунок 4). Отобразится окно ввода наименования создаваемого потока данных (Рисунок 6).

Рисунок 6 — Окно ввода наименования создаваемого потока данных

Введите наименование создаваемого потока данных и нажмите кнопку . Созданный поток данных отобразится в списке уже существующих потоков (Рисунок 7).

На карточке потока данных (Рисунок 7) представлены следующие данные:

• количество источников данных , размещенных в потоке данных;

• количество наборов данных , размещенных в потоке данных;

• наименование потока;

• пользователь, внесший последние изменения;

• дата и время внесения последних изменений;

• дополнительные действия (Рисунок 8):

• переименование потока данных;

• расписание обновления;

• удаление потока данных.

Рисунок 7 — Карточка потока данных

Рисунок 8 — Дополнительные действия

Для переименования потока данных выберите пункт в меню дополнительные действия. Отобразится окно для переименования потока данных (Рисунок 9). Введите новое название в поле ввода и нажмите , для отмены операции переименования нажмите .

Рисунок 9 — Окно переименования потока данных

Для перехода в окно настройки расписания обновления в потоке выберите пункт в меню дополнительные действия (Рисунок 8), после чего откроется окно настройки расписания обновления в потоке (Рисунок 16) (см. подробнее п. 2.8).

Для удаления потока данных выберите пункт в меню дополнительные действия. Отобразится окно подтверждения удаления (Рисунок 10).

Рисунок 10 — Окно подтверждения удаления

Для отмены операции удаления потока нажмите , для удаления нажмите .

2.5 Просмотр элементов потока данных

Для просмотра элементов откройте поток данных – элементы отобразятся в рабочем пространстве потока данных.

Масштаб отображения элементов возможно настроить с помощью колесика мыши или с помощью шкалы масштаба . Используйте ползунок, кнопки и для уменьшения и увеличения масштаба рабочего пространства. Текущий масштаб указан в окне рядом. Нажмите на него, после чего произойдет сброс до 100% масштаба.

Используйте ЛКМ для перемещения по рабочему пространству потока данных.

Также возможно просмотреть перечень элементов потока данных. Для этого нажмите кнопку . Отобразятся все входящие в выбранный поток данных элементы (Рисунок 11).

Рисунок 11 — Элементы потока

Нажмите кнопку у выбранного элемента в рабочем пространстве потока данных (Рисунок 12), чтобы перейти к редактированию элемента, сделать его публичным, добавить внешние связи, просмотреть информацию о нем или удалить элемент.

Рисунок 12 — Возможные действия с элементом

Для списка доступны поиск и фильтрация (аналогично поиску и фильтрации элементов во вкладке «Элементы», см. подробнее п. 3.3.1, 3.3.2).

2.6 Создание новых элементов в потоке данных

Нажмите ЛКМ на карточку потока данных для создания новых элементов (Рисунок 7).

Чтобы добавить новый элемент в поток данных, нажмите кнопку в меню действий с потоками и в раскрывшемся списке (Рисунок 13) выберите требуемый тип и перенесите его на поток. Подробное описание всех элементов и их создания представлено в п. 2.9.

Рисунок 13 — Меню действий с развернутым меню выбора типа добавляемого

элемента

2.7 Выделение элементов

При открытии потока данных в меню действий с потоками (Рисунок 13) по умолчанию активирован режим указателя . В этом режиме с помощью мыши и курсора можно управлять рабочим пространством: выбирать элементы, перемещать группы элементов и т. д.

Для управления зажмите ЛКМ и, удерживая её нажатой, плавно перемещайте мышь. Выбранный элемент или группа элементов будет перемещаться вслед за курсором до момента отпускания кнопки.

Режим выделения (Рисунок 13) позволяет выделять несколько элементов рабочего пространства и выполнять над ними групповые действия.

Выберите элемент, кликнув по нему ЛКМ. Чтобы выделить несколько элементов, зажмите ЛКМ и протяните указатель по рабочему пространству потока данных.

После выделения нескольких элементов в контекстном меню становятся доступны групповые действия над элементами (Рисунок 14).

Рисунок 14 — Меню групповых действий

Для получения информации по работе с групповыми элементами нажмите на кнопку , после чего отобразится краткое руководство по режиму выбора элементов (Рисунок 14).

Рисунок 15 — Руководство по режиму выбора элементов

Для группового обновления набора данных выберите несколько элементов и нажмите на кнопку , после чего состояние элементов обновится.

Для проверки состояния выбранных элементов выберите несколько элементов и нажмите на кнопку , после чего система проверит состояние каждого элемента и присвоит ему статус. Элементы с ошибками будут отмечены красным индикатором.

Для группового удаления набора данных выберите несколько элементов и нажмите на кнопку , после чего выбранные элементы удалятся.

Нажмите клавишу Esc для отмены выбора всех выбранных элементов.

Чтобы выбрать все элементы потока данных, нажмите сочетание клавиш Ctrl+A.

Выход из режима выбора элементов отменяет все выбранные элементы.

2.8 Расписание обновления

Расписание – план, по которому осуществляется запуск мероприятий в DataLab.

Мероприятие – это редактируемый список наборов данных и настраиваемое расписание для обновления данных элементов.

Для перехода к работе с расписанием нажмите кнопку . Отобразится окно настройки расписания обновления в потоке (Рисунок 16).

Рисунок 16 — Окно настройки расписания обновления в потоке

Окно настройки расписания обновления в потоке включает в себя следующие вкладки:

• общие настройки;

• элементы;

• расписание;

• выполнение;

• уведомления.

Во вкладке «Общие настройки» отображаются настройки ограничения времени обновления потока и настройки по умолчанию для элементов потока (Рисунок 16).

Для настройки режима ограничения времени выполнения обновления потока нажмите на чек-бокс .

Для просмотра информации о конкретной настройке нажмите на кнопку , после чего отобразится подсказка с информацией о ней.

Для переключения состояния обновления элемента «активный/не активный» нажмите на чек-бокс .

Для выбора типа действия при ошибке обновления элемента нажмите на выпадающий список и выберите тип действия.

Во вкладке «Элементы» отображаются наборы данных в текущем потоке данных, требующие обновления (Рисунок 17).

Рисунок 17 — Вкладка «Элементы»

На вкладке отображается количество наборов данных потока, для которых включено и выключено обновление .

Чтобы выполнить поиск среди элементов потока, введите полностью или частично наименование требуемого потока в строке поиска .

Чтобы поменять активность переключателей в таблице на противоположную нажмите на кнопку . Состояние неактивных переключателей не изменится.

Доступны следующие сведения об элементах в таблице:

• чек-бокс для выделения элемента, ;

• переключатель состояния обновления элемента "активный/не активный" / ;

• связи элемента . При нажатии на иконку отображается подсказка: «Получает данные

{список ссылок на элементы, являющиеся источниками данных для текущего},

Передает данные:

{список ссылок на элементы, принимающие данные от текущего}»

• иконка типа элемента;

• название элемента;

• тип материализации;

• иконка оповещения о невозможности обновления элемента. Отображается в колонке «Тип обновления». ;

• среднее время обновления;

• количество повторных попыток обновления. Для ввода значения укажите количество в поле ;

• превышение времени обновления. Для ввода значения включите чек-бокс «Ограничивать время» и укажите количество в поле ;

• Действие при превышении. Выберите действие из списка действий с помощью выпадающего списка .

Для групповой обработки элементов из таблицы, установите флаг выбрать напротив нужного элемента и нажмите . Откроется выпадающий список с действиями (Рисунок 18).

Рисунок 18 — Выпадающий список с действиями

При выборе пункта откроется всплывающее окно с полем для ввода количества попыток (Рисунок 19), после сохранения выбранным элементам установится указанное количество попыток.

Рисунок 19 – Окно «Задать количество попыток»

При выборе пункта - для всех выбранных элементов переключатель состояния обновления элемента станет не активный.

При выборе пункта - для всех выбранных элементов и элементов, которые от них зависят для всех выбранных элементов, переключатель состояния обновления элемента станет не активный.

При выборе пункта - для всех выбранных элементов переключатель состояния обновления элемента станет активный

При выборе пункта - для всех выбранных элементов и элементов, которые от них зависят, переключатель состояния обновления элемента станет активный.

При выборе пункта - для всех выбранных элементов переключатель состояния обновления элемента изменит статус.

Вкладка «Расписание» (Рисунок 20) содержит перечень периодов обновления расписания и перечень триггеров запуска обновления.

Рисунок 20 – Вкладка «Расписание»

Чтобы добавить период обновления, нажмите кнопку . Отобразится форма настройки периода обновления (Рисунок 21).

Рисунок 19 — Настройка периода обновления

Укажите дату и время начала и конца действия. Дату возможно указать вручную или с помощью календаря (Рисунок 22). Для этого нажмите кнопку и выберите год, месяц и день.

Рисунок 20 — Календарь

Время возможно указать вручную или с помощью поля ввода , открытие которого выполняется нажатием кнопки .

Выберите минуты/часы/дни/месяцы, в которые будет происходить обновление (Рисунок 23).

Рисунок 21 — Выбор минут/часов/дней/месяцев

Для выбора периода обновления измените настройку на «С интервалом» .

Выберите из списка интервал и с какой минуты начинать обновление (Рисунок 24). Аналогично для минут/часов/дней/месяцев.

Рисунок 22 — Настройка периода

Сформированный период обновления отобразится в нижней части формы настройки периода обновления (Рисунок 25).

Рисунок 23 — Период обновления

Для сброса настроек нажмите на кнопку .

Для фиксации изменений нажмите на кнопку . Сохраненный период обновления отобразится в списке (Рисунок 29).

Рисунок 24 — Список периодов обновлений

Чтобы добавить триггер обновления, нажмите кнопку . Отобразится форма настройки триггера обновления (Рисунок 27).

Рисунок 25 — Добавление триггера.

Выберите поток из списка .

Выберите условие запуска

Укажите дату и время начала и конца действия. Дату возможно указать вручную или с помощью календаря. Для этого нажмите кнопку и выберите год, месяц и день.

Рисунок 26 — Календарь

Время возможно указать вручную или с помощью поля ввода , открытие которого выполняется нажатием кнопки .

Для фиксации изменений нажмите на кнопку . Сохраненный триггер отобразится в списке (Рисунок 29)

Рисунок 27 — Список триггеров

Результаты выполнения и текущие процессы обновлений отображаются во вкладке «Выполнение» (Рисунок 30).

Рисунок 28 — Вкладка «Выполнение»

Выберите отчет для просмотра результата выполнения обновления
(Рисунок 31).

Рисунок 29 — Отчет о выполнении обновления

Результаты выполнения обновления возможно отфильтровать по статусу выполнения . Раскройте выпадающий список и выберите один из предложенных вариантов – в списке будут отображаться результаты с заданным статусом.

Запустите выполнение обновления, нажав кнопку .

С помощью переключателя (Рисунок 30) установите расписание обновлений в режим «активно» или «неактивно»:

• Активное расписание: система регулярно проверяет и обновляет данные согласно заданному расписанию ;

• Неактивное расписание: автоматическое обновление данных приостановлено .

Для сохранения нажмите кнопку .

Вкладка «Уведомление» (Рисунок 32) содержит перечень периодов уведомлений.

Рисунок 30 — Вкладка «Уведомление»

Если уведомлений, связанных с текущим потоком или элементами текущего потока нет, то отображается текст: «По текущему потоку еще нет уведомлений».

Для создания уведомления по текущему потоку нажмите на кнопку , после чего новой вкладке открывается форма создания уведомления (см. подробнее п. 5.3).

При нажатии на наименование уведомления в новой вкладке браузера открывается форма редактирования уведомления.

Если уведомление содержит 1 элемент, то при нажатии на наименование элемента в столбце «Элементы текущего потока» отображается его название, если более 1 элемента, то отображается количество , при нажатии открывается окно со списком элементов .

Если уведомление содержит 1 событие, то при нажатии на наименование элемента в столбце «События уведомления» отображается его название, если более 1 события, то отображается количество , при нажатии открывается окно со списком событий .

2.9 Создание элементов

Откройте рабочее пространство потока данных (Рисунок 33). Для этого инициируйте создание нового потока данных, нажмите кнопку и выберите элемент, который необходимо создать.

Рисунок 31 — Рабочее пространство потока данных

2.9.1 Мост

В системе реализована возможность подключения нескольких хранилищ данных, включая ClickHouse и PostgreSQL. Для организации доступа к данным между различными хранилищами используется элемент типа «Мост» .

Элемент «Мост» предназначен для обеспечения доступа к данным хранилища-источника из целевого хранилища. При этом физическое перемещение или копирование данных между хранилищами не выполняется.

Например, при создании набора данных в целевом хранилище отсутствует возможность напрямую сформировать запрос к данным, расположенным в другом хранилище. Для решения данной задачи в целевом хранилище создается элемент типа «Мост», который обеспечивает доступ к данным выбранного хранилища-источника.

При создании элемента «Мост» необходимо:

• Выбрать целевое хранилище, в котором будет создан элемент.

• Выбрать хранилище-источник, данные которого необходимо сделать доступными.

• Сохранить созданный элемент.

Элемент «Мост» относится к тому хранилищу, в котором он был создан. Например, если элемент создан в целевом хранилище, он позволяет организовать доступ к данным любого другого подключенного хранилища, кроме самого целевого хранилища.

После создания элемента «Мост» при работе с наборами данных в целевом хранилище становится доступен созданный элемент, через который можно обращаться к таблицам хранилища-источника. В интерфейсе отображается список таблиц, транслируемых через элемент «Мост» из хранилища-источника в целевое хранилище.

Для подключения нескольких внешних хранилищ необходимо создавать отдельный элемент типа «Мост» для каждого хранилища-источника.

На текущий момент элемент типа «Мост» поддерживается только для работы с наборами данных.

Таблицы, получаемые из хранилища-источника через элемент «Мост», могут быть переименованы. При этом в рамках одного элемента «Мост» имена таблиц должны быть уникальными и не могут повторяться.

Создайте элемент «Мост», зажав кнопку и переместив элемент на рабочее пространство потока данных. Отобразится окно настройки элемента (Рисунок 34).

Рисунок 32 — Окно настройки элемента «Мост»

Выберите хранилище из выпадающего списка , введите код и название элемента .

Нажмите переключатель / , чтобы сделать элемент публичным или приватным.

Настройте уровень доступа, нажав кнопку и выбрав подходящий уровень из списка .

Выполните настройку подключения:

• Выберите таблицы из вкладки Поток или Публичные. Используйте поиск по названию или выберите таблицу вручную с помощью прокрутки списка.

• При необходимости введите новое название таблицы.

• Для сохранения выполненных действий нажмите кнопку .

2.9.2 Подключение к БД

Создайте элемент «Подключение к БД», зажав кнопку и переместив элемент на рабочее пространство потока данных. Отобразится окно настройки элемента (Рисунок 35).

Рисунок 33 — Окно настройки элемента «Подключение к БД»

Введите название и код элемента.

Нажмите переключатель / , чтобы сделать элемент публичным или приватным.

Настройте уровень доступа, нажав кнопку и выбрав подходящий уровень из списка .

Выполните настройку подключения. Для этого заполните поля (примечание: перечень полей зависит от типа БД):

• выберите БД из списка;

• введите текстовое описание (если требуется);

• укажите:

• протокол;

• хост;

• порт;

• название;

• пользователя;

• пароль;

• задайте таймаут соединения в секундах;

• установите флаг верификации SSL сертификата, если необходимо.

Проверьте соединение с БД. Для этого нажмите кнопку . В случае возникновения ошибки отобразится кнопка . Нажмите ее, чтобы ознакомиться с причиной возникновения проблемы (Рисунок 36).

Рисунок 34 — Ошибка соединения с БД

Добавьте таблицу. Для этого нажмите кнопку и в отобразившемся окне (Рисунок 37) заполните поля с кодом и описанием таблицы.

Рисунок 35 — Добавление новой таблицы

Выберите в левой части экрана схему.

В случае если в наборе данных отсутствуют схемы, в левой части экрана отобразится соответствующая строка (Рисунок 38).

Рисунок 36 — В наборе данных отсутствуют схемы

В центральной области экрана отобразятся соответствующие схеме таблицы. Для отображения колонок в правой части экрана выберите таблицу (Рисунок 39).

Рисунок 37 — Колонки таблицы

В случае, если колонки в таблице отсутствуют, в правой части экрана отобразится соответствующая строка (Рисунок 40).

Рисунок 38 — Отсутствие колонок в таблице

Поставьте метки на необходимых колонках либо нажмите кнопку . Чтобы убрать метки со всех колонок, нажмите кнопку .

Для сохранения выполненных действий (Рисунок 41) нажмите кнопку .

Рисунок 39 — Таблица добавлена

Чтобы посмотреть данные таблицы, нажмите кнопку . Информация отобразится в нижней части экрана (Рисунок 42).

Рисунок 40 — Данные таблицы

Для изменения или удаления таблицы из элемента нажмите кнопку или соответственно. Также возможно удалить все добавленные таблицы нажатием кнопки .

Для элементов, которые были сохранены и изменены ранее, возможно просмотреть историю изменений элемента. Для этого перейдите во вкладку «История изменений» (Рисунок 43). Зеленым цветом выделена текущая версия, красным – исходная. Нажав кнопку в строке версии, возможно выбрать конкретную версию как исходную или целевую.

Доступны два варианта отображения изменений – в виде двух панелей либо последовательно.

Рисунок 41 — История изменений

Сохраните созданный элемент, нажав кнопку .

2.9.3 Подключение к файловому источнику

Создайте элемент «Подключение к файловому источнику», зажав кнопку и переместив элемент на рабочее пространство потока данных. Отобразится окно настройки элемента (Рисунок 44).

Рисунок 42 — Окно настройки элемента «Подключение к файловому источнику»

Введите наименование и код элемента.

Нажмите переключатель / , чтобы сделать элемент публичным или приватным.

Настройте уровень доступа, нажав кнопку и выбрав подходящий уровень из списка .

Добавьте с помощью нажатия кнопки и выберите вариант загрузки «Локальный» или «Удаленный». В случае выбора локальной загрузки отобразится стандартное окно диспетчера файлов. При выборе удаленной загрузки отобразится окно редактирования файла (Рисунок 45).

Рисунок 43 — Окно редактирования файла

Измените наименование файла при необходимости. Выберите протокол. Укажите:

• хост;

• порт;

• полный путь к файлу;

• пользователя;

• пароль;

• таймаут загрузки в секундах.

Нажмите кнопку . В случае возникновения ошибки отобразится кнопка . Нажмите ее, чтобы ознакомиться с причиной возникновения проблемы.

Для сохранения нажмите кнопку .

Рисунок 44 — Загрузка файлов

После успешной загрузки выберите файл для отображения входящих в него таблиц (Рисунок 47).

Рисунок 45 — Просмотр таблиц

Чтобы посмотреть данные таблицы, нажмите кнопку . Информация отобразится в нижней части экрана Рисунок 48).

Рисунок 46 — Данные таблицы

Выберите таблицу и нажмите кнопку , чтобы добавить таблицу автоматически.

Нажмите кнопку «Добавить» для добавления таблицы вручную (Рисунок 49-Рисунок 51).

Рисунок 47 — Редактирование таблицы (формат xlsx)

Рисунок 48 — Редактирование таблицы (формат JSON)

Рисунок 49 — Редактирование таблицы (формат CSV)

Для сохранения изменений нажмите кнопку . Чтобы закрыть окно редактирования таблицы, нажмите кнопку .

Нажмите кнопку «Удалить все» для очистки таблицы.

Для элементов, которые были сохранены и изменены ранее, возможно просмотреть историю изменений элемента. Для этого перейдите во вкладку «История изменений» (Рисунок 52). Зеленым цветом выделена текущая версия, красным – исходная. Нажав кнопку в строке версии, возможно выбрать конкретную версию как исходную или целевую.

Доступны два варианта отображения изменений – в виде двух панелей либо последовательно.

Рисунок 50 — История изменений

Если истории изменений нет, отобразится текст: «Не найдено версии кроме текущей».

Для обновления истории изменений нажмите кнопку .

Сохраните созданный элемент, нажав кнопку .

2.9.4 Web сервис

Создайте элемент «Web сервис», зажав кнопку и переместив элемент на рабочее пространство потока данных. Отобразится окно настройки элемента
(Рисунок 53).

Рисунок 51 — Окно настройки элемента «Web сервис»

Выберите хранилище-источник , введите код и название .

Нажмите переключатель / , чтобы сделать элемент публичным или приватным.

Настройте уровень доступа, нажав кнопку и выбрав подходящий уровень из списка .

Окно настройки элемента «Web сервис» состоит из следующих компонентов:

• Таблицы источника данных;

• Настройки запроса и получение ответа;

• Параметры источника данных.

В шапке окна «Таблицы» добавьте таблицу. Для этого нажмите кнопку , после чего создастся новая таблица в источник данных. Название и код таблицы сгенерируются автоматически (Рисунок 54).

Рисунок 52 — Окно настройки элемента «Web сервис» с добавленной таблицей

При наличии хотя бы одной таблицы в списке таблиц становится доступной кнопка «Удалить все таблицы» нажмите на нее и подтвердите удаление .

Для удаления одной выбранной таблицы нажмите на кнопку в списке таблиц в строке с названием таблицы и подтвердите удаление .

Чтобы выбрать таблицу для работы найдите нужную таблицу в списке кликните ЛКМ по строке с названием таблицы, после чего строка подсветится синим цветом. Информация о выбранной таблице отобразится в окне настройки запроса и получение ответа (Рисунок 54).

Чтобы добавить новый параметр нажмите кнопку рядом с заголовком «Параметры», после чего откроется форма создания/редактирования параметра.

Рисунок 53 — Окно настройки элемента «Web сервис». Параметры источника

данных

Заполните поля формы и нажмите кнопку для добавления параметра. Сохраненный параметр отобразится в списке параметров (Рисунок 56). Если значение параметра требуется скрыть нажмите на чек-бокс .

Рисунок 54 — Окно настройки элемента «Web сервис». Список параметров

источника данных

Чтобы скопировать название параметра наведите курсор на строку с нужным параметром в списке параметров и нажмите на иконку (Рисунок 56) (появляется при наведении). Название параметра вместе с открывающими ('{{') и закрывающими ('}}') спецсимволами скопируется в буфер обмена.

Чтобы отредактировать существующий параметр наведите курсор на строку с параметром в списке и откройте контекстное меню . Выберите пункт внесите необходимые изменения в форме редактирования и нажмите для применения изменений.

Чтобы удалить один параметр наведите курсор на строку с нужным параметром, откройте контекстное меню и выберите пункт «Удалить». В окне подтверждения нажмите . Система удалит параметр из списка и обновит локальную модель.

Чтобы удалить все параметры нажмите на кнопку рядом с заголовком «Параметры». Убедитесь, что список параметров не пуст (иначе кнопка будет неактивна). В окне подтверждения нажмите . Система удалит все параметры из источника данных и обновит локальную модель.

Чтобы настроить общие параметры запроса перейдите в окно настройки запроса и получение ответа (Рисунок 57).

Рисунок 55 — Окно настройки элемента «Web сервис». Окно настройки запроса и

получение ответа, вкладка «Общие»

Настройте параметры запроса:

• Заполните обязательные поля:

• «Код» ;

• «Описание» ;

• Выберите метод запроса из выпадающего списка ;

• Введите URL адрес сервиса в поле «Адрес».

• Настройте дополнительные параметры:

• выберите протокол (HTTP 1.1 или HTTP/2);

• настройте перенаправление ;

• установите таймаут запроса (по умолчанию - 30 сек);

• включите/выключите SSL верификацию .

• Укажите дополнительные настройки:

• Укажите группу кодов ошибок с помощью набора чек-боксов ;

• Укажите дополнительные коды ошибок ;

• Исключите заголовки ответа .

Чтобы добавить заголовок запроса перейдите на вкладку «Заголовки» (Рисунок 58).

Рисунок 56 — Окно настройки элемента «Web сервис». Окно настройки запроса

и получение ответа, вкладка «Заголовки»

Для создания заголовка нажмите кнопку , после чего откроется поле для ввода заголовка и его значения.

Нажмите кнопку . Если название заголовка не уникально, система выдаст ошибку («Название заголовка не уникально!»).

Чтобы настроить тело запроса:

• Убедитесь, что выбран метод POST на вкладке «Общие» (Рисунок 57), после чего отобразится вкладка «Тело запроса» (Рисунок 59);

Рисунок 57 — Окно настройки элемента «Web сервис». Окно настройки запроса

и получение ответа, вкладка «Тело запроса»

• Выберите формат текста . При выборе формата JSON отобразится кнопка . Выберите ее для преобразования JSON в древовидную структуру.

• Введите тело запроса в многострочном поле редактора текста .

Чтобы выполнить запрос:

• Проверьте, что все обязательные поля заполнены.

• Нажмите кнопку и дождитесь завершения запроса.

Просмотрите результаты в разделе «Ответ»:

• код ответа (выделен зелёным при успехе, красным при ошибке);

• время выполнения запроса;

• заголовки ответа (развёртываются по клику на шеврон);

• тело ответа (можно переключить формат: JSON, TXT, XML и отформатировать JSON).

2.9.5 Набор данных

Создайте элемент «Набор данных», зажав кнопку и переместив элемент на рабочее пространство потока данных. Отобразится окно настройки элемента
(Рисунок 60).

Рисунок 58 — Окно настройки элемента «Набор данных». Вкладка «Запрос

данных»

Окно настройки элемента «Набор данных» состоит из следующих компонентов:

• вкладки «Запрос данных» и «Настройки»;

• список доступных элементов для формирования запроса;

• редактор запросов (также редактор запросов реализован в отдельной вкладке, см. раздел 4).

• результат выполнения запроса.

Выберите хранилище-источник в поле DWH – ClickHouse или PostgreSQL (см. разделы 2.9.5.1 или 2.9.5.2), введите название и код .

Нажмите переключатель / , чтобы сделать элемент публичным или приватным.

Настройте уровень доступа, нажав кнопку и выбрав подходящий уровень из списка .

Во вкладке «Запрос данных» перечислены доступные элементы для формирования запроса.

Настройте отображение элементов в списке с помощью переключателя между потоками . Во вкладке «Текущий поток» отображаются элементы текущего потока (при наличии). Во вкладке «Публичные» отображаются все доступные публичные элементы.

Чтобы использовать элемент для формирования запроса, наведите курсор на элемент и нажмите кнопку . Далее нажмите кнопку .

Для поиска элемента введите полностью или частично наименование в строке поиска . В результате в списке отобразятся элементы, подходящие по введенным символам или маскам ( * ), присутствующим в наименовании или коде элемента.

Для более удобного поиска элементов предусмотрены фильтры (Рисунок 61), переход к которым выполняется с помощью нажатия кнопки .

Рисунок 59 — Фильтры элементов

Доступны следующие виды фильтров по:

• типу элемента:

• файловый источник;

• подключение к БД;

• набор данных;

• уровню доступа.

В результате в списке отобразятся элементы, удовлетворяющие условиям выбранных фильтров.

Чтобы сбросить все выбранные фильтры, нажмите кнопку .

Если в окно редактора запроса введен хотя бы один символ, то над окном становятся доступно меню действий (Рисунок 62).

Рисунок 60 — Окно настройки элемента «Набор данных». Вкладка «Запрос

данных». Редактор запросов

При нажатии на выпадающее меню «Выполнить» открывается список с действиями:

• Выполнить (по умолчанию);

• Выполнить выделенное.

При выборе «Выполнить» запускается выполнение всего скрипта в окне редактора запроса. При выборе «Выполнить выделенное» запускается выполнение выделенной части скрипта. В процессе выполнения запроса можно отменить действие с помощью кнопки .

Для форматирования запроса в окне редактора запроса нажмите на иконку «Форматировать» .

Для просмотра миниатюры запроса в правому краю окна редактора запроса доступна структура запроса в уменьшенном масштабе . Миниатюра отображается, если введен хотя бы один символ в окно редактора запроса.

Во вкладке «Настройки» выберите тип объекта и правило загрузки данных. Если для выбранного типа требуются дополнительные настройки, они отобразятся в нижней части экрана.

1. ClickHouse

В зависимости от выбранного хранилища-источника в поле DWH набор правил будет различаться, а именно:

• При выборе ClickHouse:

• Представление (Рисунок 63);

• Полная копия (Рисунок 64);

• Инкрементальное обновление (Рисунок 65).

Рисунок 61 — DWH – ClickHouse. Вкладка «Настройки» – «Представление»

Рисунок 62 — DWH – ClickHouse. Вкладка «Настройки» – «Полная копия»

Для типа «Полная копия» потребуется указать:

• Движок хранения:

• Merge tree;

• Replacing merge tree;

• Распределение данных:

• По умолчанию;

• Без распределения;

• Случайное;

• По значению поля типа int;

• По типу hash-функции:

• Half-md5;

• Md5;

• Sip-hach-64;

• Sip-hash-128;

• City-hash-64;

• Farm-hash-64;

• Murmur-hash2-32;

• Murmur-hash2-64;

• Murmur-hash3-32;

• Murmur-hash3-64;

• Дополнительные параметры:

• Первичный ключ;

• Партиционирование;

• Распределение данных.

Рисунок 63 — DWH – ClickHouse. Вкладка «Настройки» – «Инкрементальное

обновление»

Для типа «Инкрементальное обновление» потребуется указать:

• Движок хранения:

• Merge tree;

• Replacing merge tree;

• Распределение данных:

• По умолчанию;

• Без распределения;

• Случайное;

• По значению поля типа int;

• По типу hash-функции (при выборе распределения, становится доступен выбор типа hash-функции):

• Half-md5;

• Md5;

• Sip-hach-64;

• Sip-hash-128;

• City-hash-64;

• Farm-hash-64;

• Murmur-hash2-32;

• Murmur-hash2-64;

• Murmur-hash3-32;

• Murmur-hash3-64.

• Установка/снятие условия «Удалить хранимые данные при изменении базы расчета алгоритма»

• Тип материализации:

• Первичный ключ;

• Партиционирование;

• Распределение данных;

• Инкремент.

Инкрементальное обновление предполагает загрузку новых данных в сравнении с имеющимися в базе данных. Для определения новых данных выбирается поле в базе данных, на основании данных которого выбираются записи из источника, имеющие большее (или меньшее) значение. Критерий сравнения (больше/меньше) выбирается пользователем. Например, были загружены данные в таблицу, имеющее поле date. Максимальное значение после загрузки (в хранимых данных) равно 01.01.2026. При создании инкрементального обновления выбирается поле источника date, ему соответствует хранимое поле date, и критерий сравнения 'больше'. При обновлении из источника будут выбраны все записи, у которых значение в поле date больше 01.01.2026.

В таблице «Условия получения новых данных» (Рисунок 65) содержится список условий, по которым определяются данные для дополнения хранимых. Таблица видна и доступна если выбран тип материализации «Инкрементальное обновление» и включена кнопка «Инкремент».

Для добавления условия нажмите на кнопку , после чего откроется окно создания условия (Рисунок 66).

Рисунок 64 — Окно создания условия

Для создания/редактирования условия:

1. В окне создания условия заполните следующие поля:

2. Поле источника расчёта инкремента :

3. нажмите на выпадающий список - откроется меню со списком полей запроса и выберите поле, по которому происходит отбор данных, подлежащих дозаписи к уже хранимым (для нового условия поле изначально не заполнено (отображается заглушка «Выберите поле»);

4. Оператор сравнения :

5. откройте выпадающий список с одиночным выбором и выберите оператор для определения данных, представляющих собой инкремент;

6. Хранимое поле расчёта инкремента :

7. после выбора поля источника расчёта инкремента становится доступным выпадающий список для выбора поля;

8. список полей отфильтрован: доступны только поля, принадлежащие группам типов, совместимых с типом поля источника;

9. выберите поле, по которому происходит отбор данных для дозаписи (для нового условия поле изначально не заполнено (заглушка «Выберите поле»).

10. После заполнения всех необходимых полей нажмите кнопку «Сохранить» :

11. Система выполнит следующие действия:

12. проверит наличие такого же условия в текущем источнике данных;

13. если условие уникально, добавит новый параметр в локальную модель;

14. если редактировалось существующее условие, внесёт изменения в соответствующий параметр локальной модели;

15. закроет форму редактирования после успешного сохранения (условие отобразится в таблице «Условия получения новых данных»;

16. отобразит сообщение об успехе или ошибке (при наличии).

Для элементов, которые были сохранены и изменены ранее, возможно просмотреть историю изменений элемента. Для этого перейдите во вкладку «История изменений» (Рисунок 67). Зеленым цветом выделена текущая версия, красным – исходная.

Рисунок 65 — История изменений

Нажав кнопку в строке версии, возможно выбрать конкретную версию как исходную или целевую .

Доступны два варианта отображения изменений – в виде двух панелей либо последовательно.

1. PostgreSQL

2. При выборе PostgreSQL:

3. Полная копия (Рисунок 68);

4. Инкрементальное обновление.

Рисунок 66 — DWH – PostgreSQL. Вкладка «Настройки» – «Полная версия»

Рисунок 67 — DWH – PostgreSQL. Вкладка «Настройки» – «Инкрементальное

обновление»

Для создания запроса данных добавьте элементы из перечня слева, нажав кнопку в строке элемента и далее нажав кнопку .

Возможно раскрыть каждый элемент (Рисунок 70), нажав кнопку в строке наименования элемента, и добавить содержимое элемента в запрос данных, нажав кнопку . Сформировать запрос данных, используя содержимое элемента, нажав кнопку . Или .

Рисунок 68 — Содержимое элемента. Кнопки «Добавить в запрос» и

«Сформировать запрос»

Для сохранения нажмите кнопку .

← Предыдущий раздел: Общие сведения Следующий раздел: Элементы →