На странице редактирования данных Sigla Vision вы можете быстро выполнять такие операции, как очистка данных, объединение нескольких таблиц, настройка структуры данных, анализ и валидация данных, чтобы удовлетворять реальные бизнес-потребности по обработке данных. Эти операции помогают получать структурированные и надёжные данные из хаотичной информации, обеспечивая надёжную базу для последующего анализа и принятия решений.
В данном документе описано, как с помощью функций Sigla Vision быстро обрабатывать данные в реальных бизнес-сценариях.
Очистка данных#
Во время этапа очистки данных вы можете воспользоваться функциями редактирования данных Sigla Vision:
Корректировка полей#
Быстро упорядочьте данные, сохраняя/удаляя поля, меняя их местами и переименовывая.
- Удаление ненужных столбцов
После загрузки данных вы можете обнаружить ненужные для анализа поля или пустые столбцы. Нажмите на заголовок поля и выберите «Удалить колонку» в выпадающем меню.
- Изменение типа поля
Во время анализа поля классифицируются по типу, и измерения используются для расчёта показателей. Преобразуйте тип поля по необходимости.
- Переименование и перевод полей
После двойного клика на нужный столбец переименуйте поля с нестандартными названиями.
Удаление дубликатов#
Функция удаления дубликатов позволяет быстро убирать повторяющиеся строки в наборе данных для обеспечения уникальности.
Вы можете удалять дубликаты по всем или выбранным полям.
Обработка пустых значений#
Пустые значения — неизбежная проблема, способы обработки зависят от ситуации.
Бессмысленные пустые значения#
При большом объёме данных единичные null-значения не влияют на расчёты суммы или среднего, их можно игнорировать.
Если их нужно удалить как "грязные" данные, используйте быстрый фильтр по заголовку для исключения пустых строк, или добавьте шаг Фильтр с условием Не null.
Значимые пустые значения#
Например, отсутствие оценки по химии у ученика может означать пропуск экзамена по болезни. Удалять такие данные не стоит.
Вместо этого добавьте метку для подобных случаев с помощью Формульного столбца или Группировки.
Работа с полями#
Можно добавлять столбцы для пользовательских вычислений или вспомогательных целей. Например, добавьте Формульный столбец для обработки дат, выделив Год и Месяц.
Корректировка структуры данных#
Для специфических аналитических требований используйте такие функции, как:
Разделение поля#
Разбейте поле с несколькими значениями на несколько строк или столбцов для более детального анализа (например, если поле содержит смешанные данные).
Из строки в колонку#
Функция Из строки в колонку превращает несколько строк с разными значениями в одно поле в отдельные столбцы (например, разные предметы превращаются в столбцы).
Из колонки в строку#
Функция Из колонки в строку обратна предыдущей, объединяет столбцы в одну строку (например, поля с разными предметами объединяются в одно поле).
Объединение нескольких таблиц#
Для аналитики может потребоваться объединить несколько таблиц в один набор данных:
Union All#
Функция Объединить выполняет вертикальное объединение нескольких таблиц, добавляя строки (структура полей не меняется, строк становится больше).
Добавление столбца из других таблиц#
С помощью функции Поле из другой таблицы получите данные из других таблиц и добавьте их к текущему набору.
Можно применять агрегатные функции (например, SUMIF) или искать соответствующие значения (VLOOKUP).
Join#
Соедините несколько таблиц по заданным условиям (например, Левое/Правое соединение и т.д.).
Анализ данных#
На странице редактирования данных доступны такие аналитические инструменты:
Группировка и агрегация#
Функции Группа и Сумма позволяют делить данные на группы по заданному полю (например, по году, месяцу и др.) и выполнять агрегирование по ним (Sum, Count, Average).
Добавление столбца#
Функция Формула добавляет в набор данных новый столбец с индивидуальными вычислениями под ваши задачи.
Валидация данных#
Во время редактирования используйте функции валидации Sigla Vision для проверки данных по заданным правилам и условиям, чтобы гарантировать корректность и согласованность данных.
После выбора поля в левом нижнем углу быстро появляются среднее, сумма, количество записей.
Можно проверить знакомые данные на предмет ошибок.
В Sigla Vision вы можете копировать и вставлять шаги, отменять применение некоторых шагов, фильтровать ключевые данные для экспериментов, не затрагивая другие этапы анализа.
Итог#
В таблице ниже приведены основные шаги по работе с данными, которые можно добавлять:
| Тип | Сценарий применения | Описание/Документ |
|---|---|---|
| Объединение нескольких таблиц | Вертикальное объединение (Union All); Горизонтальное объединение (Join); Добавление столбцов из другой таблицы | Объединение (Union All), Соединение (Join), Поле из другой таблицы |
| Добавление столбца | Пользовательские вычисления без изменения исходных полей | Формула, Итоговый столбец, Колонка по условию, Столбец — интервал времени, Столбец — получение времени |
| Фильтрация, сортировка | Фильтрация, удаление дублей, сортировка | Фильтр, Удаление дубликатов, Сортировка |
| Корректировка структуры данных | Быстрое разбиение строк, преобразование строк и столбцов | Разделение поля, Из строки в колонку, Из колонки в строку |
| Настройки поля | Скрытие, переименование, изменение типа, порядок | Настройки поля |
| Группировка и итог | Группировка данных и agg-функции по группам | Группировка и агрегация |