Руководство yandex datalens - RukovodstvoRus.ru - инструкции пользования и руководства

Рассказываем, как бизнесу построить в Yandex DataLens единый наглядный дашборд с аналитикой продаж по брендам, категориям товаров и тепловой картой.

Мы пошагово покажем, как создать чарты, которые могут быть полезны для отдела продаж компании с собственной сетью магазинов и доставкой, для интернет-магазина и торговой сети. Для составления инструкции мы привлекли разработчика систем бизнес-аналитики Сергея Платонова, который поделился примерами реального использования чартов из собственного опыта разработки аналитики.

Визуализация данных будет полезна отделам продаж для текущего планирования, формирования запросов на производство или взаимодействия со службой доставки, торговыми сетями, оценки текущих трендов. Отчёты в едином формате, с использованием одинаковых единиц измерения и наглядными чартами, помогают руководству компании при стратегическом планировании.

Инструменты

В качестве источника мы будем использовать демонстрационную БД ClickHouse с данными о продажах товаров сети магазинов в Москве. ClickHouse — столбцовая СУБД. Она хорошо подходит для работы с данными множества разнородных документов с большим набором атрибутов, часть из которых не заполнены. Например, с данными из нескольких различных конфигураций 1С, Яндекс Метрики, систем транспортной логистики.

С помощью Yandex DataLens мы визуализируем продажи по продуктовым категориям, дням и месяцам, а затем построим карту заказов и тепловую карту доставки с возможностью фильтрации по времени.

Для реализации этой инструкции нужен Яндекс ID, а Yandex DataLens предоставляется бесплатно.

Шаг 1. Создание подключения к базе данных

Для начала нам потребуется новый экземпляр Yandex DataLens, для этого перейдём на главную страницу сервиса и нажмём Открыть DataLens. Затем кликнем на Подключения и в открывшемся окне выберем ClickHouse. Мы будем подключаться к базе с тестовыми данными.

Указываем параметры подключения:

• Тип — Указать вручную

• Имя хоста — rc1a-ckg8nrosr2lim5iz.mdb.yandexcloud.net

• Порт HTTP-интерфейса — 8443

• Имя пользователя — samples_ro

• Пароль — MsgfcjEhJk

• Включаем опцию Разрешить подзапрос в датасетах и запросы из чартов и опцию HTTPS

Проверяем, что подключение работает, нажимаем кнопку Создать подключение, вводим название Sample ClickHouse и нажимаем Создать.

Шаг 2. Создание датасета

Нажимаем кнопку Создать датасет. В открывшемся окне мы видим список доступных таблиц, сначала нам потребуется таблица с продажами. Найдём и перетащим в рабочую область MS_SalesFacts_up. Затем добавим данные о клиентах, совершавших покупки: перетаскиваем в рабочую область MS_Clients и таблицы автоматически связываются по полю ClientID, в этом можно убедиться, кликнув на связь в рабочей области.

Таким же образом добавим таблицу с характеристиками товаров (MS_Products) и с точками продаж (MS_Shops). Эти таблицы также автоматически свяжутся с MS_SalesFacts_up по полям ProductID и ShopID соответственно.

Шаг 3. Настройка полей

Теперь, когда у нас есть все необходимые таблицы, перейдём на вкладку Поля: удалим дубликаты и настроим поля для чартов. Сначала удалим поля ClientID (1), ProductID (1) и ShopID (1) — копии, созданные в процессе соединения таблиц.

Затем создадим поле для отображения данных заказов по датам. Продублируем OrderDatetime и переименуем получившееся поле в OrderDate, а затем изменим тип данных на Дата.

Чтобы построить карты, нам понадобятся координаты магазинов и адреса доставки. Для полей DeliveryAddressCoord и ShopAddressCoord установим тип Геоточка.

Рассчитаем суммарные продажи: найдём поле Sales и сделаем его показателем, выбрав в столбце Агрегация значение Сумма.

Затем создадим показатель количества заказов. Для этого продублируем OrderID, переименуем дубликат в OrderCount и выберем агрегацию Количество уникальных.

Создадим новое вычисляемое поле для подсчёта средней суммы продаж на один заказ. Нажимаем кнопку Добавить поле, называем его Sales per Order, вводим в рабочую область формулу [Sales]/[OrderCount], где Sales и OrderCount это показатели суммарных продаж и количества заказов. Нажимаем Создать.

Сейчас у нас есть все необходимые поля. Нажимаем кнопку Сохранить в верхнем правом углу. Назовём наш новый датасет Moscow Sales dataset.

Шаг 4. Визуализация динамики продаж

Нажимаем кнопку Создать чарт. Сначала визуализируем динамику продаж по месяцам. Выберем тип чарта Линейная диаграмма. Перетащим в секцию X измерение OrderDate, а в секцию Y показатель Sales. Здесь же отобразим тип оплаты. Для этого перетащим измерение PaymentType в секцию Цвета и увидим отдельные графики для заказов, оплаченных банковской картой и наличными.

Сейчас нашу диаграмму не очень удобно читать, для наглядности сделаем округление количества заказов по месяцам. Нажмём на календарь рядом с OrderDate в секции X. В поле Группировка выберем Округление до месяца и применим изменения.

Для наглядности добавим на график значения продаж. Для этого перетащим показатель Sales в поле Подписи. Для компактного отображения настроим подпись: кликнем на значок # рядом с Sales в секции Подписи и выберем Размерность Тысячи, K.

Так как график зависит от времени, хорошей идеей будет установить для него Навигатор для фильтрации данных по заданному периоду. Нажимаем на шестерёнку у Линейной диаграммы. В настройках чарта включаем Навигатор и выбираем нужный период времени. Теперь мы можем динамически перемещаться по графику и менять его масштаб.

Чарт готов, давайте сохраним его под названием Динамика продаж по месяцам и типам оплаты.

Линейные диаграммы с общими данными о продажах популярны у сотрудников отделов продаж независимо от области деятельности компании. Например, такие графики востребованы производственной компанией с собственным интернет-магазином и розничной сетью. Они отображают стоимость и вес продукции для поставок HORECA, фирменных и розничных магазинов, интернет-магазина. Эти линейные диаграммы используются как руководством отдела продаж, так и всей компании для оценки текущей ситуации, качества работы отдела продаж. Для руководства отдела продаж были созданы графики продаж со сглаженными кривыми, которые помогают визуально определять тренды.

Шаг 5. Визуализация продаж по продуктовым категориям

Чтобы создать новую диаграмму, скопируем созданный ранее чарт. Нажимаем на стрелку рядом с кнопкой Сохранить и выбираем Сохранить как. Назовём чарт Продажи по брендам и категориям.

Выберем тип визуализации Столбчатая диаграмма. Для отображения данных последовательно по категориям, подкатегориям и брендам создадим иерархию. Нажимаем на плюс в Измерениях и выбираем Иерархия. Назовём её Иерархия продуктов. Выберем четыре измерения: ProductCategory, ProductSubcategory, ProductBrand и ProductName.

Теперь нам нужно заменить данные для отображения. Сначала перетащим Иерархию продуктов на OrderDate в секции X. Убедившись, что поле заменено, проделаем ту же операцию в секции Цвета, заменив поле PaymentType измерением DeliveryType. Мы получили столбчатую диаграмму, в которой можно по клику перемещаться по уровням от общих категорий до конкретных товаров.

Для удобства отсортируем данные по убыванию объёмов продаж. Для этого перетащим показатель Sales в поле Сортировка. Сохраним получившийся чарт.

На практике столбчатые и линейчатые диаграммы применяются для множества целей. Например, производственная компания использует их для визуализации распределения веса продаж по товарным группам и номенклатуре с сортировкой по объёмам продаж, а торговая организация — для отображения доли брендов по группам товаров. Это позволяет более детально рассмотреть текущие результаты продаж и по необходимости скорректировать производство, закупку и поставки того или иного продукта. Столбчатые и линейчатые диаграммы особенно удобно использовать в тех случаях, когда данные, например, об отгрузке товаров, появляются не каждый день и линейный график может ввести в заблуждение.

Также эти диаграммы могут применяться для визуализации суммы продаж и суммы возвратов. Если отдел продаж работает с понятием плана, то с помощью этих чартов можно легко отслеживать соответствие фактических продаж плану. Кроме того, с помощью отображения нескольких цветов в столбчатых диаграммах можно создавать удобные чарты ценовых категорий. Они применяются как в производственной организации, так и в компании, поставляющей бытовую технику, и отображают наименования продукции, которая попадает в каждую из ценовых категорий.

Линейчатые диаграммы позволяют легко отслеживать топы продаж или производств. Кроме того, они находят применение не только в отделах продаж. Например, в одной из организаций они вносят элемент геймификации в работу сотрудников отдела доставки. Руководство компании выводит на большой экран в офисе линейчатую диаграмму со статистикой по количеству заказов и весу продукции для каждого водителя.

Шаг 6. Создание сводной таблицы

Для наглядного отображения сумм продаж в разрезе продуктов и времени создадим сводную таблицу. Скопируем получившийся на предыдущем шаге чарт и назовём его Продажи в разрезе лет и продуктов. Выбираем тип Сводная таблица. В секцию Столбцы перетащим OrderDate и настроим Группировку, выбрав Год в подразделе Часть даты. Затем настроим Строки. Перетаскиваем в них измерения ProductCategory и ProductSubcategory. Для большей наглядности перетащим показатель Sales в Цвета. Сохраним полученный чарт.

Сводные таблицы всегда активно используются в отделах продаж. Например, руководители отдела производственной компании с собственной сетью магазинов с помощью таблиц сравнивают результаты по регионам в текущем и предыдущем периоде.

Кроме того, удобно визуализировать с помощью цвета в таблицах итоги по сети фирменных магазинов за неделю или период в семь недель. Совместно с использованием линейных диаграмм это позволяет отследить ритмы работы каждой торговой точки.

Шаг 7. Визуализация продаж на карте

Создадим интерактивную карту для визуализации продаж в Москве. Копируем полученный на предыдущем шаге чарт и называем его Карта продаж. Выбираем тип визуализации Карта. Установим тип слоя в Точки (Геоточки) и перетащим измерение ShopAddressCoord с координатами магазинов в секцию Геоточки. Чтобы визуализировать объёмы продаж и среднюю стоимость заказа, перетащим показатели Sales в секцию Размер точек, а Sales per Order в Цвета. Общую сумму продаж Sales и ShopAddress перетаскиваем и в Тултипы для отображения при наведении указателя на магазин.

Карты позволяют руководству компании и отдела продаж заниматься планированием новых торговых точек, а также они удобны для понимания общей картины продаж и быстрого определения эффективности магазинов. Обычно картами пользуются скорее для стратегического планирования, чем для оперативных измерений. Например, в компании с собственной службой доставки карта стоимости доставки в торговые точки наглядно показала, что нужны изменения объёмов и маршрутов поставки в некоторые торговые точки, а также комбинирование групп торговых точек, чтобы оправдать стоимость доставки.

Отобразим на карте ещё и географию доставки заказов. Для этого нажимаем на плюс рядом со Слоем 1 и создаём второй слой. Нажав на три точки у Слоя 1, в выпадающем меню слоёв переименуем его в Продажи в магазинах, а второй слой назовём Доставка. Выберем для слоя с доставкой тип Теплокарта (Геоточки) и перетащим в эту секцию измерение DeliveryAddressCoord. Сохраним полученный чарт.

Торговые сети и производственные компании используют карты доставок интернет-заказов или доставок в торговые точки по необходимости. Эти чарты помогают решить, где расположить дополнительный склад или новый фирменный магазин. Кроме того, они помогают транспортному отделу оценить ситуацию с доставкой в целом, провести ревизию маршрутов, найти и устранить пересекающиеся маршруты водителей.

Шаг 8. Создание дашборда по продажам

Кликнем на личную папку и увидим в списке все созданные нами чарты, датасет и подключение к базе. Нажимаем кнопку Создать, выбираем Дашборд и называем его Дашборд по продажам.

В открывшемся окне добавим на дашборд чарты. Для этого кликаем Добавить в верхнем правом углу и выбираем из списка Чарт. Выберем Динамику продаж по месяцам и типам оплаты, нажмём Добавить — и график продаж отобразится на дашборде. Таким же образом добавим Продажи по брендам и категориям, Продажи в разрезе лет и продуктов и Карту продаж. Можно свободно перетаскивать и менять размеры чартов на дашборде, выстроим их в удобном порядке.

Шаг 9. Фильтрация данных дашборда

На дашборде не хватает селекторов для фильтрации данных. Нажимаем Добавить, выбираем Селектор и в открывшемся окне выбираем Moscow Sales dataset. Первый селектор сделаем по дате заказа, выберем Поле OrderDatetime и передвинем ползунок Диапазон. Нажимаем Добавить и настраиваем размер и положение селектора на дашборде. Добавим селекторы по статусу клиента, выбрав поле ClientStatus, и по типу платежа, выбрав PaymentStatus.

Располагаем селекторы и чарты в удобном порядке и сохраняем дашборд.

Дашборд полностью готов к работе. На нём можно увидеть объём продаж в конкретном магазине и тепловую карту доставок, оценить динамику продаж по месяцам, категориям и брендам и общую ситуацию в разрезе лет. С помощью селекторов можно фильтровать информацию по времени, типу оплаты или клиентскому статусу.

Мы создали небольшой и достаточно простой дашборд, вы можете менять его и добавлять те чарты, которые больше подходят именно вам. Например, многие компании анализируют не только собственные продажи, но и открытые данные других брендов, текущую ситуацию на рынке. Для этого удобнее всего пользоваться круговыми диаграммами. Также популярны и кольцевые диаграммы, они могут понадобиться для отображения более детальной информации о поставках и возвратах, например, по определённым типам договоров.

Подписывайтесь на блог Yandex Cloud, чтобы узнавать еще больше новостей и историй об IT и бизнесе.

Другие истории, которые активно читают наши подписчики:

Людям нельзя ботам: как эволюционировала технология «капчи»
Гик, маркетолог, адвокат, евангелист, мать драконов разработчиков — разбираемся в специалистах DevRel
«Time-to-market важнее pixel-perfect»: как мы разрабатывали BI-инструмент в «Яндексе»

Источник

Сервис Yandex DataLens позволяет анализировать бизнес-показатели и проверять гипотезы путём загрузки и обработки данных для визуализации, дальнейшего объединения их в отчёты (дашборды). Инструмент входит в структуру Яндекс.Облако.

Традиционно система обладает понятным и лаконичным интерфейсом, не требует технических навыков. Полученные отчёты можно экспортировать, опубликовывать на внешних ресурсах в открытом доступе, а также выдавать права доступа коллегам для совместной работы (просмотр, редактирование, администрирование).

маркетологи – определение источников трафика, отслеживание изменений стоимости рекламных каналов, постановка целей и т.д.;
SEO-специалисты – мониторинг позиций сайта в поисковой выдаче, мониторинг изменений на сайте, определение числа переходов с определённых запросов и т.д.;
предприниматели – анализ развития бизнеса.

Начало работы

Для входа в сервис у вас должен быть создан аккаунт в Яндекс.Облаке. Если нет, нажимайте «Подключиться». Дальше откройте DataLens.

Укажите каталог, нажимайте «Активировать».

Система перенаправляет пользователя на страницу с демонстрационным режимом. Необходимо снова активировать сервис, создав платёжный аккаунт. При этом указываются не только личные данные, но и привязывается банковская карта с включённой защитой 3D-Secure. В режиме демонстрации потестить сервис не удастся.

Я привязал карту. Теперь мне доступен функционал системы.

Обзор интерфейса

В левой колонке собраны инструменты, по центру экрана – блоки быстрого доступа, под ними – примеры от разработчика.

«Все объекты» – папка содержит подключения, датасеты, чарты, дашборды.
«Избранное» – быстрый доступ к отобранным объектам.
«Подключения» – параметры источников данных (коннекторов): ClickHouse, PostgreSQL, CSV-файл, MS SQL Server, Metrica и AppMetrica (прямой доступ и с помощью API).
«Датасеты» – группы данных с описанием, которые генерируются в результате создания подключения.
«Чарты» – представление данных на основе датасета в таблицах, на диаграммах и графиках. Доступны линейная, столбчатая, точечная, круговая, древовидная и с областями диаграммы, точечная, фоновая и тепловая карты.
«Дашборды» – отчёты с чартами, которые собираются и отображаются в одном документе с возможностью создания и использования фильтров.

Работа происходит циклично: берётся источник данных, который проходит через 4 объекта, как показано на скриншоте.

Данные из источника при необходимости дополняются вычисляемыми полями с помощью ряда функций. В системе доступны: операторы, функции преобразования типов, даты и времени, агрегатные, географические, логические, математические и строковые функции. Подробный мануал и синтаксис описаны в Справочнике функций.

Создание подключения

Используя кнопки быстрого доступа, нажимаем «Создать подключение». Из списка коннекторов для примера выбираем Metrica.

Необходимо ввести название подключения, запросить OAuth-токен (выдаётся на аккаунт Яндекса), выбрать счётчик, поставить галочку в соответствующем окне. Нажимаем «Создать».

Система перенаправляет пользователя во вкладку «Все объекты».

Создание датасета

В левом меню выбираем вкладку «Датасеты», кликаем «Создать»-«Датасет».

Воспользуемся кнопкой «Добавить» и выберем сгенерированный ранее коннектор.

Дальше отбираем таблицы, содержащие информацию, которая нужна для работы. Для примера возьмём visits. Перетаскиваем их в центральную часть экрана, удерживая левую кнопку мыши. Нажимаем «Сохранить».

Система запросит указать имя новому датасету. Возвращаемся на главную страницу. В левой колонке появилась Личная папка. Открываем и проверяем наличие созданного датасета. Объект на месте.

Создание чарта

Снова жмём в правом верхнем углу экрана «Создать»-«Чарты». На первом шаге выбираем нужный датасет – тестовый, затем тип чарта – круговая диаграмма.

Система открывает список таблиц. Требуется отобрать нужные данные, на базе которых построится диаграмма. Это делается перетаскиванием мыши в блоки, расположенные справа. Получится вот такая круговая диаграмма.

Теперь попробуем создать таблицу. Первые шаги идентичные, но в типе чарта отбираем «Таблица». Вносим измерения или показатели из датасета, применяем фильтры и сортировку. Меньше минуты и вы получите информацию в виде удобной таблицы, как на скриншоте.

Создание дашборда

Снова кнопка «Создать»-«Дашборд». Задаем ему имя. Система перенаправляет к списку дашбордов. Выбираем только что созданный.

На следующей странице необходимо добавить чарт на дашборд.

Выбираем чарт и заполняем поля. Нажимаем «Добавить».

Система показывает готовую диаграмму.

Добавление селектора на дашборд

С его помощью удаётся фильтровать отчёты по заданным параметрам.

Вносим критерии: в качестве примера создадим селектор «Тип устройства» с элементом «Список», поставим галочку напротив «Множественный выбор». Сохраняем селектор.

Как видите, на дашборде появился фильтр для отчётов по типам устройств.

Добавление/редактирование вкладок на дашборд

Нажимаем на блок «+Вкладки». Открывается редактор.

В первой строчке указано имя уже сформированного отчёта. С помощью кнопки «Добавить» создаются новые вкладки, а в них – новые отчёты. Под тремя точками спрятаны опции для работы с вкладками.

Инструмент удобен в том случае, когда на одном дашборде нужно уместить много отчетов, но при этом не загромождать страницу. На скриншоте видно, что с помощью двух вкладок я сформировал два отчёта по визитам: время на сайте и динамика отказов, между которыми можно переключаться.

Настройки доступа

К объектам и папкам в сервисе можно назначать права доступа. Опция доступна только администратору аккаунта. К примеру, я открою вкладку «Чарты». При наведении на любой документ отображается значок «…». Под нимм скрыты ряд опций, включая «Права доступа».

В открывшемся окне нажимаем «Добавить».

Дальше вводим имя пользователя, назначаем права (просмотр, редактирование, администрирование), при необходимости оставляем комментарий. Снова нажимаем «Добавить».

Аналогичным образом можно отозвать права. Выбираем объект или папку, жмём на троеточие, дальше «Права доступа». После этого следует выбрать пользователя с правом доступа и внести изменения с помощью кнопки «Отозвать права».

Запрос прав доступа осуществляется путём выбора папки или объекта в блоке навигации сервиса. После этого вводится имя пользователя, выбираются права и нажимается кнопка «Запросить».

Тарификация

Сервис берёт плату за число десятиминутных сессий к источнику данных (засчитываются запросы, отправляемые из чартов/дашбордов), за объём базы данных для материализованных данных, а также за дополнительный функционал сервиса. Ограничения устанавливаются тарифными планами, которые приведены на картинке.

В панели навигация находится вкладка Marketplace, в которой предложены дополнения для DataLens. Пользование платными инструментами не входит в тарифные пакеты, оплачивается отдельно.

Вывод

Сервис Yandex DataLens – приличный инструмент, позволяющий визуализировать данные для решения маркетинговых и SEO задач. Но пока он не дотягивает по функционалу и удобству настройки до Google Data Studio. Зарубежный аналог также имеет русифицированный интерфейс, предоставляется бесплатно, насчитывает достаточно много собственных коннекторов и несколько сотен коннекторов от партнеров.

Источник

Время на прочтение
7 мин

Количество просмотров 13K

Google Data Studio это, конечно, хорошо, но у нас есть свой чудесный аналог — похожий инструмент от одной из передовых ИТ-компаний РФ Yandex Datalens. Сегодня в паре абзацев попробуем быстро собрать отчет, аналогичный материалу про Data Studio. Спойлер: это не так просто, как кажется на первый взгляд. Но давайте разбираться.

Первые шаги

Первое и самое главное — я действительно очень уважаю компанию Яндекс и с интересом слежу за всем, что происходит в их открытых каналах. Но по части построение интерфейсов и справочной документации у меня иногда возникает ощущение перегруженности. С дизайном все ок, никаких проблем, и даже первые экраны работы с чем-либо просты и понятны. Но как только ты начинаешь углубляться в функции инструмента появляется все больше вопросов. Даже поиск по справке работает не совсем так, как хотелось бы — ответы на некоторые вопросы я нашел при чтении доки, но не нашел поиском. Хотя, может, и нашел бы, но кто его знает, содержимое второго экрана/второй страницы поиска.

Настройка источника

Выбор тут несколько скромнее, чем в Data Studio, но в то же время более, чем достаточен для большинства проектов.

В нашем случае БД всё та же MySQL, настройки всё такие же, только работать мы будем только в нормированными данными — никаких гипотез об их чистоте строить уже нет необходимости.

После настройки подключения у меня возник когнитивный диссонанс: попасть в главное меню оказалось не так уж просто. При том, что интерфейс не кажется таким уж перегруженным кнопками, столкнуться с подобной проблемой я никак не рассчитывал. Забегая вперед — мне пришлось ещё и импортировать мускульное представление в CSV и добавить ещё и его как источник. Зачем — дальше по тексту.

Но на этом сложности в моей картине мира не закончились. Допустим, я хочу собрать какой-то новый лист с информацией. В Data Studio фигурировало максимально понятное для меня понятие “отчета”. Здесь вроде как тоже есть дашборд, но тогда за что отвечают чарты и датасеты?

Датасеты

Раздел “Датасеты” — это слой трансформации (пусть и весьма упрощенной) в нашем ETL-механизме. Я не нашел именно этого механизма в Дата студии. То есть, какие-то манипуляции с полями-то вы можете произвести, но уже внутри отчета, что не совсем ложится в ETL. Яндекс пошел по значительно более логичному (лично для меня) пути, в то время как Google заставляет вас качественно готовить витрины для BI-решений. Окей, это тоже подход, но за гибкость решения Даталенс однозначно получает плюс в карму.

Какие типы данных

Данный слой позволяет нам из сырых данных собрать условно новую витрину, которая может являться агрегатом исходных данных. Какие же возможности у нас есть? Для начала разберемся с типами данных, которые воспринимает Даталенс:

“Геополигон”. Внутренняя история про карты, подробностей пока рассказать не могу.
“Геоточка”. То же самое, что и выше, только конкретная координата в пространстве.
“Дата” и “Дата и время”. Отличия очевидны, только вот автоматически парсер не смог понять, что 17.06.2015 — это дата. Странно и не очевидно, но допустим. Вручную поменять можно, но как централизованно объяснить Ленсу, что дата лежит в таком-то формате мне не удалось.
“Дробное число”. Вот тут надо быть аккуратным, поскольку в дробное может попасть и id, и год, и даже ИНН.
“Целое число”. Тут, думаю, всё понятно и все-таки стоило бы именно его сделать числовым параметром по умолчанию. Вижу цифры — думаю, что целое.
“Логический”, то есть булево true/false.
“Строка”. Второй по популярности после дроби тип данных по мнению Даталенса. Что ж, примерно так оно и есть, и лучше бы ИНН (который, кстати, вполне себе стандартизирован) тоже определялся сразу как строка.

Что можно сделать

В случае со строкой можно посчитать общее значение для поля или количество уникальных значений, короче count и count distinct. В случае с числами всё то же самое плюс максимум, минимум, среднее и сумма. Дата аналогично, но, разумеется, нет суммы. Ну а у булевых данных мы можем только количество посчитать, что тоже вполне логично.

А вот если вы захотите создать новое поле, вам на выбор будет доступно большое количество функций. Названия их специфичны, одновременно и похожи на что-то, и не похожи ни на что. Возможно, где-то в Кликхаусе есть подобный синтаксис или в одной из разновидностей SQL. Функций не так много, справочник небольшой и мне чем-то болезненно напоминает справочник по QlikView/Sense.

Без использования этих функций нам не построить ничего, поскольку формирование нового поля — единственный способ объяснить парсеру, в каком формате у нас лежит дата (если он сам с ходу этого не понял). Причем используемая для этого функция DATETIME_PARSE спокойненько определит формат даты без вашего участия, главное её в-принципе использовать. Что мешает по умолчанию применять её для всех полей формата “дата” для меня остается загадкой.

Хотя я поторопился с тем, что эта функция решит все наши проблемы. Дело в том, что не все функции могут работать со всеми источниками в настройке датасета. Как это работает? Если данные лежат в КликХаусе — у вас всё в порядке, вы можете особо ни за что не переживать. Если данные лежат в какой-либо ещё СУБД — вам необходимо смотреть документацию и проверять, работает ли та или иная функция с вашим источником. Сначала я не понял в чем дело, а потом понял: ДатаЛенс применяет все преобразования буквально на лету. Правда, чем одно и то же значение поля отличается в разных СУБД, а главное почему с CSV всё работает прекрасно я так и не понял. Более того, у полей, где дата указана в более-менее традиционном виде ГГГГ-ММ-ДД тип поля вполне себе подтянулся автоматически. Но собрать в тип даты указание просто года не выйдет никак.

Построение чартов

Казалось бы, а зачем вообще нужны чарты, если все визуализации можно делать напрямую в дашбордах? Скорее всего это связано с возможностью один чарт поместить сразу в несколько дашей, правда на практике я с такой потребностью сталкиваюсь не часто: обычно приходится все-таки что-то кастомизировать.

Но не всё так просто и однозначно, ведь помимо классического понимания чартов есть т.н. QL-чарты. Это объекты, которые строятся напрямую из источника (в данном случае речь о БД). Поработать с ними планирую в другой раз.

Чарт “Столбчатая диаграмма”

Для того, чтобы корректно работать с чартами, необходимо создать вычисляемые поля — показатели. Делается это в левой части экрана щелчком по пиктограмме “+”:

Показатели также работают с формулами, примерно с теми же, что и поля в построении датасета. Мне удалось использовать расчеты в формировании чарта и без создания отдельных показателей, но это костыли, которые работают только через drag-n-drop.

Интересный момент касается отображения ТОП-n позиций. Для этого необходимо создать показатель с формулой “rank(Поле)”, которое будет ранжировать поле, потом поставить его в фильтры и выбрать меньше либо равно (или просто меньше) требуемого числа. Не слишком прозрачная схема, не так ли?

Чарт “Таблица”

В случае с таблицей всё довольно просто: в качестве столбцов указываем все интересующие нас поля (в нашем случае их 4), фильтры и прочие радости на свой вкус и цвет.

Настройки таблицы при этом довольно скудные:

Чарт “Индикатор”

Здесь тоже все довольно просто, поскольку имеет какой-то минимум настроек. Мне не совсем понятно, что помешало ребятам прикрутить выбор кегля шрифта, а не размерную сетку футболок (XL, L, M — ну вы поняли).

Можно не создавать отдельно вычисляемое поле, а посчитать всё в рамках чарта — скорее всего это будет удобнее для ваших целей.

Построение Дашборда

Честно говоря, как только я зашел в этот раздел, я немного оторопел. Несколько странно и непривычно видеть абсолютно пустой белый лист даже без кнопочек управления. С другой стороны, кому-то вид белого листа может наоборот показаться притягательным.

Ладно, понятно, что там есть кнопка “добавить”, но UI все-таки выглядит недоработанным по сравнению с мэтрами или тем же Data Studio. Ладно, попробуем добавить элемент, может быть что-то станет понятнее… Нет. На выбор есть аж 4 варианта: чарт, селектор, текст и заголовок. Не то, чтобы я сходу мог придумать что-то чего мне не хватает… А, нет, смог — изображения например.

Пробуем добавить заголовок и выясняем несколько особенностей: менять размер блока можно только потянув за правый нижний угол, скорректировать размер текста можно только по 4 градациям large -> xsmall, управлять отступами текста нельзя вообще. Есть некоторые вопросы к подобному юзабилити. А как же пиксель перфект?

Настройки добавления чартов чартов довольно просты и не требуют пояснений:

Почему именно “автовысота” не до конца понятно, почему тогда вообще не автомасштабирование, но допустим.

Добавление фильтров, которые вовсе не фильтры, а “селекторы”, тоже простое и логичное:

А вот с расположением объектов какая-то оказия. Объекты липнут только к определенным областям, и, к примеру, расположить фильтры левее показателя “тотала” по записям у меня не вышло. Возможно чуть позже стоит поковырять сетку, чтобы хотя бы для себя понять причины такого поведения объектов.

Собрав всё воедино, получаем следующую картину:

Резюме

Из этого лонгрида может сложиться впечатление, что меня не устроил DataLens или что я в нем не слишком-то разобрался. Это не так. Ребята из Яндекса даже сделали хорошую болталку в TG, посвященную этому продукту, и эксперты в ней довольно быстро решают тот или иной вопрос. Кроме тех, конечно, которые на данном этапе решить просто нельзя.

Продукт хорошо подойдет для базовой аналитики. В нем можно создавать довольно сложные формулы, интересные визуализации — но не всегда это получается сделать логично, то есть так, как это годами делалось в аналогичных решениях. В то же время некоторая обрезанность ресурсов-источников вызывает просто недоумение: зачем мне мигрироваться в Яндекс.Облако только для того, чтобы даты стали датами?

Возможности кастомизации визуала я пока также до конца не раскусил: их либо толком и нет, либо так мало, что и говорить об этом бессмысленно. Хотя так ли их много у Google Data Studio?!

Я надеюсь, что проект будет развиваться семимильными шагами, о нем будет узнавать все больше людей, а сам Яндекс будет прислушиваться к пользователям и внедрять всё то, чего так не хватает сейчас. Мне же удалось выполнить то, что я задумал — я получил результат, аналогичный сервису от Google. И местами это было даже проще — но только местами.

Спасибо, если дочитали до этого момента. Следующая веха — ещё какой-нибудь импортозаместительный BI или нечто самописное на Python. В конце концов, мы всего лишь делаем инструменты для аналитиков.

Источник

Что такое Yandex DataLens

Yandex DataLens — это система визуализации данных, применяемая как для обычного анализа данных, так и для решения задач веб- и бизнес-аналитики. Теперь можно не только строить диаграммы и графики в Метрике, но и объединять их с данными из других источников и строить пользовательские дашборды.

Yandex DataLens объединяет информацию из разных источников:

PostgreSQL;
MS SQL Server;
MySQL;
CSV-файлы;
ClickHouse;
API Яндекс.Метрики;
MetricaLogsAPI.

Сервис входит в инфраструктуру Яндекс.Облако.

Чтобы разобраться в преимуществах системы, рассмотрим её возможности на примере дашборда для интернет-магазина.

Как начать

Для начала работы с Yandex DataLens необходимо:

1) создать аккаунт в Яндекс.Облаке;
2) указать платежные данные;
3) активировать сервис Yandex Datalens.

После активации вы автоматически получите тариф «Бесплатный», приветственные 4000 рублей на счёт и 60 дней пробного периода. Приобретя платную версию, остатком гранта можно оплатить сессии.

Едем на РИФ вместе с Коссой – по промо-коду «Cossa»!

Уже 24-26 мая в Подмосковье пройдет 27-й Российский Интернет Форум – главное событие года для профессионального интернет-сообщества.

А по промо-коду «Cossa» вы можете получить максимальную (из публично доступных) скидку на участие в форуме. До встречи на РИФе!

Подробнее →

Стоимость использования Yandex DataLens рассчитывается, исходя из:

количества сессий к источнику за отчётный период;
объёма загруженных и обработанных данных из источников данных;
дополнительных возможностей сервиса.

Сессия в DataLens — это промежуток времени в десять минут в течение которого пользователь делает запросы к источнику данных. Сейчас в DataLens действуют два тарифа: Бесплатный и Стандарт.

Подробнее о правилах тарификации можно прочитать здесь.

У Yandex DataLens удобный интерфейс. Все инструменты для работы представлены на стартовой странице:

1. Подключения — источники данных. На данный момент поддерживается 7 источников данных: ClickHouse, CSV-файл, PostgreSQL, MySQL, MS SQL Server, Yandex Metrica и AppMetrica.

2. Датасеты — наборы данных с вычисляемыми полями и агрегациями. Формируются пользователем после создания подключения.

3. Чарты — визуализация данных в виде графиков, таблиц и диаграмм. Создаются на основе датасета. Доступны:

линейная диаграмма;
диаграмма с областями;
нормированная диаграмма с областями;
столбчатая диаграмма;
нормированная столбчатая диаграмма;
линейчатая диаграмма;
нормированная линейчатая диаграмма;
точечная диаграмма;
круговая диаграмма;
древовидная диаграмма;
таблица;
сводная таблица;
точечная карта;
фоновая карта;
тепловая карта.

4. Дашборды — страницы с набором чартов. Собранные и визуализированные данные в одном документе.

5. Примеры — примеры дашбордов и чартов для знакомства с сервисом.

6. Marketplace — магазин готовых решений DataLens, в котором можно приобрести готовые датасеты, шаблоны и коннекторы. Со временем пополняется новыми товарами.

Пример использования

Рассмотрим реальный дашборд для анализа данных интернет-магазина. В нашем случае это магазин товаров для новорожденных.

Переходим в раздел «Дашборды» левого меню и выбираем один из наших дашбордов «Сводный отчёт по магазину».

Здесь мы использовали данные Яндекс.Метрики и CRM-системы клиента в формате CSV-файла. Дашборд состоит из трёх вкладок: Визиты, Просмотры, Заказы.

Визит — последовательность действий (активность) одного посетителя на сайте (на одном счётчике). «Визиты» отражают характер трафика на сайт: общая динамика за отчётный период, отказы, визиты в разрезе типов устройств и браузеров.

Мы использовали селекторы (фильтры) и различные типы чартов, которые сделали заранее на основе данных датасета из Яндекс.Метрики. Пример настройки чарта рассмотрим чуть позже.

Вкладка «Просмотры». Просмотром считается загрузка страницы при переходе пользователя на сайт.

Вкладка содержит детальную информацию о просмотрах в зависимости от времени суток, браузера, демографии посетителей, источника и рекламного канала.

На вкладке «Заказы» мы соединили данные из Яндекс.Метрики и CRM-системы интернет-магазина в формате CSV-файла.

Здесь представлены чарты с распределением заказов по рекламным каналам, динамика заказов по дням и категориям товаров, данные по заказам из Яндекс.Метрики и CRM-системы. Также добавлены интересующие нас селекторы: категория товара, бренд и ID покупки.

Плюс DataLens — возможность объединять данные из разных источников на одном дашборде. Как мы помним, чарты строятся на основе датасетов, а датасеты — это наборы данных из определённого подключения в DataLens.

Чтобы объединить данные, нужно, чтобы датасеты из разных источников содержали как минимум один общий параметр. Связь между двумя чартами можно установить, например, в режиме редактирования дашборда. В примере ниже мы связываем данные из разных источников по ID покупки.

Допустим, нас интересует какой-то определённый заказ, где оплата происходила наличными при получении. В CRM-системе есть информация по всем заказам, выкупленным и невыкупленным. Давайте проверим, что произошло с заказом после его оформления на сайте. Фильтруем данные по ID покупки:

Мы видим, что рекламным источником заказа была социальная сеть. Оформлен заказ 2 февраля. Изначально было заказано три товара, а выкуплено только два.

Благодаря связыванию данных из разных источников мы смогли увидеть, что произошло с заказом и сколько товаров было реально выкуплено.

Построение чартов. В этом режиме отображаются всевозможные параметры и метрики, которые можно использовать для построения диаграмм. Для двумерных графиков сразу видно, какие параметры будут на осях X и Y. Также показаны фильтры, цвета графика и параметры для сортировки данных.

Альтернативы

Аналоги Yandex DataLens — системы визуализации Google Data Studio и Microsoft Power BI. Все эти сервисы объединяют:

извлечение данных из разных источников;
возможность делиться отчётами с другими пользователями;
возможность создавать собственные параметры и показатели;
набор инструментов визуализации данных;
русифицированный интерфейс.

Google Data Studio — бесплатный сервис. Сейчас в нём доступно 16 собственных коннекторов для извлечения данных из источников и 179 коннекторов от партнёров. Партнёры — это независимые разработчики, которые опубликовали собственные коннекторы в открытой галерее решений.

В Microsoft Power BI коннекторов намного больше. Их полный список приводится здесь. Сервис также бесплатный, но могут потребоваться навыки программирования.

Yandex DataLens — платный инструмент в группе. Пока источников данных в нём меньше, чем в Data Studio и Power BI. Однако удобство интерфейса позволяет быстро решать маркетинговые и бизнес-задачи, строя наглядную отчётность без навыков программирования. Специального обучения сервис не требует. Познакомиться с Yandex DataLens поближе можно здесь.

Мнение редакции может не совпадать с мнением автора. Ваши статьи присылайте нам на 42@cossa.ru. А наши требования к ним — вот тут.

Источник

В апреле 2019 года Яндекс предложил пользователям сети Интернет Yandex DataLens – сервис интернет-аналитики, который позволяет использовать в работе разные источники данных и изображать их. Этот сервис входит в Яндекс.Облако, сейчас он функционирует с:

MetricaLogsAPI;
информацией из PostgreSQL;
MySQL;
ClickHouse;
CSV-файлами;
API Яндекс.Метрики.

Команда Яндекса непрерывно трудится, увеличивая количество пунктов в списке. Ниже рассмотрены главные возможности данного интернет-ресурса и составление отчёта.

Вход в систему

Необходимо зайти на страницу и нажать “Подключиться”, чтобы опробовать сайт:

Затем нужно войти в аккаунт Яндекса.

Чтобы получить доступ к ресурсу, нужно выбрать “DataLens Preview”

Далее нужно внести соответствующие данные в заявку.

Затем нужно создать платёжный аккаунт. После этого пользователь получит временный доступ к ресурсу (субсидию в 4 тыс. р./60 дней).

Заключительным пунктом станет активизация услуги.

Сделав всё вышеперечисленное, можно опробовать ресурс.

Навигация и интерфейс

В боковом меню показаны:

избранное;
папки;
подключения (источники данных);
дашборды (итоговый отчет);
чарты (краткий отчет: диаграммы и таблицы из датасета);
датасеты (набор данных подключения).

Например, выберем «Metrica». Система запросит наименования подключения, попросит “Подключить токен” (он будет предоставлен на рабочий аккаунт).

Сервис предложит сделанные варианты отчётов.

Пользователь подбирает один из предложенных способов, чтобы познакомиться с функционалом.

Разработка отчётов и данные, которые в нём используются используемые, напоминают сервис Google Data Studio. В меню слева находятся измерения и признаки, пользователь может дополнить ими свой отчёт.

Представленные типы визуализации:

линейная диаграмма;
100% диаграмма с областями;
диаграмма с областями;
столбчатая диаграмма;
круговая диаграмма;
точечная диаграмма;
100% столбчатая диаграмма;
таблица;
древовидная диаграмма;
сводная таблица.

Датасет состоит из описания, типа назначения, списка данных и агрегации. Абонент может сделать своё значение.

Итоговый вариант информационной панели:

Ниже создание отчёта в Yandex DataLens разобрано по пунктам.

Создание отчёта: варианты

Вариант первый

Сначала нужно продумать систему доклада, затем сделать чарты. Чтобы увидеть дашборд по целям и общим показателям, нужно ввести определённые чарты:

цели по источникам (таблица);
общая динамика графика (линейная диаграмма);
цели по последнему источнику (круговая диаграмма);
динамика отказов (диаграмма с областями);
просмотры по времени суток (100% столбчатая диаграмма);
доля просмотров по полу (круговая диаграмма);
просмотры посетителей (линейная диаграмма).

Воспользовавшись этим дашбордом, абонент сможет следить за исполненными целями и знать, какие приносят наибольшую прибыль. В информационной панели будут находиться главные метрики посетителей сайта.

Для создания первого рейтинга необходимо создать таблицу. Затем нужно поставить “Последний значимый источник” в строку измерение, а “Достижение любой цели” необходимо поставить в показатели.