Специальности при работе с данными

Специальности при работе с данными

Современные приложения и проекты могут быть масштабными и сложными, часто требующими навыков и знаний от множества людей. Каждый человек обладает уникальным талантом и опытом, участвуя в совместной работе и координируя задачи и обязанности, чтобы довести проект от концепции до реализации. О том, какие выделяют специальности при работе с данными читайте в этой статье.

В недавнем прошлом такие должности, как бизнес-аналитики и разработчики бизнес-аналитики, были стандартом для обработки и анализа данных. Однако чрезмерное увеличение объёма и разнообразия данных привело к тому, что эти должности превратились в более специализированные наборы навыков, которые модернизируют и оптимизируют процессы обработки и анализа данных.

В следующих разделах рассматриваются различные роли, которые играют аналитики и смежные участники производственного процесса IT подразделений компании:

1. Бизнес-аналитик (Business Analyst)
2. Системный аналитик (System Analyst)
3. Аналитик данных (Data Analyst)
4. Инженер по обработке данных (Data Engineer)
5. Специалист по обработке данных (Data Scientist)
6. Администратор базы данных (Database Administrator)
7. Архитектор базы данных (Database Architect)
8. Моделлер базы данных (Modeller Database)
9. Аналитик BI (Analyst BI)
10. Руководитель проекта (Project Manager)

1. Бизнес-аналитик (Business Analyst)

Несмотря на некоторые сходства между аналитиком данных и бизнес-аналитиком, ключевое различие между этими двумя ролями заключается в том, что они делают с данными. Бизнес-аналитик ближе к бизнесу и является специалистом по интерпретации данных, полученных в результате визуализации. Результатом работы бизнес-аналитика являются БТ — бизнес-требования — документ, описывающий будущему разработчику бизнес логику будущей автоматизированной системы или отчета.

2. Системный аналитик (System Analyst)

В отличие от бизнес-аналитика, чей фокус внимания находится на стыке бизнес-пользователя и разработчика, системный аналитик фокусируется на выстраивании взаимодействия между разными системами. Например, настройка интеграции данных из внешнего справочника в корпоративное хранилище данных, выгрузка данных по банковским операциям из АБС ЦФТ в корпоративное хранилище данных, выгрузка зеркальных отражений баз банных всех информационных систем организации одно место — в Озеро данных. Системный аналитик активно взаимодействует с разработчиками и технической поддержкой информационных систем, между которыми необходимо наладить взаимодействие.  Он изучает техническую документацию информационных систем, анализирует технические характеристики систем на совместимость, определяет объем работ, который необходимо провести, чтобы интеграция стала возможна. Результатом работ системного аналитика являются БФТ — бизнес-функциональные требования, а также ТЗ — техническое задание разработчиков по доработке систем, Блок-схемы взаимодействия систем.

Аналитик данных (Data Analyst)

Аналитик данных позволяет компаниям максимально повысить ценность своих информационных ресурсов с помощью инструментов визуализации и отчетности, таких как Visiology. Аналитики данных отвечают за профилирование, очистку и преобразование данных. В их обязанности также входит разработка и создание масштабируемых и эффективных семантических моделей, а также включение и реализация расширенных аналитических возможностей в отчеты для анализа. Аналитик данных работает с заинтересованными сторонами, чтобы определить подходящие и необходимые данные и требования к отчётности, а затем ему поручают преобразовать необработанные данные в релевантную и значимую информацию.

Аналитик данных также отвечает за управление ресурсами, включая отчёты, информационные панели, рабочие пространства и базовые семантические модели, которые используются в отчётах. В его задачи входит внедрение и настройка надлежащих процедур безопасности в соответствии с требованиями заинтересованных сторон для обеспечения сохранности всех ресурсов и их данных.

Аналитики данных работают с инженерами данных, чтобы определить и найти подходящие источники данных, отвечающие требованиям заинтересованных сторон. Кроме того, аналитики данных работают с инженерами данных и администраторами баз данных, чтобы обеспечить аналитику доступ к необходимым источникам данных. Аналитик данных также работает с инженером данных, чтобы определить новые процессы или улучшить существующие процессы сбора данных для анализа.

Инженер по обработке данных (Data Engineer)

Инженеры по обработке данных предоставляют и настраивают технологии платформ данных, которые находятся локально или в облаке. Они управляют потоками структурированных и неструктурированных данных из множества источников и обеспечивают их безопасность. Используемые ими платформы данных могут включать реляционные базы данных, нереляционные базы данных, потоки данных и файловые хранилища. Инженеры по обработке данных также обеспечивают безопасную и бесперебойную интеграцию сервисов обработки данных между платформами данных.

Основные обязанности инженеров по обработке данных включают использование локальных и облачных сервисов и инструментов для сбора, передачи и преобразования данных из нескольких источников. Инженеры по обработке данных сотрудничают с представителями бизнеса, чтобы определять и удовлетворять требования к данным. Они разрабатывают и внедряют решения.

Несмотря на то, что задачи и обязанности инженера по обработке данных и администратора базы данных во многом совпадают, работа инженера по обработке данных выходит далеко за рамки обслуживания базы данных и сервера, на котором она размещена, и, скорее всего, не включает в себя общее управление операционными данными.

Инженер по обработке данных значительно повышает эффективность проектов по бизнес-аналитике и обработке данных. Когда инженер по обработке данных объединяет данные, что часто называют обработкой данных, проекты продвигаются быстрее, потому что специалисты по обработке данных могут сосредоточиться на своих областях работы.

В качестве аналитика данных вы будете тесно сотрудничать с инженером по обработке данных, чтобы обеспечить доступ к различным источникам структурированных и неструктурированных данных. Они помогут оптимизировать семантические модели, которые обычно хранятся в современном хранилище данных или озере данных.

И администраторы баз данных, и специалисты по бизнес-аналитике могут перейти на должность инженера по обработке данных. Им нужно изучить инструменты и технологии, которые используются для обработки больших объёмов данных.

Специалист по обработке данных (Data Scientist)

Специалисты по обработке данных выполняют расширенную аналитику для извлечения ценности из данных. Их работа может варьироваться от описательной аналитики до прогнозной аналитики. Описательная аналитика оценивает данные с помощью процесса, известного как исследовательский анализ данных (EDA — Exploratory Data Analysis). Прогнозная аналитика используется в машинном обучении для применения методов моделирования, которые могут обнаруживать аномалии или закономерности. Эта аналитика является важной частью прогнозных моделей.

Описательная и прогнозная аналитика — это лишь часть работы специалистов по обработке данных. Некоторые специалисты по обработке данных могут работать в сфере глубокого обучения, проводя итеративные эксперименты для решения сложных задач с данными с помощью специальных алгоритмов.

По имеющимся данным, большая часть работы в проекте по анализу данных тратится на обработку данных и разработку функций. Специалисты по анализу данных могут ускорить процесс экспериментов, если инженеры по обработке данных используют свои навыки для успешной обработки данных.

На первый взгляд может показаться, что специалист по обработке данных и аналитик данных сильно отличаются в своей работе, но это не так. Специалист по обработке данных изучает данные, чтобы определить вопросы, на которые нужно найти ответы, и часто разрабатывает гипотезу или эксперимент, а затем обращается к аналитику данных, чтобы тот помог с визуализацией данных и составлением отчётов.

Администратор базы данных (Database Administrator)

Администратор баз данных внедряет и управляет операционными аспектами облачных и гибридных решений для обработки данных, основанных на службах данных. Администратор баз данных отвечает за общую доступность, стабильную производительность и оптимизацию решений для баз данных. Он работает с заинтересованными сторонами над определением и внедрением политик, инструментов и процессов для резервного копирования и восстановления данных.

Роль администратора базы данных отличается от роли инженера по обработке данных. Администратор базы данных отслеживает и управляет общим состоянием базы данных и оборудования, на котором она размещена, в то время как инженер по обработке данных участвует в процессе обработки данных, то есть в сборе, преобразовании, проверке и очистке данных в соответствии с потребностями и требованиями бизнеса.

Администратор базы данных также отвечает за общую безопасность данных, предоставляя и ограничивая доступ пользователей к данным и их привилегии в соответствии с потребностями и требованиями бизнеса.

Архитектор баз данных (Database Architect)

Архитектор баз данных занимается проектированием структуры базы данных, обеспечивает безопасность, занимается обеспечением оптимизации процессов работы и управления базой данных. Архитектор баз данных должен обладать следующими навыками:

• проектировать и настраивать Базы данных
• администрировать и оптимизировать БД
• настройка контроля досткпа к БД
• знание языков запроса к БД (SQL и другие)
• знать язык разметки XML
• знать язык моделирования UML
• работа с EML-системой для управления хранилищем данных
• разработка архитектуры BI систем

Моделлер баз данных (Modeller Database)

Задачей моделлера баз данных является создание визуальных моделей баз данных. Визуальная модель помогает разработчику быстрее понять логику базы данных и спроектировать нужные элементы. Пользователь базы данных на основании модели быстрее разберется, какой атрибутный состав имеется в данной базе данных и по каким атрибутам идет соединение.

Аналитик BI (Analyst BI)

Задачей аналитика BI является представление данных в виде дашбордов, удобных для понимания бизнес пользователями.  Аналитик BI работает с такими инструментами как Power BI и его импортозамещенным аналогом Visiology.

Руководитель проекта (Project Manager)

Задачей руководителя проекта является полное управление проекта, начиная от зарождения идеи проекта до его реализации — внедрения в производственный процесс. Он создает концепцию проекта, представляет проект в виде презентации и защищает его у руководства компании. Также он создает Календарный план реализации проекта, планирует требуемые ресурсы (рабочие, финансовые, закупка оборудования). Лидирует процесс на всех этапах: планирование, создание Базовых требований, Базовых-функциональных требований, проведение опытной эксплуатации. Заканчивается проект вводом новой системы в промышленную эксплуатацию, формирование сопроводительной технической документации (Руководство пользователя, Руководство администратора). Далее система передается на техническое сопровождение в профильное подразделение на техническое сопровождение, а руководитель проекта или занимается развитием данной системы или берет в работу новый проект и цикл начинается заново.

В следующей статье рассмотри типы анализа данных, которые применяют указанные выше специалисты при выполнении своих рабочих задач.