ETL-разработчик — это одно из направлений работы в IT-сфере. Данный специалист занимается управлением хранилищами данных: он отвечает за консолидацию, федерализацию и обмен данными.
ETL происходит из английских слов: «to Extract», «to Transform», «to Load», то есть «Извлекать», «Преобразовывать», «Загружать».
ETL-разработчик в действии
ETL-разработка включает в себя следующие процессы:
- Нужно извлекать данные из внешних источников.
- Преобразовывать эти данные согласно имеющейся бизнес-модели.
- Загружать преобразованные данные в собственное хранилище данных.
На первый взгляд может показаться, что ETL-разработчик — это очень простая профессия, так как включает в себя не так много обязанностей. Но это совсем не так. На самом деле очень много «подводных камней» сопровождают эту специальность. Например:
- Часто источниками данных являются очень разносторонние системы хранилищ данных с разными форматами самих данных. А это влечет за собой знание различных процедур извлечения этих данных. Иногда бывает, что внутри одной информационной системы данные извлекаются разными путями.
- Данные с разных источников и разных форматов должны быть приведены в единый вид, который регламентируется собственными бизнес-правилами, единством применяемых систем кодирования, используемыми классификаторами и справочниками.
- При извлечении и преобразовании данных всегда нужно учитывать особенности компании, где работает ETL-разработчик, зачастую это добавляет дополнительные сложности в и так непростую работу.
ETL-разработка в действии
То есть уже понятно, что ETL-разработчик на практике находит, собирает, извлекает, преобразует какие-то данные из разносторонних источников и адаптирует их под нужды компании, где он трудится.
Приводим несколько примеров, где может работать ETL-разработчик:
- Облачные хранилища. В данном случае ETL-разработчик работает с облачными хранилищами, которые удешевляют процесс хранения данных и позволяют легко масштабировать и защищать облачный продукт. Часто такой процесс завязан с каким-нибудь приложением.
- Базы данных. Работа с обычными базами данных, где ETL-developer — это тот, кто отвечает за перемещение данных в хранилища.
- Машинное обучение. При машинном обучении приходится часто работать с большими объемами данных. ETL применяется для миграции данных из разных источников в одно хранилище, которым пользуются для машинного обучения.
- Маркетинговые данные. Часто крупным компаниям необходимо провести маркетинговое исследование, и поэтому им необходимо переместить в одно хранилище данные из разных источников: веб-аналитика, соцсети, данные о клиентах, о продажах и т. д.
- Данные от IoT. Если в системе IoT подключено очень много датчиков, собирающих данные, то часто для их анализа такие данные собираются в одном месте. За этот «сбор» данных отвечает ETL-разработчик.
- Синхронизация данных. К примеру, данные из обычных баз копируются в облачные хранилища. При обновлении данных в обычных хранилищах их нужно обновлять и в облаке. За этот процесс синхронизации тоже может отвечать ETL-разработчик.
- Аналитика бизнеса. Часто топ-менеджменту больших компаний нужно проводить анализ показателей собственного бизнеса. В больших бизнес-организациях очень много источников таких данных. За сбор информации в одном месте из разносторонних областей бизнеса отвечает ETL-разработка.
Системный инструмент ETL
ETL-разработка включает в себя знание и работу с популярным системным ETL-инструментарием. Самые распространенные инструменты ETL-разработчика:
- Cloud BigData.
- IBM InfoSphere.
- Power Center.
- MicrosoftSQLServer.
- Open Text.
- OracleGoldenGate.
- PervasiveDataIntegrator.
- PitneyBowes.
- SAPBusinessObjects.
- Sybase.
- И др.
Профессиональных инструментов ETL-специалиста очень много. Поэтому если ETL-разработка — это то, что вас привлекает, то нужно внимательно изучить эту техническую часть. Часто, когда требуется ETL-разработчик в компанию, к нему уже применяют конкретные требования к его опыту и пониманию. Поэтому если вы стоите на старте и только смотрите в сторону работы с большими данными, то имеет смысл проверить наличие вакансий и свежих требований к этой специальности. Тогда у вас будет возможность выучить именно те инструменты, знания которых часто требуются.
Другое