Пресс-релизы //

IT_ONE разработала ETL-продукт для наполнения хранилищ данных – OneData

Компания IT_ONE (ООО «ИТ1-Технологии») разработала ETL-продукт по перемещению и интеграции данных в хранилищах – OneData. Новый фреймворк поддерживает большинство популярных типов источников и приемников данных, высокую скорость развертывания и отличается простотой настройки.

Деятельность коммерческих компаний связана с генерацией огромных массивов данных. Для их размещения и обработки используются озера данных (Data Lake), сложные распределенные хранилища, аналитические системы и другие технологии. При этом важным процессом является регулярная актуализация и пополнение этих данных из внешних систем-источников, разнородных по типу взаимодействия с ними и по типу передаваемых данных.

OneData оптимизирует деятельность ИТ-команд компаний-заказчиков, занимающихся наполнением хранилищ данных. Продукт – альтернатива популярным западным проприетарным продуктам, многие из которых сегодня недоступны в России, а также продуктам на основе открытого ПО, которые могут не подходить заказчику по функциональности.

OneData состоит из четырех основных структурных компонентов: web-интерфейса конфигурирования, базы данных конфигураций потоков перемещения данных, сервиса обработки данных на базе Spark и оркестратора потоков на базе Apache Airflow. Решение поддерживает наиболее популярные в России источники и приемники данных. Например, оно работает с JDBC-источниками и брокером сообщений Apache Kafka, а в качестве приемников могут выступать файловые хранилища (HDFS, S3, FTP), JDBC, таблица Hive.

Работа в OneData происходит следующим образом. Администратор формирует конфигурацию потока перемещения данных, которая сохраняется в БД, и расписание запуска потока. В том же конфигурационном файле можно указать дополнительные настройки: например, количество ресурсов, которое будет запрашивать spark-процесс, преобразования типов полей и т. д. Параллельно происходит формирование DAG-файла и импорт его в Airflow для постановки потока на расписание. По расписанию происходит вызов Spark-процесса, который в соответствии с заданной конфигурацией осуществляет перемещение данных из источника в приемник. Использование Spark обеспечивает высокую скорость перемещения: эффективное распараллеливание, получение и запись данных.

Кроме того, при сохранении в файловую систему фреймворк поддерживает самые разные форматы файлов: orc, parquet, csv, json, deltalake. Чтение из Kafka может сопровождаться валидацией входящих json-сообщений по указанной json-схеме. Сообщения, не прошедшие валидацию фреймворк может бережно сложить в указанный DLQ-топик (Dead Letter Queue topic). Эти опции еще более расширяют функциональность продукта.

К числу преимуществ нового решения относится его оперативное развертывание. Основной Spark-процесс можно запустить даже локально, но для использования всех преимуществ рекомендуется Hadoop-кластер с YARN или Kubernetes-кластер. Конфигурация процессов перемещения данных может храниться в json-файлах или в любой доступной БД PostgreSQL. Оркестрация потоков осуществляется с помощью Airflow, который можно развернуть рядом или использовать уже имеющийся.
OneData прост в настройке, ее может осуществить даже специалист без навыков программиста или DevOps.

В соответствии с «дорожной картой» развития OneData, компания IT_ONE планирует дополнить продукт такими функциями, как маскирование данных, перенос изменений в метаданных, поддержка новых типов источников и приемников, автоматическая проверка консистентности перемещенных данных. Также готовится ряд технологических доработок, которые должны облегчить эксплуатацию фреймворка: это фиксация метрик работы потоков перемещения данных, интеграция с системами мониторинга и т. д.

«Имея богатый опыт внедрения хранилищ и озер данных, в сложившейся на рынке ситуации мы почувствовали необходимость разработки собственного фреймворка перемещения данных. OneData способен радикально сокращать время и трудозатраты в таких задачах, как, например, наполнение Stage/ODS слоев, подключение новых источников данных к хранилищам или наполнение пользовательских песочниц. С каждым спринтом OneData становится всё более быстрым, удобным и совершенным», – комментирует ведущий менеджер проектов IT_ONE Александр Самойлов.

IT_ONE (https://www.it-one.ru) — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций.

Контактное лицо: Татьяна Алексеева
Компания: IT_One
Добавлен: 22:30, 06.12.2023 Количество просмотров: 89
Страна: Россия

HRlink подключил в платформе кадрового ЭДО 4,5 тыс. сотрудников сети аптек «Максавит», HRlink, 00:27, 09.05.2024, Россия409
Федеральная сеть аптек «Максавит» отказалась от бумаги в кадровом делопроизводстве (КДП) и подключила сотрудников к платформе для кадрового ЭДО HRlink.

Тюменский индустриальный университет начнет использовать платформу для транспортного моделирования RITM³ от SIMETRA, Simetra, 00:48, 08.05.2024, Россия288

ГК SIMETRA, центр компетенций в области моделирования транспортных потоков и транспортного планирования, подписала соглашение о сотрудничестве с Тюменским индустриальным университетом (ТИУ) – одним из ведущих вузов региона

В Адыгее спецучреждение оснастят системой видеоинформации, Адыгейское УФАС России, 00:46, 08.05.2024, Россия236

Выявлены нарушения при проведении аукциона спецучреждением в Адыгее

ГК Юзтех и Ассоциация «Нефтегазовый кластер» заключили соглашение о сотрудничестве, ГК Юзтех, 00:46, 08.05.2024, Россия163

ГК Юзтех объявляет о стратегическом партнерстве с Нефтегазовым межрегиональным кластером для совместного развития и внедрения инновационных технологий в нефтегазовой отрасли.

Nubes (НУБЕС) предоставил облако для TravelTech-платформы «Погнали!», Nubes, 00:44, 08.05.2024, Россия164

ИТ-компания «Погнали!» запустила свое решение в облаке нового поколения NGcloud. На облачных ресурсах Nubes разработчик развернул масштабную онлайн-платформу для любителей путешествовать по России, а для хранения большого объема данных подключил сервис объектного хранилища S3.

Студенты платформы OTUS изучат создание хранилищ данных на основе продуктов Arenadata, Arenadata, 00:43, 08.05.2024, Россия164

Образовательная онлайн-платформа OTUS запускает курс «DWH на основе Arenadata». Обучение поможет освоить базовые навыки для успешной работы на проектах по созданию и развитию хранилищ данных и систематизировать уже имеющиеся знания.

Nubes (НУБЕС) предоставил облако для TravelTech-платформы «Погнали!», Nubes, 00:41, 08.05.2024, Россия86

Hybrid открывает собственную школу обучения программатик - специалистов Hybrid AdOps School, Hybrid, 00:41, 08.05.2024, Россия74

Компания Hybrid, специализирующаяся на высокотехнологичных разработках в области интернет-рекламы, запустила собственную школу обучения Ad operation менеджеров. Инициатива направлена на молодых специалистов города Тамбова и позволит со временем ликвидировать дефицит профессионалов в сфере adtech.

Т1 запустил ИТ-лагерь для студентов, Холдинг Т1, 00:39, 08.05.2024, Россия85

Студентов со всей России организаторы соберут на очный буткемп, а лучшим — предложат присоединиться к команде холдинга

Прием заявок на конкурс «Голос жизни» продлевается, Альянс СОНКО, 00:36, 08.05.2024, Россия144

Оргкомитет I Международного творческого конкурса авторов контента в поддержку идеи радикального продления жизни людей «Вместе против старения: голос Жизни» объявляет о продлении сроков приёма творческих работ до сентября 2024 года.

Студенты СПбГАСУ будут учиться моделированию на цифровой платформе RITM³ компании SIMETRA, Simetra, 00:58, 06.05.2024, Россия268

ГК SIMETRA и Санкт-Петербургский государственный архитектурно-строительный университет (СПбГАСУ) заключили соглашение о сотрудничестве. В рамках соглашения SIMETRA поставила вузу академические лицензии на использование в образовательном процессе цифровой платформы RITM³.

HRlink повысил надежность работы сервиса кадрового ЭДО, HRlink, 00:58, 06.05.2024, Россия268

Архитектуру платформы кадрового электронного документооборота (ЭДО) HRlink адаптировали к существенному росту количества пользователей. Кроме того, в 2024 году HRlink первой на рынке решений для безбумажного КДП занялась подключением второго удостоверяющего центра для электронных подписей.

Компания PMP Tech заняла второе место на премии Workspace Digital Awards, PMP Tech, 00:56, 06.05.2024, Россия327

PMP Tech, ведущая IT-компания из Петербурга, заняла второе место на независимой премии Workspace Digital Awards. Компания выдвинулась с кейсом "Мобильное приложение Брелок” в номинации "Недвижимость и строительство" в категории "Мобильные приложения".

В Санкт-Петербурге программные роботы оптимизировали работу Комитета по тарифам, itrend, 00:49, 06.05.2024, Россия248

Комитет по тарифам Санкт-Петербурга оптимизировал ряд своих рабочих процессов за счёт внедрения трех программных роботов. Проект реализовали специалисты Санкт‑Петербургского информационно-аналитического центра.

Efros Defence Operations начал серию совместимостей с оборудования D-Link, Газинформсервис, 00:43, 06.05.2024, Россия93

Специалисты компаний «Газинформсервис» и ООО «Д-Линк Трейд» успешно завершили технические испытания совместимости. Испытания подтвердили корректность функционирования комплекса по защите ИТ-инфраструктуры Efros DefOps с оборудования D-Link серий DGS-1210-XX, DGS-1210-XX/ME, DGS-3130-XX, DGS-3630-XX, DXS-3610-XX.