[ETL][0] ETL이란 무엇인가?

- 이 글은 제가 공부를 하며, 이해한 것을 바탕으로 작성하는 글입니다.

- 그렇기에 틀리거나 잘못된 부분이 있을 수 있습니다.

- 글의 오류를 발견하시면, 댓글로 말씀해 주시면 정말 감사하겠습니다.

---

ETL에 대한 간략한 정리가 필요하다 판단하여 공부를 하게 되었다. 개념이 잘 잡히지 않은 분들은 같이 읽어나가며 공부를 하는 것도 좋을 것 같다.

 

가장 먼저, ETL의 정의를 한번 살펴보자. 여러 정의를 가지고 읽어 보자

 

[1] 정의

 

1.     ETL은 extract, transform, load를 의미하며, 조직 내외부의 복수의 source들로부터의 data를 data 분석을 위한 data warehouse, data mart 내로 이동시키는 process로서, 추출, 재구성(reformatting), 정제, 통합, 변형 등을 포함한다. Motorola에서는 회사의 지출 총계를 분석하기 위해 ETL을 통해 30개의 다른 procurement system들로부터의 data를 수집하여 global supply chain management data warehouse로 보낸다.

 

2.     ETL은 추출, 변환, 적재(extract, transform, load, ETL)는 컴퓨팅에서 데이터베이스 이용의 한 과정으로 특히 데이터 웨어하우스에서 다음을 아우른다: 첫째, 동일 기종 또는 타 기종의 데이터 소스로부터 데이터를 추출한다. 둘째, 조회 또는 분석을 목적으로 적절한 포맷이나 구조로 데이터를 저장하기 위해 데이터를 변환한다. 마지막으로 최종 대상(데이터베이스, 특히 운영 데이터 스토어, 데이터 마트, 데이터 웨어하우스)으로 변환 데이터를 적재한다.

 

먼 말인지 잘 모르겠다... 일단 그림을 한번 더 이해를 해보려고 해 보자..

 

 

 

대충 감이 오는 것 같다. 내가 이해한 것을 정리해보자면,

 

-       ETL은 ETL을 수행하는 프로세스를 의미하는 것으로 Extract, Transform and Load로 추출, 변형, 저장(적재)이라는 단어로 이뤄져 있다. 즉 데이터웨어 하우스라고 통칭하는 여러 개의 source data들이 들어있는 곳에서 필요한 데이터를 가지고 와서, 알맞은 포맷/구조로 변환하고 목표한 위치(위에서는 분석용, 보고서용 등등)에 적재시키는 과정? 정도로 생각할 수 있을 것 같다.

 

-       또한 상이한 DBMS(ORACLE, PostgreSQL, MYSQL) 등에서의 데이터 이전하는 활동을 말하는 것 같기도 하다. 각 DBMS마다 호환이 안 되는 것들이 있기에, 테이블의 SCHEMA를 변경한다던지…?

 

-       예를 들어, 회사의 영업과 관련된 데이터 분석을 위해, 사내의 ERP, CRM 시스템에 저장되어 있는 데이터가 필요하다고 한다면, ERP, CRM Data Warehouse에 접근해서 필요한 데이터들을 추출하고 이를 요구사항에 맞는 data구성이나 형태를 transform 하여, 분석에 사용하는 데이터를 적재하는 곳에 적재하는 것으로 볼 수 있을 것 같다.

 

 

[2] 추가 업데이트

 

그동안 업무를 수행하며, 새롭게 느낀 것을 간단하게 정리를 해 보자면 결론적으로는 아래의 정의로 귀결될 것 같다.

 

ETL은 데이터를 이동하고, 형태를 변경하여 저장하는 일련의 행위들을 ETL이라고 하는 것이다. 

 

예를 들어, DW, DM, ETL 등의 관련 단어를 검색했을 때의 가장 많이 나오는 그림은 아래와 같을 것이다. 

그림에서의 화살표, 즉 데이터가 이동하는 흐름에서 이루어지는 것들이 모두 ETL이라고 보면 될 것이다.

 

 

 

 

 

 

[2] 출처

https://ko.wikipedia.org/wiki/%EC%B6%94%EC%B6%9C,_%EB%B3%80%ED%99%98,_%EC%A0%81%EC%9E%AC

추출, 변환, 적재 - 위키백과, 우리 모두의 백과사전

https://itpassion.tistory.com/entry/ETL%EC%9D%B4%EB%9E%80

ETL이란?

- Facebook

She loves data - Test your Data Warehousing Knowledge! Can you identify the different Data Warehousing Acronyms in the Aunalyti