반응형 DATA3 ODS란 무엇인가 – 개념 이 글은 공부하며 정리한 내용입니다. 틀리거나 보완할 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. 핵심 요약ODS(Operational Data Store)는 운영 데이터 저장소로, 운영 시스템에서 생성된 데이터를 일시적으로 저장하고 정형화하는 중간 저장DW(Data Warehouse)로 데이터가 적재되기 전에, 실시간 또는 근실시간 데이터를 빠르게 질의하거나 가공하기 위한 용도로 활용스테이징과 유사하지만, 더 정제되고, 운영 중 조회 및 처리에 활용되는 점2. 상세 내용 설명ODS의 정의먼저, ODS(Operational Data Store)는 일반적으로 운영 데이터를 정형화하여 임시 저장하는 저장소로 정의된다.운영 시스템에서 수집된 데이터를 실시간 또는 짧은 지연으로 반영하며, DW로 적재되기 .. 2022. 5. 8. ELT란 무엇인가 – ETL과의 차이와 선택 기준 이 글은 공부하며 정리한 내용입니다. 틀리거나 보완할 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. 핵심 요약ELT는 Extract → Load → Transform의 순서로 처리되는 데이터 처리 방식이다.ETL은 데이터를 추출한 뒤 변환하고 저장하는 반면, ELT는 먼저 적재하고 나중에 저장소 내에서 변환한다.대용량 처리에 최적화된 MPP 기반 DW(BigQuery, Snowflake 등) 환경에서는 ELT가 더 적합한 경우가 많다.2. 상세 내용 설명ELT란?ELT는 데이터를 먼저 저장소에 적재(Load) 한 뒤, 그 안에서 쿼리나 작업을 통해 변환(Transform) 하는 방식이다.전통적인 ETL과는 처리 순서가 다르며, 특히 저장소 자체가 고성능 연산을 지원하는 경우에 사용된다.ETL vs E.. 2021. 7. 31. ETL이란 무엇인가 – 개념 이 글은 공부하며 정리한 내용입니다. 틀리거나 보완할 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. 핵심 요약ETL은 Extract(추출), Transform(변환), Load(적재)의 약자로, 데이터를 옮기고 바꾸고 저장하는 전체 흐름을 말한다.예를 들어 여러 시스템(DB, 로그 등)에 흩어진 데이터를 하나로 모아서 분석용 테이블에 저장하는 게 전형적인 ETL 흐름이다.흔히 데이터 웨어하우스(DW), 데이터 마트(DM) 같은 저장소에 데이터를 쌓기 위한 전처리 과정으로 활용된다.2. 상세 내용 설명ETL의 구성 요소Extract (추출)다양한 원천 시스템에서 데이터를 가져오는 단계예: MySQL, PostgreSQL, Excel, API, 로그 파일 등Transform (변환)가져온 데이터를 목적에.. 2021. 6. 28. 이전 1 다음 반응형
