반응형 전체 글54 ELT란 무엇인가 – ETL과의 차이와 선택 기준 이 글은 공부하며 정리한 내용입니다. 틀리거나 보완할 점이 있다면 댓글로 알려주시면 감사하겠습니다.1. 핵심 요약ELT는 Extract → Load → Transform의 순서로 처리되는 데이터 처리 방식이다.ETL은 데이터를 추출한 뒤 변환하고 저장하는 반면, ELT는 먼저 적재하고 나중에 저장소 내에서 변환한다.대용량 처리에 최적화된 MPP 기반 DW(BigQuery, Snowflake 등) 환경에서는 ELT가 더 적합한 경우가 많다.2. 상세 내용 설명ELT란?ELT는 데이터를 먼저 저장소에 적재(Load) 한 뒤, 그 안에서 쿼리나 작업을 통해 변환(Transform) 하는 방식이다.전통적인 ETL과는 처리 순서가 다르며, 특히 저장소 자체가 고성능 연산을 지원하는 경우에 사용된다.ETL vs E.. 2021. 7. 31. cron 개념, 사용법 정리 이 글은 공부하며 정리한 내용입니다. 틀리거나 보완할 점이 있다면 댓글로 알려주시면 감사하겠습니다. 1. 핵심 요약cron은 리눅스/유닉스 기반 시스템에서 사용되는 시간 기반 작업 스케줄러이다.사용자가 원하는 특정 시간 또는 주기에 맞춰 자동으로 스크립트나 명령을 실행할 수 있도록 해준다.cron 작업은 crontab 파일에 정의되며, 사용자는 crontab -e 명령어로 이를 설정할 수 있다.2. 상세 내용 설명2-1. cron과 crontab의 차이cron: 실제로 백그라운드에서 실행 중인 데몬(daemon)으로, 지정된 시간에 작업을 실행하는 역할을 함crontab: cron 작업의 설정 파일이며, 사용자마다 별도의 crontab을 가지고 설정할 수 있음 (cron + table의 줄임말)💡 데몬.. 2021. 7. 29. [PYTHON] JSONL(JSON LINES)형식 처음 보는 형식이라 정리해두려고 합니다. 1. 정의 jsonl은 json line의 약어로, JSON Lines 텍스트 형식이라고 한다. 말 그대로, JSON 내부에 한 줄씩 JSON을 저장할 수 있는 구조화된 데이터 형식으로 이해하면 된다. 2. 형태 형태는 아래와 같다. {"id":"a","title":"안녕","genre":"드라마"} {"id":"b","title":"바보","genre":"액션"} 그럼 JSON 형태로 모아 두면 그게 jsonl일까요? 규칙이 존재합니다. 1. UTF-8 의 인코딩이어야 한다. 2. 각 행들은 모두 JSON 형태여야 한다. 3. 각각의 줄은 \n으로 구분되어야 한다. 3. 생성법 그럼 jsonl 형태의 파일은 어떻게 생성해야 할까요? 일반적인 json과 동일하나,.. 2021. 7. 29. [PENTAHO] GROUP BY와 MEMORY GROUP BY의 차이점 - 이 문서는 PENTAHO의 공식 document를 참고하였습니다. - 버전은 가장 최신인 9.1 CE 기준으로 작성하였습니다. - 저도 공부 중입니다.. 틀리거나 이상한 부분이 있으면 댓글 달아주셔요..^^ kettle을 사용하다 보며 궁금한 것은 GROUP BY와 MEMORY GROUP BY의 차이점은 무엇인가였다. 실제로 대량의 GROUP BY를 동시에 진행할 때가 아닌 경우에 사용한다라는 느낌만 가지고 사용하기에 궁금증이 커졌습니다. 그래서 이곳저곳 인터넷을 찾아보며 정리한 내용을 올려드립니다. 우선 공식문서 내용들을 살펴보겠습니다. GROUP BY 이 단계는 지정된 필드 또는 필드 컬렉션을 기반으로 소스의 행을 그룹화합니다. 각 그룹에 대해 새 행이 생성됩니다. 또한 그룹에 대해 하나 이상의 .. 2021. 7. 28. 이전 1 ··· 4 5 6 7 8 9 10 ··· 14 다음 반응형
