대그스터 (Dagster)

Dagster는 데이터 파이프라인의 전체 수명 주기를 관리할 수 있도록 돕는 데이터 오케스트레이션 도구입니다. 단순히 작업의 성공과 실패만을 추적하는 대신, 데이터 애셋을 중심으로 설계되어 어떤 데이터가 존재하는지, 어떻게 생성되었는지, 무엇이 그것에 의존하는지를 파악합니다.

이러한 애셋 중심 접근 방식 덕분에 팀은 별도의 추가 작업 없이도 자동으로 리니지, 신선도 추적, 품질 검사를 확보할 수 있습니다. Python을 기본으로 하는 코드 중심 도구이기 때문에 개발자는 파이프라인을 코드로 작성하며, 최근에 추가된 컴포넌트 기능을 사용하면 간단한 설정 파일만으로도 개발 속도를 높일 수 있습니다.

Dagster는 누구나 직접 호스팅할 수 있는 오픈소스 코어를 제공하며, 호스팅 형태로 더 많은 기능을 원하는 팀을 위한 관리형 클라우드 버전인 Dagster Plus도 함께 제공합니다.

Python에 익숙한 사용자라면 Dagster를 어렵지 않게 시작할 수 있습니다.

• 스캐폴딩 명령어를 사용해 새 프로젝트를 만들면, 시작에 필요한 폴더 구조와 기본 파일이 자동으로 생성됩니다.

• 데이터 애셋을 코드로 정의합니다. 각 애셋은 특정 데이터가 어떻게 생성되는지와 무엇에 의존하는지를 설명하는 함수입니다.

• 프로젝트를 검증하여 실행 전에 모든 정의가 올바른지 확인합니다.

• 로컬 개발 환경을 실행하여 인터페이스를 통해 파이프라인을 탐색하고 실행할 수 있습니다.

• 인터페이스나 명령줄을 통해 애셋을 구체화하여 실제 데이터를 생성합니다.

• 파이프라인이 커지면 리소스, 스케줄, 품질 검사를 추가하여 실행이 자동으로 이루어지고 결과가 정확하게 검증되도록 합니다.

• 파이프라인이 실제 사용에 준비되면 자체 호스팅 환경이나 관리형 클라우드 옵션을 통해 프로덕션 단계로 전환합니다.

Dagster는 데이터 파이프라인을 구축하고 운영하기 위한 완성도 높은 기능들을 제공합니다.

• 애셋 기반 오케스트레이션: 파이프라인이 생성하는 데이터를 중심으로 구성되어 자동으로 리니지와 의존성을 추적합니다.

• 데이터 카탈로그: 검색 가능한 카탈로그를 통해 모든 애셋의 상태, 신선도, 소유자를 한곳에서 확인할 수 있습니다.

• 품질 검사: 내장된 검사 기능이 잘못된 데이터를 조기에 발견하고, 필요한 경우 파이프라인 진행을 차단합니다.

• 파티션과 백필: 대규모 데이터셋을 시간이나 범주에 따라 분할하고, 필요할 때 손쉽게 재처리할 수 있습니다.

• 스케줄과 센서: 정해진 시간에 파이프라인을 실행하거나, 새 파일 도착과 같은 이벤트에 자동으로 반응하도록 설정할 수 있습니다.

• 컴포넌트: 재사용 가능한 설정 기반 구성 요소로 dbt나 Spark 같은 일반적인 연동 작업 속도를 높여줍니다.

• 유연한 배포: 팀은 오픈소스 버전을 직접 호스팅하거나 관리형 Dagster Plus 클라우드를 사용할 수 있습니다.

• 강력한 통합: dbt, Snowflake, Fivetran, Spark, 주요 클라우드 스토리지 제공업체와 긴밀하게 연동됩니다.