Data Lineage가 왜 필요한가
Foundry의 파이프라인 구축과 코드 관리로 파이프라인을 계속 늘려가다 보면, 어느 순간 “이 Dataset이 어디서 왔고 어디로 쓰이는지” 한눈에 파악하기 어려워집니다. Data Lineage는 이 데이터의 생성·변환·소비 과정 전체를 실시간으로 추적하는 기능입니다. 단순한 사후 기록이 아니라, 메타데이터 시스템과 연동된 살아있는 데이터 맵에 가깝습니다.
핵심 기능
- 양방향 추적(Upstream/Downstream): 특정 Dataset을 기준으로 어떤 원천에서 왔는지(Upstream), 어디에 쓰이고 있는지(Downstream)를 모두 볼 수 있습니다. 파이프라인 코드를 수정하기 전, 이 변경이 어떤 대시보드나 애플리케이션에 영향을 주는지 미리 확인할 수 있습니다(영향도 분석).
- 컬럼 단위 계보: 테이블 단위를 넘어, 특정 컬럼이 어떤 변환 로직을 거쳐 최종 Dataset에 반영됐는지 필드 수준까지 추적합니다. 민감 데이터가 파이프라인 전반에서 어떻게 흐르는지 확인할 때 특히 유용합니다.
- 보안 등급 자동 상속: 원천 데이터에 설정된 보안 등급(Marking)이나 접근 권한이 계보를 따라 하위 Dataset과 파생 분석 결과까지 자동으로 상속됩니다.
- 빌드 이력과의 통합: Foundry의 Git과 유사한 브랜칭 모델과 연동되어, 어느 시점의 어떤 코드 변경으로 문제가 생겼는지 추적할 수 있습니다.
- 헬스 체크 오버레이: 계보 그래프 위에 각 Dataset의 빌드 상태와 품질 검사 결과가 함께 표시되어, 문제가 생긴 지점을 바로 확인할 수 있습니다.
실무에서 쓰는 방식
- 파이프라인 변경 전 영향도부터 확인: 코드를 고치기 전에 Downstream을 먼저 살펴보고, 어떤 대시보드·앱이 영향을 받는지 확인합니다.
- 민감 데이터는 컬럼 단위로 추적: 개인정보나 민감 필드가 포함된 경우, 테이블 단위가 아니라 컬럼 단위 계보로 어디까지 전파됐는지 확인합니다.
- 품질 이슈 발생 시 계보부터 열어본다: 특정 Dataset의 값이 이상하다면, 계보 그래프에서 어느 상위 Dataset이나 Transform 단계에서 문제가 시작됐는지 역추적합니다.
자주 하는 실수
- 변경 영향도를 확인하지 않고 파이프라인부터 고치기: 상위 Dataset을 수정하면 하위의 여러 애플리케이션이 동시에 영향을 받을 수 있습니다. Downstream을 먼저 확인하지 않으면 예상 못 한 곳에서 장애가 발생합니다.
- 보안 등급을 파이프라인 중간에서 임의로 낮추기: 상속된 보안 등급은 이유가 있어 설정된 경우가 많습니다. 계보 상에서 등급이 낮아지면 원래 보호돼야 할 데이터가 하위 단계에서 노출될 수 있습니다.
- 문제 발생 후에야 계보를 들여다보기: 평소에 계보 구조를 파악해두지 않으면, 막상 장애가 났을 때 어디서부터 봐야 할지 감을 잡기까지 시간이 걸립니다. 주요 파이프라인은 미리 한 번씩 계보를 훑어보는 습관이 도움이 됩니다.
다음 단계
파이프라인 로직 자체를 다시 살펴보려면 Pipeline Builder나 Code Repository를, 이 데이터가 온톨로지에 어떻게 매핑되는지 확인하려면 Ontology Manager를 다시 참고하는 것을 추천합니다.
자주 묻는 질문
Q. Data Lineage는 자동으로 기록되나요?
네. Foundry의 파이프라인과 온톨로지 연결 구조 안에서 자동으로 계보가 기록되며, 별도로 문서화 작업을 할 필요가 없습니다.
Q. Lineage를 언제 확인하는 게 실무에 도움이 되나요?
파이프라인 결과값이 이상할 때 원인을 거슬러 올라가거나, 원천 데이터 스키마를 바꾸기 전에 영향받는 다운스트림 Dataset·애플리케이션을 미리 확인할 때 특히 유용합니다.
Q. Lineage와 감사(Audit) 로그는 같은 건가요?
다릅니다. Lineage는 데이터가 거쳐온 변환 경로를 보여주고, 감사 로그는 누가 언제 어떤 작업을 했는지를 기록합니다. 규제 대응에는 둘 다 필요한 경우가 많습니다.
Q. Lineage 그래프가 너무 복잡해지면 어떻게 하나요?
특정 Dataset이나 Object Type을 기준으로 상류/하류 범위를 좁혀서 보는 필터 기능을 활용하는 것이 일반적입니다.
Q. 자주 하는 실수는 무엇인가요?
문제가 생긴 뒤에야 Lineage를 처음 열어보는 경우가 많습니다. 파이프라인을 설계하는 단계에서부터 Lineage 화면으로 구조를 점검하는 습관을 들이는 것이 좋습니다.