DataEngineering

---

Data Fabric

Data Fabric란?

• 하이브리드 멀티 클라우드 환경을 포괄하는 다양한 엔드포인트에서 일관된 기능을 제공하는 아키텍처 및 데이터 서비스 세트
• 클라우드, 온프레미스, 에지 장치 전반에서 데이터 관리 관행과 실무를 표준화하는 강력한 아키텍처
• 데이터 가시성 및 통찰력, 데이터 엑세스 및 제어, 데이터 보호와 보안을 제공
• Data Fabric이란 아키텍처, 데이터 관리 및 통합 SW, 공유 데이터로 구성된 종단 간 데이터 통합 및 관리 솔루션으로 조직의 데이터 관리 지원
• Data Fabric은 전 세계 조직의 모든 구성원들에게 실시간을 통합되디고 일관된 사용자 경험과 데이터 엑세스를 제공
• Data Fabric은 다양한 종류의 애플리케이션, 플랫폼 및 데이터를 저장하는 장소에 관계없이 조직을 도와 데이터를 관리하여 복잡한 데이터 문제와 사용사례를 해결할 수 있도록 설계
• 분산 데이터 환경에서 원활한 엑세스 및 데이터 공유가 가능해짐
• 원활한 데이터 엑세스 고유, 통합관리 기능
• Data Fabric은 사일로에 있는 데이터용으로 설계되어 스토리지 전반에 걸쳐 데이터를 원할하게 엑세스하고 통합할 수 있는 논리적 DW아키텍처 수단

Data Fabric 사용이유?

• 모든 데이터 중심 조직은 시간,공간 다양한 소프트웨어 유형 및 데이터 위치의 장애를 극복하는 전체적인 ㅈ버근 방식을 필요
• 데이터는 필요로 하는 사용자가 접속할 수 있어야 하며 방화벽 잠겨 이썩나 다양한 위치에 단편적으로 위치하지 않아야합니다.
• 일반적으로 다양한 소스에서 데이터를 수집하는 것이 문제가 되지는 않지만 많은 조직들은 다른 소스와 데이터를 통합, 처리, 선별 및 변환 가능
• 데이터 관리 프로세스의 이 중요한 부분은 고객, 파트너 및 제품에 대한 포괄적인 관점을 제공하기 위한 것
• 이를 통해 조직은 경쟁 우위를 확보하고 고객 요구를 더 잘 충족하고 시스템을 현대화하며 클라우드 컴퓨팅 파워를 활용 할 수 있습니다.
• Data Fabric은 조직의 사용자가 어디에 있든 전 세계 퍼져 있는 천으로 시각적으로 묘사할 수 있습니다.
• 사용자는 이 패브릭의 어느 위치에 있어도 제약 없이 실시간으로 다른 위치의 데이터에 계속 접속 할 수 있음
• 오늘날 데이터의 문제점
  • 다중 온플레미스 및 클라우드 위치에 위치
  • 정형 및 비정형 데이터
  • 데이터 유형의 다양성
  • 플랫폼 환경의 다양성
  • 다양한 파일 시스템, 데이터베이스 및 SaaS 애플리케이션에서 유지 관리

Data Fabric 구현

• Data Fabric :OLTP(온라인 트랜잭션 처리)개념으로 시작
• OLTP에선는 모든 트랜잭션에 대한 세부 정보가 데이터베이스에 삽입, 업데이트 및 업로드
• 데이터는 구조화 되고 정리되며 추가 사용을 위해 중앙사일로 에 저장
• 패브릭은 어느 지점에서나 모든 데이터 사용자가 raw 데이터를 가져과 여러 결과를 도출할 수 있으므로 조직에서 데이터를 활용하여 데이터를 확장, 조정 및 개선 가능
• 데이터 패브릭을 성공적으로 구현하려면 다음 사항이 필요
• 애플리케이션 및 서비스
  • 데이터 호기득에 필요한 인프라가 구축되는 곳. 여기에는 조직과 상호 작용 할 수 있는 앱 및 GUI개발이 포함
• 생태계 개발 및 통합
  • 데이터를 수집, 관리, 저장하는데 필요한 생태계를 생성. 고객의 데이터는 데이터 손실을 방지하면서 데이터 관리자와 스토리지 시스템으로 전송
• 보안
  • 모든 소스에서 수집한 데이터는 적절한 보안 기능으로 관리
• 스토리지 관리
  • 데이터는 접속 가느하고 효율적인 방식으로 저장되며 필요할 때 확장할 수 있어야합니다.
• 전송
  • 조직의 지리적 위치의 모든 지점에서 데이터에 접속하는 데 필요한 인프라를 구축
• 엔드포인트
  • 스토리지 및 엑세스 포인트에서 소프트웨어 정의 인프라를 개발하여 실시간 통찰력 얻어야함

참고

• 
•