Pyhton - Decorator, Wrapper함수 개념 python에서 decorator와 wrapper는 함수나 메서드의 동작을 확장하고 수정하는데 사용되는 중요한 개념. decorator는 함수의 호출 전후에 추가 기능을 적용할 수 있고, wrapper 이러한 추가 기능을 감싸고 실행하는 함수이다. 1. Decorator 기본 개념 기존함수를...

Kafka Connect’s REST API (curl) connector 조회 curl -s -X GET "http://localhost:8083/connectors/" connector config와 status 상세 확인 curl -i -X GET -H "Content-Type:application/json" \ ht...

Confluent Topic Conflunet Platform에서 Kafka Topic 생성방법은 Kafka CLI kafka-topics --create \ --topic <topic_name> \ --bootstrap-server <broker_address> \ --partitions <...

Introduction datalake와 datalake house 모두 빅데이터와 함꼐 동작하고, Data Science/Data Analytics을 지원하고 처리하도록 함 아래는 이 2가지 솔루션에 대해 이론적 배경을 제시하고 각각의 장단점을 설명 What is DataLake? Datalake는 조직이 대규모의 정형/반정형/비정...

BigQuery란 BigQuery란 2011년 일반 안정화버전으로 출시되었으며 비지니스 민첩성을 위해 설계된 Google Cloud의 엔터프라이즈 데이터웨어하우스. 서버리스 아키텍를 통해 규모와 속도로 작동하고 대규모 데이터세트에 대해 매우 빠른 SQL분석으로 제공할 수 있음. 표준 SQL 지원등 확장 가능한 분석엔진을 통해 테라바이크급 쿼리...

Iceberg vs Dremio Dremio란 정의 Dremio는 데이터 레이크 엔진으로서, 다양한 데이터 소스에서 데이터를 검색하고 쿼리하는 데 중점을 둔 오픈 소스 소프트웨어입니다. Dremio는 대규모 데이터 처리 및 분석을 단순화하고 가속화하기 위해 설계되었습니다. 몇 가지 주요 특징과 기능은 다음과 같습니다:ㅎ 특징 Self-Ser...

Database - 4UUID (Primary key) Abstract This specification defines a Uniform Resource Name namespace for UUIDs (Universally Unique IDentifier), also known as GUIDs (Globally Unique IDentif...

OGG HA와 RAC? 모두 DB서버의 구성에 관한 것 이고, 고가용성을 위해 만들어진 구성 HA구성이 먼저 나왔고, 몇가지 보완한것이 RAC구성 HA HA(High Availability)는 2개의 서버를 이용하여 하나는 Active 상태, 나머지 하나는 Standby 상태로 정해놓는다. 거의 모든 부하는 Active에서 부담하고 St...

7 Uses of find Command in Linux Find it and do what you want find명령어는 back-end 개발자라면 꼭 알아야할 tool이다 Scenario Linux서버에서 logs 디렉터리가 있는 경우, 마지막 엑세스 시간이 1년 > 이상인 로그파잎을 삭제하려면 어떻게할까? Ans...

How to identify and kill zombie/defunct processes in Linux without reboot Linux에서는 maximum process 개수가 잇고 그리고 process id가 존재 maximum에 다다르면, 새로운 process를 시작이 불가능 zombie process는 그들이 parent p...