비동기 concurrent.futuers모듈 Python에서 병렬작업을 쉽게 처리할 수 있도록 도와주는 고수준의 Interface를 제공. 이 모듈은 Thread Pool또는 Process Pool에 제출하여 비동기 실행을 관리 주요 구성요소 1. Executoer 클래스 concurrent.futures.Executor는 추상클래스이며...

Cloud Asset를 활용한 GCE리스트 추출 스크립트 배경 및 목적 GCP에서 관리하는 GCE가 매우 많을경우 계층구조(hierarchy)가 복잡할때 ex) Organizaion-Folder-Project 한번에 GCE리스트를 추출하기 위해 작성. 기존에 Compue Enigne API로는 특정 프로젝트에 인스턴스 리스트만 조회하여 상위 레벨의...

Python’s argparse 참고 https://python.plainenglish.io/learn-pythons-argparse-in-10-minutes-a-guide-to-stop-hardcoding-inputs-4764f1ee79c0

*만료기간이 있는 Service Account key생성 from google.cloud import iam_credentials_v1 import datetime import json def create_service_account_key(project_id, service_account_email, key_output_file): """...

PThe History and Evolution of Open Table Formats 참고 https://alirezasadeghi1.medium.com/the-history-and-evolution-of-open-table-formats-0f1b9ea10e1e

Pyhton - Decorator, Wrapper함수 개념 python에서 decorator와 wrapper는 함수나 메서드의 동작을 확장하고 수정하는데 사용되는 중요한 개념. decorator는 함수의 호출 전후에 추가 기능을 적용할 수 있고, wrapper 이러한 추가 기능을 감싸고 실행하는 함수이다. 1. Decorator 기본 개념 기존함수를...

Kafka Connect’s REST API (curl) connector 조회 curl -s -X GET "http://localhost:8083/connectors/" connector config와 status 상세 확인 curl -i -X GET -H "Content-Type:application/json" \ ht...

Confluent Topic Conflunet Platform에서 Kafka Topic 생성방법은 Kafka CLI kafka-topics --create \ --topic <topic_name> \ --bootstrap-server <broker_address> \ --partitions <...

7 Uses of find Command in Linux Find it and do what you want find명령어는 back-end 개발자라면 꼭 알아야할 tool이다 Scenario Linux서버에서 logs 디렉터리가 있는 경우, 마지막 엑세스 시간이 1년 > 이상인 로그파잎을 삭제하려면 어떻게할까? Ans...

How to identify and kill zombie/defunct processes in Linux without reboot Linux에서는 maximum process 개수가 잇고 그리고 process id가 존재 maximum에 다다르면, 새로운 process를 시작이 불가능 zombie process는 그들이 parent p...