Specifying a Disruption Budget for your appliation Protecting an Application with a PodDisruptionBudget PDB를 사용하려 보호하려는 애플리케이션을 식별 애플리케이션이 중단(disruption)시 어떻게 반응할지 생각 PDB 정의를 yaml 파일로 생성 ...

Overview of kubectl kubectl은 k8s cluster를 제어하기 위한 cli(command line tool) kubectl은 $HOME/.kube directory안에 config파일을 참조한다 KUBECONFIG 환경변수를 setting함으로써 kubeconfig file 수정이 가능 (–kubeconfig fla...

Identify Node images using Google cloud gcloud Command gcloud container node-pools list \ --cluster=CLUSTER_NAME \ --format="table(name,version,config.imageType)" Output ``` ...

Affinity란? affinity란 선호도란 의미. Pod는 항상 nodㄷ에 띄워져야 하는데, 이러한 배치를 함에 있어 선호하는 Node나 Pod에 설정할 수 있게끔 설정 Affinity 종류 nodeAffinity란 어떤 Node를 선호할것인가에대한 리소스. 즉 Pod를 배치할 떄 어떤 node에 스케쥴링 할지 설정 podAffi...

Introduction to Containers and Kubernetes Hypervisor 기본 하드웨어의 운영체제의 종속 항목을 타파하고 여러 가상머신에서 하드웨어를 공유할 수 있게 해주는 소프트웨어 레이어를 하이퍼바이저라고함 ex) KVM(커널 기반 가상머신) 가상화를 통해 새 서버를 상당히 빠르게 배포가능. 가상머신을 이미지호 하...

GCP Workload Identity Federation with Federated Tokens cloud based 서비스를 접근하는 application을 개발할때는 application 인증(authentication) 및 권한(authorization)을 생각해야된다. Okta를 통한 Workload Identity Federati...

BigQuery Slot slot은 BigQuery에서 쿼리 실행을 처리하는 데 사용되는 계산 리소스 단위. 분산 처리 아키텍처에서 작업을 병렬로 처리하기 위해 사용되며 데이터를 스캔하고,필터링하고, 집계하는 등의 작업을 수행 BigQuery가 사용하는 cpu 및 memoory리소스 단위 작업의 복잡성에 따라 필요한 slot의 수를 자동으...

BigQuery is two services in one Fast SQL Engine Managed storage for datasets serverless service fully managed How does BigQuery work? user는 BigQuery가 어덯게 data를 ...

gRPC gRPC란 Goole에서 개발한 modern open source 고성능 RPC프레임워크로 어떤 환경에서도 실행가능 Load balancing,tracking, health checking, authentication에 대한 plugin 지원을 통해 데이터 센터 내 및 데이터 센터간 서비스를 효율적으로 연결. 또한 분산컴퓨팅에서 모바...

참고 https://sharmashorya1996.medium.com/spark-rdds-7cbbe92be8b7 https://sharmashorya1996.medium.com/spark-in-depth-12e21cec29ca https://medium.com/@gughapriyaa/spark-concepts-0d2a6dfdfd7d