Identify Node images using Google cloud gcloud Command gcloud container node-pools list \ --cluster=CLUSTER_NAME \ --format="table(name,version,config.imageType)" Output ``` ...

GCP Workload Identity Federation with Federated Tokens cloud based 서비스를 접근하는 application을 개발할때는 application 인증(authentication) 및 권한(authorization)을 생각해야된다. Okta를 통한 Workload Identity Federati...

Introduction to Containers and Kubernetes Hypervisor 기본 하드웨어의 운영체제의 종속 항목을 타파하고 여러 가상머신에서 하드웨어를 공유할 수 있게 해주는 소프트웨어 레이어를 하이퍼바이저라고함 ex) KVM(커널 기반 가상머신) 가상화를 통해 새 서버를 상당히 빠르게 배포가능. 가상머신을 이미지호 하...

GCP Workload Identity Federation with Federated Tokens cloud based 서비스를 접근하는 application을 개발할때는 application 인증(authentication) 및 권한(authorization)을 생각해야된다. Okta를 통한 Workload Identity Federati...

BigQuery Slot slot은 BigQuery에서 쿼리 실행을 처리하는 데 사용되는 계산 리소스 단위. 분산 처리 아키텍처에서 작업을 병렬로 처리하기 위해 사용되며 데이터를 스캔하고,필터링하고, 집계하는 등의 작업을 수행 BigQuery가 사용하는 cpu 및 memoory리소스 단위 작업의 복잡성에 따라 필요한 slot의 수를 자동으...

BigQuery is two services in one Fast SQL Engine Managed storage for datasets serverless service fully managed How does BigQuery work? user는 BigQuery가 어덯게 data를 ...

gRPC gRPC란 Goole에서 개발한 modern open source 고성능 RPC프레임워크로 어떤 환경에서도 실행가능 Load balancing,tracking, health checking, authentication에 대한 plugin 지원을 통해 데이터 센터 내 및 데이터 센터간 서비스를 효율적으로 연결. 또한 분산컴퓨팅에서 모바...

참고 https://sharmashorya1996.medium.com/spark-rdds-7cbbe92be8b7 https://sharmashorya1996.medium.com/spark-in-depth-12e21cec29ca https://medium.com/@gughapriyaa/spark-concepts-0d2a6dfdfd7d

참고 https://medium.com/@deepa.account/apache-spark-join-strategies-ee987efc3a3e

1.What is DAG in Spakr, and what is its purpose? DAG(Directed Acyclie Graph)은 각 stage가 병렬로 실행될 수 있는 task의 집합으로 이루어진 일련의 computation stage DAG Scheduler는 job을 shuffle경계를 기반으로 job을 stages of ta...