BigQuery is two services in one Fast SQL Engine Managed storage for datasets serverless service fully managed How does BigQuery work? user는 BigQuery가 어덯게 da...

gRPC gRPC란 Goole에서 개발한 modern open source 고성능 RPC프레임워크로 어떤 환경에서도 실행가능 Load balancing,tracking, health checking, authentication에 대한 plugin 지원을 통해 데이터 센터 내 및 데이터 센터간 서비스를 효율적으로 연결. 또한 분산컴퓨팅에서 모바...

BigQuery란 BigQuery란 2011년 일반 안정화버전으로 출시되었으며 비지니스 민첩성을 위해 설계된 Google Cloud의 엔터프라이즈 데이터웨어하우스. 서버리스 아키텍를 통해 규모와 속도로 작동하고 대규모 데이터세트에 대해 매우 빠른 SQL분석으로 제공할 수 있음. 표준 SQL 지원등 확장 가능한 분석엔진을 통해 테라바이크급 쿼리...

참고 https://sharmashorya1996.medium.com/spark-rdds-7cbbe92be8b7 https://sharmashorya1996.medium.com/spark-in-depth-12e21cec29ca https://medium.com/@gughapriyaa/spark-concepts-0d2a6dfdfd7d

참고 https://medium.com/@deepa.account/apache-spark-join-strategies-ee987efc3a3e

1.What is DAG in Spakr, and what is its purpose? DAG(Directed Acyclie Graph)은 각 stage가 병렬로 실행될 수 있는 task의 집합으로 이루어진 일련의 computation stage DAG Scheduler는 job을 shuffle경계를 기반으로 job을 stages of ta...

Apach Spark역사와 개념 2019-2010 Matei Zahariz의 UC Berkly의 AMP Lab에서2009년 개발 그리고 2010 BSD License로 공개 BSD License : BSD 라이센스(Berkeley Software Distribution License)는 소프트웨어의 소스 코드를 수정하고 배포할 수 있는 권한...

/etc/shadow 사용자 계정명 암호화된 패스워드 * : 패스워드가 잠긴상태 로그인 불가능. 별도 인증방식 로그인 가능 ! : 패스워드가 잠긴상태이고 로그인 or PW 미설정 참고 https://chatgpt.com/c/675107b1-b7e8-8011-86a2-1775dc06a847

BigQuery Slot slot은 BigQuery에서 쿼리 실행을 처리하는 데 사용되는 계산 리소스 단위. 분산 처리 아키텍처에서 작업을 병렬로 처리하기 위해 사용되며 데이터를 스캔하고,필터링하고, 집계하는 등의 작업을 수행 BigQuery가 사용하는 cpu 및 memoory리소스 단위 작업의 복잡성에 따라 필요한 slot의 수를 자동으...

Apache Airflow Slot Slot은 DAG및 Task를 실행을 제어하기 위해 중요한 개념. 시스템 리소스 사용을 조율하는 역할. Running slots와 Queued Slots는 특히 Task가 실행되거나 실행 대기 중일떄 사용하는 용어 1. Slot개념 Airflow의 slot은 Executor(LocalExecutor,Cel...