참고 https://medium.com/@deepa.account/apache-spark-join-strategies-ee987efc3a3e

1.What is DAG in Spakr, and what is its purpose? DAG(Directed Acyclie Graph)은 각 stage가 병렬로 실행될 수 있는 task의 집합으로 이루어진 일련의 computation stage DAG Scheduler는 job을 shuffle경계를 기반으로 job을 stages of ta...

Apach Spark역사와 개념 2019-2010 Matei Zahariz의 UC Berkly의 AMP Lab에서2009년 개발 그리고 2010 BSD License로 공개 BSD License : BSD 라이센스(Berkeley Software Distribution License)는 소프트웨어의 소스 코드를 수정하고 배포할 수 있는 권한...

/etc/shadow 사용자 계정명 암호화된 패스워드 * : 패스워드가 잠긴상태 로그인 불가능. 별도 인증방식 로그인 가능 ! : 패스워드가 잠긴상태이고 로그인 or PW 미설정 참고 https://chatgpt.com/c/675107b1-b7e8-8011-86a2-1775dc06a847

Apache Airflow Slot 참고 substack

Apache Airflow Slot Slot은 DAG및 Task를 실행을 제어하기 위해 중요한 개념. 시스템 리소스 사용을 조율하는 역할. Running slots와 Queued Slots는 특히 Task가 실행되거나 실행 대기 중일떄 사용하는 용어 1. Slot개념 Airflow의 slot은 Executor(LocalExecutor,Cel...

Apache Airflow Executor 참고 <[text](2024-12-02-airflow-slot.md)

Apache Airflow Defferable Operator Slot은 DAG및 Task를 실행을 제어하기 위해 중요한 개념. 시스템 리소스 사용을 조율하는 역할. Running slots와 Queued Slots는 특히 Task가 실행되거나 실행 대기 중일떄 사용하는 용어 참고 https://chatgpt.com/c/674d57...

CloudSQL 참고 https://cloud.google.com/blog/topics/developers-practitioners/boost-your-query-performance-troubleshooting-skills-cloud-sql-insights?hl=en https://cloud.google.com/sql/docs/mysql...

Apache Airflow Airflow는 복잡한 data workflow을 orchestrate하기 위해 설계된 open source platform이다. DAG(Directed Acyclic Graphs)를 사용하여 일련의 task와 그들간의 dependencies를 정의한다. 다양한 component로 구성되어있으면 차례대로 살펴보자 Com...