Apache Airflow Executor 참고 <[text](2024-12-02-airflow-slot.md)

Apache Airflow Defferable Operator Slot은 DAG및 Task를 실행을 제어하기 위해 중요한 개념. 시스템 리소스 사용을 조율하는 역할. Running slots와 Queued Slots는 특히 Task가 실행되거나 실행 대기 중일떄 사용하는 용어 참고 https://chatgpt.com/c/674d57...

CloudSQL 참고 https://cloud.google.com/blog/topics/developers-practitioners/boost-your-query-performance-troubleshooting-skills-cloud-sql-insights?hl=en https://cloud.google.com/sql/docs/mysql...

Apache Airflow Airflow는 복잡한 data workflow을 orchestrate하기 위해 설계된 open source platform이다. DAG(Directed Acyclic Graphs)를 사용하여 일련의 task와 그들간의 dependencies를 정의한다. 다양한 component로 구성되어있으면 차례대로 살펴보자 Com...

Nginx오류 배경 website,API 또는 서비스가 더 많은 동시 트래픽을 받기 시작하면 user는 500유형 오류를 겪기 시작함. 정적파일을 요청하거나 캐시(FastCGI,proxy)에서 제공하는 경우 nginx제한으로 인해 500오류 발생 nginx오류 확인 시 Too many open files라는 줄이 있음. 두 가지 제한을 모두 높...

GCP Serivce Account Key 생성 (만료일 포함) 배경 Python SDK를 활용하여 GCP Serivce Account key생성시 GCP자체적으로 key 만료일 지정하는 기능이 없어서 해당 스크립트 개발 로직 및 Python 스크립트 openssl을 사용하여 prviate/public key 생성 GCP서비스게정에 ...

GCP Serivce Account Upload Public Key with Python SDK 배경 Python SDK를 활용하여 GCP Serivce Account에 public key를 upload시 에러가 발생 gcloud cli로는 정상적으로 추가하였는데, python sdk로는 에러가발생 HttpError 400 when requ...

Python for Data Engineering Best Practices: A Introductory Guide 참고 https://python.plainenglish.io/ai-python-20-scalable-python-code-for-data-science-best-practices-and-techniques-8090e71120c8

Python for Data Engineering Best Practices: A Introductory Guide PEP-8 Style Guide for Python Code PEP 8은 Guido van Rossum, Barry Warsaw, Nick Coghlan이 작성한 Python 코드의 공식 스타일 가이드 2001년에 처음 제안...

Python Coding TIP 1. Iterate with enumerate instead of range(len) for i in range(len(my_list)): print(i, my_list[i]) enumerate cleaner,faster, dare for i, value in enumerate(my_list): ...