Nginx오류 배경 website,API 또는 서비스가 더 많은 동시 트래픽을 받기 시작하면 user는 500유형 오류를 겪기 시작함. 정적파일을 요청하거나 캐시(FastCGI,proxy)에서 제공하는 경우 nginx제한으로 인해 500오류 발생 nginx오류 확인 시 Too many open files라는 줄이 있음. 두 가지 제한을 모두 높...

Python for Data Engineering Best Practices: A Introductory Guide 참고 https://python.plainenglish.io/ai-python-20-scalable-python-code-for-data-science-best-practices-and-techniques-8090e71120c8

GCP Serivce Account Key 생성 (만료일 포함) 배경 Python SDK를 활용하여 GCP Serivce Account key생성시 GCP자체적으로 key 만료일 지정하는 기능이 없어서 해당 스크립트 개발 로직 및 Python 스크립트 openssl을 사용하여 prviate/public key 생성 GCP서비스게정에 ...

GCP Serivce Account Upload Public Key with Python SDK 배경 Python SDK를 활용하여 GCP Serivce Account에 public key를 upload시 에러가 발생 gcloud cli로는 정상적으로 추가하였는데, python sdk로는 에러가발생 HttpError 400 when requ...

Python for Data Engineering Best Practices: A Introductory Guide PEP-8 Style Guide for Python Code PEP 8은 Guido van Rossum, Barry Warsaw, Nick Coghlan이 작성한 Python 코드의 공식 스타일 가이드 2001년에 처음 제안...

Python Coding TIP 1. Iterate with enumerate instead of range(len) for i in range(len(my_list)): print(i, my_list[i]) enumerate cleaner,faster, dare for i, value in enumerate(my_list): ...

비동기 concurrent.futuers모듈 Python에서 병렬작업을 쉽게 처리할 수 있도록 도와주는 고수준의 Interface를 제공. 이 모듈은 Thread Pool또는 Process Pool에 제출하여 비동기 실행을 관리 주요 구성요소 1. Executoer 클래스 concurrent.futures.Executor는 추상클래스이며...

Cloud Asset를 활용한 GCE리스트 추출 스크립트 배경 및 목적 GCP에서 관리하는 GCE가 매우 많을경우 계층구조(hierarchy)가 복잡할때 ex) Organizaion-Folder-Project 한번에 GCE리스트를 추출하기 위해 작성. 기존에 Compue Enigne API로는 특정 프로젝트에 인스턴스 리스트만 조회하여 상위 레벨의...

Python’s argparse 참고 https://python.plainenglish.io/learn-pythons-argparse-in-10-minutes-a-guide-to-stop-hardcoding-inputs-4764f1ee79c0

*만료기간이 있는 Service Account key생성 from google.cloud import iam_credentials_v1 import datetime import json def create_service_account_key(project_id, service_account_email, key_output_file): """...