in Leetcode on Leetcode, 387
Given a string s, return the first non-repeating character in it and return its index. If it does not exist, return -1.
in Python on Pandas, Chunksize
Series: Pandas series are basically dataset having only one row or one column. Means, if we filter out only one row or only one column from a dataframe, its called “series”.
- dataframe으로부터 one row or one column을 가지는 dataset
Dataframe: The DataFrame represents your entire spreadsheet or rectangular data, whereas the Series is a single column of the DataFrame.
- 전체 data를 가짐 반며에 Series는 Dataframe의 one column or one row
- Dataframe은 Series Object들의 dictionary or collection으로 취급
df.shape은 첫번째 row은 tuple을 반환 그리고 2번째 row부터 column을 반환
df.columns method는 dataframe의 column명을 가져옴 
data가 너무 많으므로 handling할 경우, subsets of data를 보고 data를 handling한다 —
square bracket를 사용 
loc[integer]를 활용하여 특정 row의 data를 가져옴 
iloc는 loc와 유사하지만, row index number를 활용iloc와 loc과 같은 동작으로 사용loc그리고 iloc attribute는 subset of columns, rows, or 둘다 가져 올 수 있음comma의 left : subset의 row valuescomma의 right : subset의 column valuesdf.loc[[rows],[columns]] or df.iloc[[rows],[columns]]
df.loc[:,[columns]]와 같은 syntax로사용 
,column은 range syntax와 유사 
in Python on Pandas, Chunksize
dicionary와 같은 container을 지원. 특정 값에 hash를 적용한 key를 포함. key, idex 둘다 접근 가능. tuple의 성질을 가졌고, tuple은 일반적으로 index로 접근하므로 직관적이지 않음. namedtuple은 field의 key(이름)을 붙여 사용 가능
Access by index : The attribute values of namedtuple() are ordered and can be accessed using the index number unlike dictionaries which are not accessible by index.
Access by keyname : Access by keyname is also allowed as in dictionaries.
using getattr() :- This is yet another way to access the value by giving namedtuple and key value as its argument.
in Python on Skills, Module
Python에서 module은 python code를 포함하는 파일 그것의 .py라는 suffix가 붙음 일반적으로 관련 class또는 function을 모듈에 넣고 전체프로그램을 다른 module로 분리하는것이 좋은 programming practice이다
아래에는 module을 잘 사용하고 관리하기 위한 좋은 3가지 skill에대한 소개
from module_a import *import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
as keyword를 alias를 줌으로써 긴이름의 module을 더 짧게사용.를 사용함으로써 현재 파일의 상대 경로 모듈을 더 효과적으로 가져옴from . import module_a
from .. import module_b
module_a는 현재 파일의 위치에서 같은 directory에서 import(its’s siblings)module_b 현재 파일의 위에서 상대적으로 위의 directory에서 import(it’s parent)test.py라는 모듈이 있고 아래 code가 포함 print("Yang Zhou")terminal에서 module을 실행 시킬때, 아래와 같은 command를 입력 
위에 예와 같은이 python을 module이름 앞에 붙여서 실행
text.py가 function or class를 포함시 우리는 mainfunction을 포함하여 실행def output_author(name):
print(name)
if __name__ == "__main__":
import sys
output_author(name=sys.argv[1])
in Docker on Skills, Module
FROM으로 시작. 없으면 이미지가 생성되지 않음$ sudo docker build --tag example .
$ sudo docker build --tag pyrasis/example .
--tag 또는 -t 옵션으로 이미지 이름을 설정 가능.dockerignore파일을 사용container가 시작되었을때 스크립트 혹은 명령을 실행 docker run명령으로 container 생성하거나 docker start명령으로 정지된 container를 시작할때 실행한번만 실행ENTRYPOINT ["echo"]
CMD ["hello"]
container가 시작되었을때 스크립트 혹은 명령을 실행 docker run명령으로 container 생성하거나 docker start명령으로 정지된 container를 시작할때 실행한번만 실행docker run명령에서 동작방식이 다름무시되지 않고, 실행할 파일 설정 자체를 매개변수로 받아서 처리in Python on Collections, Namedtuple
dicionary와 같은 container을 지원. 특정 값에 hash를 적용한 key를 포함. key, idex 둘다 접근 가능. tuple의 성질을 가졌고, tuple은 일반적으로 index로 접근하므로 직관적이지 않음. namedtuple은 field의 key(이름)을 붙여 사용 가능
Access by index : The attribute values of namedtuple() are ordered and can be accessed using the index number unlike dictionaries which are not accessible by index.
Access by keyname : Access by keyname is also allowed as in dictionaries.
using getattr() :- This is yet another way to access the value by giving namedtuple and key value as its argument.
in Kubernetes on K8s, Container, Image
in Kubernetes on K8s, Dns
in Python on Collections, Ordereddict
Dictionary class.item을 반환 및 삭제하는 method. popitme()인자인 last=은 True일 경우 LIFO방식으로 값을 반환 및 삭제, False일 경우 FIFO방식으로 값을 반환 & 삭제
맨 오른쪽(뒤) 또는 맨 왼쪽(앞)으로 이동해주는 메소드. last=True 일 경우 맨오른쪽(뒤) 이동하고 ,False인 경우 맨 앞으로 이동
in Leetcode on Leetcode, Lru-cache
page라고 일컫음cache hit, 없을 경우 보조기억장치로부터 data를 page로 옮겨온 후에 계산 하는데 이때를 cache miss라고 일컫음. hit일떄가 miss일떄보다 시간 단축
위의 예시는 A-B-C-D-E-D-F를 접근 할때의 알고리즘
Design a data structure that follows the constraints of a Least Recently Used (LRU) cache.
Implement the LRUCache class:
Follow up: Could you do get and put in O(1) time complexity?
in Leetcode on Leetcode, Binary-tree
Given the root of a binary tree, return its maximum depth.
A binary tree’s maximum depth is the number of nodes along the longest path from the root node down to the farthest leaf node.
from collections import deque를 활용in Google Cloud Platform on BigQuery, ML
in Google Cloud Platform on BigQuery, Work
in Kubernetes on K8s, Components
Kubernetes(약어 k8s)란 Container Orchestration 플랫폼이다. container화 된 워크로드/서비스/애플리케이션을 관리하기 이식성 있고, 확장 가능한 오픈 소스 플랫폼. 시스템에 배포 가능한 애플리케이션의 구성 요소가 많아짐에 따라 모든 구성의 요소를 관리를 용이하기 위해 사용.
in Kubernetes on K8s, Pod, Lifecycle
df - report file system disk space usage
df [OPTION]…[FILE]
df -THdf -T /home/bastion리눅스(Linux)는 리누스 토발즈가 커뮤니티 주체로 개발한 컴퓨터 운영 체제입니다. 리눅스(Linux)는 UNIX운영체제를 기반으로 만들어진 운영체제 입니다. 리눅스(Linux)는 유닉스(UNIX)와 마찬가지로 다중 사용자, 다중 작업(멀티태스킹), 다중 스레드를 지원하는 네트워크 운영 체제(NOS)입니다.
리눅스의 원형이 되는 UNIX가 애초부터 통신 네트워크를 지향하여 설계된것처럼 리눅스 역시 서버로 작동하는데 최적화되어있습니다. 고로 서버에서 사용되는 운영체제로 많이 사용되고 있습니다.
리눅스는 유닉스와 완벽하게 호환가능합니다.
리눅스는 공개 운영체제입니다. 오픈소스이므로 누구든지 자유롭게 수정이 가능합니다.
리눅스는 PC용 OS보다 안정이며 보안쪽면에서도 PC용 OS보다 비교적 우수한 성능을 가지고 있습니다.
리눅스는 다양한 네트워킹 기술을 제공하고 있으며 서버용 OS로 적합합니다.
배포판이 아닌 리눅스 그 자체는 무료입니다.
레드햇계열은 레드햇이라는 회사에서 배포한 리눅스를 말합니다. 2003년까지는 오픈소스 라이선스로 진행하다가 이후 상용화되었습니다. 레드햇 리눅스는 배포판 중에서 가장 인기가 많습니다. 커뮤니티가 아닌 회사에서 관리하는 레드햇계열의 리눅스는 다른 리눅스 배포판에 비해 패치가 빠르며 내장되어있는 유틸리티의 양도 많고 관리툴의 성능도 우수합니다. 또 호환성면에서도 나무랄데가 없지요. 여러모로 장점이 많습니다. 레드햇 계열의 리눅스에는 페도라와 센토스가 있는데 오늘날에는 페도라보다는 센토스를 더 많이 사용하는 추세입니다.
CentOS는 Community Enterprise Operating System 의 약자로 Red Hat이 공개한 RHEL을 그대로 가져와서 Red Hat의 브랜드와 로고만 제거하고 배포한 배포본입니다. 사실상 RHEL 의 소스를 그대로 사용하고 있기에 RHEL 과 OS 버전, Kernel 버전, 패키지 구성이 똑같고 바이너리가 100%로 호환됩니다. 무료로 사용 가능하지만 문제 발생시 레드햇이라는 회사가 아닌 커뮤니티를 통해 지원이 되므로 다소 패치가 느린감이 없지않아 있습니다. 특히 서버용 운영체제로 인기가 매우 높으며 서버용으로 리눅스를 운영할 목적이라면 아마 대부분 이 센토스OS를 사용하는것이 대부분일 것입니다.
데비안은 온라인 커뮤니티에서 제작하여 레드햇보다 더 먼저 배포되어 시장을 선점하였습니다. 이 데비안에서 파생되어진 OS를 데비안 계열이라고 부릅니다. 하지만, 자발적인 커뮤니티에서 만드는 배포판이라 전문적인 회사에서 서비스를 했던 레드햇계열에 비해 사후지원과 배포가 늦고 내장 유틸들의 성능이 레드햇계열에 비해 부족한감이 있어 오랫동안 레드햇에 밀렸었습니다. 하지만 현재는 무료 개인사용자 서버용으로 인기가 매우 높으며 최근에는 지속적인 업데이트를 거친 결과 레드햇계열에 비해 결코 성능이나 뒤쳐지지 않습니다. 그리고 넓은 유저층을 가지고 있는 데비안계열은 그 사용법이 온라인 웹사이트나 커뮤니티에 자세히 기술되어 있다는 점이 진입장벽을 낮추어 초보 리눅스유저들이 접근하기 쉬운 OS라고 할 수 있겠습니다.
영국의 캐노니컬이라는 회사에서 만든 배포판으로 쉽고 편한 설치와 이용법 덕분에 진입장벽이 낮아 초보자들이 쉽게 접근할 수 있으며 데스크탑용 리눅스 배포판 가운데서 가장 많이 사용되어지고있는 배포판입니다. 개인용 데스크톱 운영체제로 많이들 사용합니다., 서버용으로도 기능이 부족하거나 성능이 딸리지는 않습니다만 서버용 리눅스 점유율로 볼때 센토스에 많이 밀리는것은 사실입니다. 서버는 센토스 데스크톱으로는 우분투라고 생각하시면 될듯 하네요.
in Python on Python, Assert
Assertions or assert statement are build into python and are a tool for debugging
try to assert its authorityt over the rest of the code wher checking for a condititon specified by the programmer
speed라는 변수가 0이상인지를 체크할때, True이면 아무일도 발생 안하고 프로그램 정상실행. condititon이 faile이면 AssertionError를 일으킴
디버깅 환경에 도움을 주는 역할assert_stmt ::= "assert" expression1 [",",expression2]expression2는 테스트조건이 거짓일때 예외의 메시지로 전달if __debug__:
if not expression1:
raise AssertionError(expression2)
최적화가 필요한 경우에는 거짓assert (
speed >= 0,
"Speed should be non-negative!"
)
tuple 구문의 경우 Non-empty일떄 항상 참을 반환()구문은 항상 tuple object를 반환 하므로 항상 True 이런경우 조심해야함
PYTHON OPTIMIZE ENVIRONMENT 에서는 실행이 불가in Leetcode on Leetcode, 7, Reverse, Integer
Given a signed 32-bit integer x, return x with its digits reversed. If reversing x causes the value to go outside the signed 32-bit integer range [-231, 231 - 1], then return 0.
Assume the environment does not allow you to store 64-bit integers (signed or unsigned).
pop/push 연산을 통하여 마지막 one digit부터 reverse 숫자를 구함. overflow check! 필수
string으로 표현하여 reverse string을 구함
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 | import functools from typing import List class Solution: def reverse(self, x: int) -> int: ''' Runtime : 36ms Memory Usage : 14.3MB sol : %연산으로 일의자리수 부터 구하여 reverse 숫자를 구함 :param x: :return: ''' # set variable sign = 1 ans = 0 # check whether positive and negative if x < 0: sign = -1 x = -x # algorithm for reverse integer while x > 0: ans = ans * 10 + x % 10 x = int(x / 10) # overflow check if ans > 2 ** 31 - 1: return 0 else: return sign * ans def reverse2(self, x: int) -> int: ''' string으로 reverse str구하고 sign를 구함 :param x: x :return: ''' sign = 1 if x < 0: sign = -1 x = -x # reverse str ans = str(x)[::-1] ans = int(ans) # overflow check if ans < -(2 ** 31) or ans > 2 ** 31 - 1: return 0 else: return -ans if sign == -1 else ans | cs |
컨테이너 오케스트레이션 엔진 :배포, 스케일링 그리고 컨테이너화된 애플리케이션의 관리를 자동화 해주는
Data Engineering & DevOPS