Tech & TIL

[파이썬] xlsb 파일 읽기

Jadon Yang — Thu, 19 May 2022 16:52:33 +0900

xlsx 파일은 pd.read_excel('파일경로')로 읽으면 된다.

xlsb 파일은 pyxlsb를 사용하여 읽는다.

!pip install pyxlsb

import pandas as pd
df = pd.read_excel('파일경로', engine='pyxlsb')

[파이썬] 시트 여러개인 엑셀 파일 읽기

Jadon Yang — Thu, 19 May 2022 16:48:32 +0900

기본적으로 파이썬으로 엑셀 파일을 읽으려면 pd.read_excel 을 사용하면 된다.

import pandas

df = pd.read_excel('엑셀파일경로')

하지만 이러한 방식으로 시트가 여러개인 엑셀 파일을 읽으려고 하면 오류가 발생함.

해결 방법

import pandas as pd

df = pd.read_excel('엑셀파일경로', sheet_name=None)

sheet_name 파라미터 설명

0: 1번째 시트만 읽어옴 (기본값)
1: 2번째 시트만 읽어옴
"Sheet1": 시트 이름을 기준으로 읽어옴
[0, 1, "Sheet5"]: 1, 2번째 시트와 "Sheet5" 라는 이름의 시트를 읽어옴
None: 모든 시트를 읽어옴

Bar charts & Heatmaps

Jadon Yang — Mon, 9 May 2022 16:42:35 +0900

Ref: Kaggle Data Visualization Course

Data

Index: Month
Columns: Airline Code

Bar chart

# Set the width and height of the figure
plt.figure(figsize=(10,6))

# Add title
plt.title("Average Arrival Delay for Spirit Airlines Flights, by Month")

# Bar chart showing average arrival delay for Spirit Airlines flights by month
sns.barplot(x=flight_data.index, y=flight_data['NK'])

# Add label for vertical axis
plt.ylabel("Arrival delay (in minutes)")

Heatmap

# Set the width and height of the figure
plt.figure(figsize=(14,7))

# Add title
plt.title("Average Arrival Delay for Each Airline, by Month")

# Heatmap showing average arrival delay for each airline by month
sns.heatmap(data=flight_data, annot=True)

# Add label for horizontal axis
plt.xlabel("Airline")

히트맵을 보면 상대적으로 연말에 (9-11월쯤) 어두운 것을 확인할 수 있다. 이것을 통해 평균적으로 항공사들은 연말에 스케줄을 잘 지킨다는 것을 알 수 있다. (i.e. 항공편이 Delay 되지 않는다.)

Line Charts

Jadon Yang — Mon, 9 May 2022 16:41:38 +0900

Ref: Kaggle Data Visualization Course

Data

2017 ~ 2018 Spotify의 Daily streams

Line Plot

sns.lineplot(data=spotify_data)

인턴십때 Line plot은 일반적으로 x축에 Time Series, y축에 집계량을 표현하는 것이다는 피드백을 받았다. 항상 Plot을 그릴때는 목적에 맞는 것을 명확하게 사용하자!!

Additional information

# Set the width and height of the figure
plt.figure(figsize=(14,6))

# Add title
plt.title("Daily Global Streams of Popular Songs in 2017-2018")

# Line chart showing daily global streams of each song 
sns.lineplot(data=spotify_data)

Plot a subset of the data

데이터 일부분만 그리기

# Set the width and height of the figure
plt.figure(figsize=(14,6))

# Add title
plt.title("Daily Global Streams of Popular Songs in 2017-2018")

# Line chart showing daily global streams of 'Shape of You'
sns.lineplot(data=spotify_data['Shape of You'], label="Shape of You")

# Line chart showing daily global streams of 'Despacito'
sns.lineplot(data=spotify_data['Despacito'], label="Despacito")

# Add label for horizontal axis
plt.xlabel("Date")

Scatter Plot

Jadon Yang — Mon, 9 May 2022 16:39:21 +0900

Ref: Kaggle Data Visualization Course

Data

Basic Scatter Plot

위 데이터 중 bmi와 charges를 scatter plot으로 시각화 해보자.

import seaborn as sns

sns.scatterplot(x=data['bmi'], y=data['charges'])

BMI와 Charges(보험금 청구료)는 어느정도 Positively Correlated 하다고 볼 수 있다. BMI가 높아질수록 Charges도 높아지기 때문.

확실하게 상관관계를 시각화하기 위해 Regression Line을 추가해보자.
회귀선을 추가하려면 regplot을 사용하면 된다.

sns.regplot(x=data['bmi'], y=data['charges'])

Color-coded Scatter Plot

bmi, charges, smoker 세 가지 변수를 한 번에 시각화하고 싶다면?
hue를 사용하면 됨.

sns.scatterplot(x=data['bmi'], \
                y=data['charges'], \
                hue=data['smoker'])

비흡연자보다 흡연자가 보험료를 더 많이 냄.
BMI가 높고 흡연을 하는 사람들이 보험료를 가장 많이 냄.

2개의 Regression Line을 그리고 싶다면 lmplot을 사용하자.

sns.lmplot(x="bmi", y="charges", hue="smoker", data=data)

정리

일반적으로 scatter plot은 두 continuous variable 간의 관계를 보여주기 위해 사용한다(e.g. bmi & charges).

sns.scatterplot
x, y, hue
sns.regplot (one reg line)
lmplot (two reg lines)

Docker 문법 정리

Jadon Yang — Mon, 9 May 2022 16:36:02 +0900

Dockerfile에서 사용되는 문법 정리

1) syntax

# syntax=docker/dockerfile:1

반드시 Dockerfile 첫 번째 줄에 적어야한다. Parser directive라고 표현하며 도커 빌더에게 도커 파일을 파싱할 때 어떤 문법으로 파싱해야하는지 알려주는 역할을 한다.

docker/dockerfile:1은 항상 가장 최신의 version 1 syntax로 설정해주기 때문에 공식 문서에서 권장하고 있다.

2) FROM

FROM python:3.8-slim-buster

도커 이미지는 다른 이미지로 부터 상속받을 수 있다. 따라서 스스로 Base Image를 구축하는 것보다 Official 하게 제공되는 Base Image를 사용하는 것을 권장한다. 여기서는 Python 3.8 버전의 Base Image를 기준으로 예를 든다.

3) WORKDIR

WORKDIR /app

Working Directory를 설정하는 표현이다. 이것이 도커에게 default location으로 /app 을 사용하라고 알려주는 역할을 한다. 이렇게 함으로써 개발자들은 도커 파일을 작성하면서 Full Path를 적어야하는 불편함을 방지할 수 있다.

4) COPY

COPY requirements.txt requirements.txt

도커 파일에 requirements.txt 라는 파일을 설치하는 명령을 적고 싶다면 해당 파일을 도커 이미지에 복사해주어야 한다. COPY를 하지 않는다면 이미지는 해당 파일의 위치를 알 수 없다.

COPY는 두 개의 파라미터를 가진다.

이미지에 복사할 파일
파일을 어디에 복사할지

따라서 위 명령은 *"현재 폴더 밑의 requirements.txt를 이미지의 현재 폴더의 requirements.txt에 복사하겠다"* 는 말이 된다.

5) RUN

RUN pip3 install -r requirements.txt

COPY로 이미지에 requirements.txt가 복사되고 나면 RUN 명령어로 pip3 install을 실행할 수 있다.

명령어가 실행되면 이미지에 requirements.txt 내부에 있는 라이브러리들이 설치가 된다.

6) COPY . .

COPY . .

지금까지의 과정을 통해, 우리는 Python 3.8 버전의 이미지를 갖게 되었고 Dependencies를 설치 완료 되었다. 다음 단계는 우리의 전체 소스코드를 이미지에 쓰는 것이다. COPY 명령어를 사용하여 (. 은 현재 위치를 의미) 현재의 전체 코드를 복사하여 이미지에 넣어준다.

7) CMD

CMD ["python3", "-m", "flask", "run", "--host=0.0.0.0"]

마지막으로 우리가 해야할 일은 도커에게 이미지가 컨테이너 내부에서 실행되었을 때 어떤 명령어를 실행해야할지 알려주는 것뿐이다. CMD 명령어를 사용하여 터미널에서 사용하는 코드를 그대로 넣어주면 터미널과 동일하게 동작한다.

정리

Dockerfile

# syntax=docker/dockerfile:1

FROM python:3.8-slim-buster

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip3 install -r requirements.txt

COPY . .

CMD [ "python3", "-m" , "flask", "run", "--host=0.0.0.0"]

Reference

Docker Official Document

Docker 튜토리얼 [파이썬] - 2

Jadon Yang — Mon, 9 May 2022 16:30:53 +0900

Run your image as a container

Overview

지난 튜토리얼에서 간단한 파이썬 애플리케이션을 만들었고 image를 만드는 Dockerfile을 생성했다. 말아놓은 이미지를 Run하여 애플리케이션이 정상적으로 동작시킬 수 있었다.

A container is a normal operating system process except that this process is isolated in that it has its own file system, its own networking, and its own isolated process tree separate from the host.

컨테이너는 쉽게 말해 HOST OS와 독립적으로 존재하는 환경이라고 생각하면 된다.

도커 이미지를 컨테이너 안에서 실행하고 싶으면 docker run 명령어를 사용하면 된다.

$ docker run python-docker

실행되면 app.py에서 만든 애플리케이션이 로컬호스트 5000포트에서 실행이 되고 있다고 뜬다. 하지만 해당 링크로 접속해보면 아무것도 뜨지 않는다.

$ curl localhost:5000

위 명령어를 입력하면 Fail to connect 에러가 뜬다. localhost:5000에 연결할 수 없다는 말이다. 공식 문서에서는 isolation 환경에서 컨테이너가 띄워져있기 때문이라고 설명한다.

이것을 해결하기 위해서 --publish flag를 사용해보자.

실행중인 컨테이너를 종료하고 싶다면 ctrl + c를 입력하자.

$ docker run --publish 8000:5000 python-docker

위 명령어는 expose port 5000 inside the container to port 8000 outside the container 를 의미한다.

Flask application을 실행시킬때 포트를 따로 지정해주지 않았고 기본값이 5000이다. --publish를 사용하여 로컬호스트 8000포트를 컨테이너 5000포트로 연결해준 것이다.

curl 명령어를 날려보면 제대로 동작하는 것을 확인할 수 있다.

List containers

실행중인 컨테이너 확인하기

$ docker ps

실행중인 컨테이너 멈추기

$ docker stop [container name]

존재하는 컨테이너 모두 확인하기

$ docker ps -a

컨테이너 지우기

$ docker rm [container name]

특정 이름으로 컨테이너 실행하기
Options

d: detached mode

p: publish

$ docker run -d -p 8000:5000 --name rest-server python docker

Next steps

이번 튜토리얼에서는 도커 이미지를 컨테이너 안에서 실행하는 방법에 대해 배웠다.

다음 장에서는 데이터베이스를 컨테이너 내부에서 실행하는 방법과 파이썬 어플리케이션에 연결하는 방법에 대해 다뤄볼 예정이다.

Reference

Docker Official Document

Docker 튜토리얼 [파이썬] - 1

Jadon Yang — Mon, 9 May 2022 16:29:48 +0900

Build you Python image

흔히 "도커 이미지를 말아서 어쩌구 저쩌구"라는 표현을 쓴다.

Overview

준비사항

Python 3.8 이상
Docker running locally. installation
Visual Studio Code

Sample application

Flask framework를 사용하는 간단한 파이썬 애플리케이션을 만들어보자.
먼저 로컬에 python-docker 라는 이름의 폴더를 만들고 간단한 웹서버를 만들기 위해 아래 스텝을 따라해보자.

$ cd /path/to/python-docker
$ pip3 install Flask
$ pip3 freeze | grep Flask >> requirements.txt
$ touch app.py

VS Code를 열어서 python-docker 디렉토리에 app.py를 생성하고 아래의 코드를 추가해준다.

app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello, Docker!'

Test the application

제대로 동작하는지 확인해보자.

$ python3 -m flask run

이제 http://localhost:5000 링크에 접속하면 'Hello, Docker!'가 출력되는 것을 확인할 수 있다.

Create a Dockerfile for Python

애플리케이션이 제대로 동작하고 있다면, Dockerfile을 만들어보자. 파일명은 반드시 Dockerfile로 해야하는 것은 아니지만 Official Docs에서 Dockerfile로 만드는 것을 권장하고 있다. 도커 파일 내부의 코드는 여기에서 확인해보자.

# syntax=docker/dockerfile:1

FROM python:3.8-slim-buster

WORKDIR /app

COPY requirements.txt requirements.txt
RUN pip3 install -r requirements.txt

COPY . .

CMD [ "python3", "-m" , "flask", "run", "--host=0.0.0.0"]

여기까지 완료했다면 directory structure는 아래와 같다.

python-docker
|____ app.py
|____ requirements.txt
|____ Dockerfile

Build an image

이미지를 말아보자.

docker build --tag python-docker

완료가 되었다면 docker images 명령어로 제대로 생성되었는지 확인해보자.

Tag Images

이미지 태그를 바꿔보자.
현재 python-docker의 태그가 latest로 되어있을텐데 이것을 v1.0.0으로 변경해보자.

docker tag python-docker:latest python-docker:v1.0.0

결과를 보면 아래와 같은데, TAG은 다르지만 Image ID는 같다.

이미지를 지우고 싶다면

docker rmi python-docker:v1.0.0

지금까지 도커 이미지를 마는 방법에 대해 알아보았고 다음 포스팅에서는 이미지를 컨테이너로 실행하는 방법에 대해 알아보자.

Reference

Docker Official Document

F1 score란?

Jadon Yang — Mon, 9 May 2022 16:24:21 +0900

좋은 Article을 읽게 되어 헷갈리던 ML metrics에 대해 정리해보고자 한다.

F1 score 소개

F1 score는 분류 모델에서 사용되는 머신러닝 metric(평가지표)이다. 분류 모델에 사용되는 다양한 metric이 존재하지만, F1 score를 사용하는 이유는 뭘까? F1 score를 알아보기전 Accuracy에 대해 알아보자.

Accuracy

정확도는 말 그대로 얼마나 정확하냐를 측정하는 지표이다. 예를 들어, 개와 고양이를 분류하는 모델에서 전체 (개 5장, 고양이 5장) 10장 중 9장을 올바르게 분류하고 1장을 다르게 분류했다면 해당 모델의 정확도는 90%가 된다. 이를 보다 정확하게 표현하면 아래와 같은 그림이 된다. (# = the number of = ~의 수)

정확도는 분류 문제에서 클래스들이 동일한 분포를 갖고 있을 때 유용하게 쓰인다. 쉽게 말해 개의 사진이 100장 고양이 사진이 100장 있다면 equal distribution이라고 할 수 있다.

Imbalanced data example

웹사이트에서 판매량 데이터를 분석하고 있다고 가정해보자. 99%의 방문자들은 물건을 사지 않고 1%의 방문자만 물건을 구입한다. 여기서 어떤 방문자가 물건을 구입하고 어떤 방문자가 그냥 보기만 하는지 분류하는 모델을 개발한다고 해보자.

자, 이제 개발한 모델이 제대로 예측하지 못한다고 생각해보자. 모델은 모든 방문자가 looker(보기만 하는 사람)라고 예측했다. 이는 명백히 틀렸고 쓸모없는 모델일 것이다.

Accuracy is not a good metric to use when you have class imbalance

번역하자면 정확도는 클래스가 불균형할 때는 좋은 메트릭이 아니다는 말이다. 위 분류 문제에서 정확도(Accuracy)를 평가지표로 쓴다면 어떻게 될까, 모델의 정확도는 99%가 된다. 99%(looker)는 올바르게 분류했고 1%(buyer->looker로 예측한 경우)만 잘못 분류한 것이 된다. 이 말을 잘 이해해야 한다. 여기서 문제는 모델이 매우 나쁜 성능이지만 99%의 정확도는 매우 좋은 결과처럼 들린다는 것이다. 결론적으로 데이터가 불균형할 때는 정확도가 좋지 않은 지표라는 것이다.

Solving imbalanced data through metrics

데이터 불균형 문제를 해결하는 하나의 방법은 F1 Score를 사용하는 것이다. F1 Score는 예측 오류 개수만 관련되는 것이 아니라 발생한 오류의 종류도 관여하게 된다. 뒤에서 쉽게 알아보자.

Precision and Recall: foundations of the F1 Score

Precision(정밀도)과 Recall(재현율)은 데이터가 불균형할 때 사용하는 가장 대표적인 2가지 메트릭이고 F1 score의 기초가 된다. 하나씩 알아보자.

Precision: the first part of the F1 score

Precision은 독립적인 메트릭으로도 사용될 수 있다. 공식은 아래와 같다.

이것을 해석하자면, 모델이 True라고 분류한 것 중에서 실제로 True인 것의 비율이다.

정확하지 않은 모델은 많은 것을 positive라고 예측할 것이다. 하지만 negative인 것을 positive로 예측한 노이즈가 많이 껴있을 것이다.
정확한 모델은 "pure", 즉 순수하다. 모든 positive를 찾지는 못하더라도 최소한 positive라고 예측한 것은 모두 positive인 것을 의미한다. 쉽게 말해, 암에 걸렸다고 판단한 데이터가 100명이라면 100명 모두 실제로 암에 걸린 것이다.

Recall: the second part of the F1 score

Recall 또한 독립적인 메트릭으로도 사용할 수 있다. 공식은 아래와 같다.

이것을 해석하자면, 실제 True인 것 중에서 모델이 True라고 예측한 것의 비율이다.

Recall이 높으면 몇 개의 negative를 positive로 분류할지라도 data에서 positive case를 잘 찾은것을 의미한다.
Recall이 낮으면 데이터에서 positive case들을 전혀 찾을 수 없다는 것이다.

Precision vs Recall

그래서 뭐가 어떻게 다를까? 명백히 하자면, 슈퍼마켓에서 문제가 있는 제품을 팔았을 때, 그들은 문제가 있는 제품들을 회수(recall)하고 싶을 것이다. Precision과 Recall의 차이는 분모에 FP가 들어가냐 FN이 들어가냐 이다. 여기서 True Postive, True Negative, False Positive, False Negative를 알아보자.

True Postive: 문제가 있는(positive) 제품을 문제가 있다고(positive) 잘(true) 판별한 것.
True Negative: 문제가 없는(negative) 제품을 문제가 없다고(negative) 잘(true) 판별한 것.
False Positive: 문제가 없는(negative) 제품을 문제가 있다고(positive) 잘못(false) 판단한 것.
False Negative: 문제가 있는(positive) 제품을 문제가 없다고(negative) 잘못(false) 판단한 것.

그들은 오직 문제가 있는 모든 제품을 다시 되돌려 받는 것에만 관심이 있고 몇 클라이언트가 문제가 없는 제품을 되돌려주어도 상관이 없다면 precision은 이 슈퍼마켓의 관심사가 아닌 것이다.

아직도 이해가 어려울 수 있으니 다시 한 번 설명하자면, 문제가 있는 모든 제품을 다시 되돌려 받기만 하면 된다면, 문제가 없는 제품을 문제가 있다고 잘못 판단하여 되돌려 주는것은 전혀 상관이 없다. 하지만, 문제가 있는 제품을 문제가 없다고 잘못 판단하여 돌려주지 않게 되면 나중에 고소를 당하는 등, 문제가 발생할 수 있다.

Precision-Recall Trade-Off

이상적으로, 좋은 모델은 positive한 것을 모두 제대로 분류하고, positive한 것만 제대로 분류하면 된다. 하지만 현실에서는 두 가지 모두 높이는 것은 힘들다.

The F1 score: combining Precision and Recall

Precision과 Recall으로 F1 score가 구성되고 불균형한 데이터에서 잘 동작하는 평가지표가 된다. F1 score는 precision과 recall의 조화평균이 되고 공식은 아래와 같다.

Conclusion

결론적으로 F1 score는 precision과 recall이 모두 높으면 높고 0.0 ~ 1.0 사이의 값을 가진다(e.g. 0.87, %아님 주의).

위의 슈퍼마켓 예시는 precision을 무시한다. 따라서 슈퍼마켓 입장에서는 문제가 없는 제품까지 돌려받게 되어 손해가 발생할 수 있다.

처음 언급했던 웹사이트에서 buyer와 looker를 분류하는 예시에서 99명이 looker(negative)이고 1명이 buyer(positive)인 경우 모두 looker로 분류한 모델을 Accuracy(정확도)로 평가하면 99%의 정확도라는 썩 괜찮은 모델같지만, F1 score로 평가하게 되면 0이 나온다. 좋지 않은 모델이라는 것을 판단할 수 있게 되었다.

'xxx' object is not callable

Jadon Yang — Mon, 9 May 2022 16:21:26 +0900

'DataFrame' object is not callable 오류 해결 방법 정리하기

위 오류가 발생하는 이유는 객체를 call했기 때문이다. 쉽게 말해 Dataframe[] 을 해야하는데 Dataframe()으로 소괄호로 작성한다면 위 오류가 발생한다.

d = {'col1': [1, 2], 'col2': [3, 4]}
df = pd.DataFrame(data=d)
df('col1')

Error 발생

해결방법은 아래와 같다.

df['col1']

# Output
# [1,2]