Tech & TIL

xlsx 파일은 pd.read_excel('파일경로')로 읽으면 된다. xlsb 파일은 pyxlsb를 사용하여 읽는다. !pip install pyxlsb import pandas as pd df = pd.read_excel('파일경로', engine='pyxlsb')

기본적으로 파이썬으로 엑셀 파일을 읽으려면 pd.read_excel 을 사용하면 된다. import pandas df = pd.read_excel('엑셀파일경로') 하지만 이러한 방식으로 시트가 여러개인 엑셀 파일을 읽으려고 하면 오류가 발생함. 해결 방법 import pandas as pd df = pd.read_excel('엑셀파일경로', sheet_name=None) sheet_name 파라미터 설명 0: 1번째 시트만 읽어옴 (기본값) 1: 2번째 시트만 읽어옴 "Sheet1": 시트 이름을 기준으로 읽어옴 [0, 1, "Sheet5"]: 1, 2번째 시트와 "Sheet5" 라는 이름의 시트를 읽어옴 None: 모든 시트를 읽어옴

Ref: Kaggle Data Visualization Course Data Index: Month Columns: Airline Code Bar chart # Set the width and height of the figure plt.figure(figsize=(10,6)) # Add title plt.title("Average Arrival Delay for Spirit Airlines Flights, by Month") # Bar chart showing average arrival delay for Spirit Airlines flights by month sns.barplot(x=flight_data.index, y=flight_data['NK']) # Add label for ..

Ref: Kaggle Data Visualization Course Data 2017 ~ 2018 Spotify의 Daily streams Line Plot sns.lineplot(data=spotify_data) 인턴십때 Line plot은 일반적으로 x축에 Time Series, y축에 집계량을 표현하는 것이다는 피드백을 받았다. 항상 Plot을 그릴때는 목적에 맞는 것을 명확하게 사용하자!! Additional information # Set the width and height of the figure plt.figure(figsize=(14,6)) # Add title plt.title("Daily Global Streams of Popular Songs in 2017-2018") # Line ..

Ref: Kaggle Data Visualization Course Data Basic Scatter Plot 위 데이터 중 bmi와 charges를 scatter plot으로 시각화 해보자. import seaborn as sns sns.scatterplot(x=data['bmi'], y=data['charges']) BMI와 Charges(보험금 청구료)는 어느정도 Positively Correlated 하다고 볼 수 있다. BMI가 높아질수록 Charges도 높아지기 때문. 확실하게 상관관계를 시각화하기 위해 Regression Line을 추가해보자. 회귀선을 추가하려면 regplot을 사용하면 된다. sns.regplot(x=data['bmi'], y=d..

Dockerfile에서 사용되는 문법 정리 1) syntax # syntax=docker/dockerfile:1 반드시 Dockerfile 첫 번째 줄에 적어야한다. Parser directive라고 표현하며 도커 빌더에게 도커 파일을 파싱할 때 어떤 문법으로 파싱해야하는지 알려주는 역할을 한다. docker/dockerfile:1은 항상 가장 최신의 version 1 syntax로 설정해주기 때문에 공식 문서에서 권장하고 있다. 2) FROM FROM python:3.8-slim-buster 도커 이미지는 다른 이미지로 부터 상속받을 수 있다. 따라서 스스로 Base Image를 구축하는 것보다 Official 하게 제공되는 Base Image를 사용하는 것을 권장한다. 여기서는 Python 3.8 버..

Run your image as a container Overview 지난 튜토리얼에서 간단한 파이썬 애플리케이션을 만들었고 image를 만드는 Dockerfile을 생성했다. 말아놓은 이미지를 Run하여 애플리케이션이 정상적으로 동작시킬 수 있었다. A container is a normal operating system process except that this process is isolated in that it has its own file system, its own networking, and its own isolated process tree separate from the host. 컨테이너는 쉽게 말해 HOST OS와 독립적으로 존재하는 환경이라고 생각하면 된다. 도커 이미지를 컨테..

Build you Python image 흔히 "도커 이미지를 말아서 어쩌구 저쩌구"라는 표현을 쓴다. Overview 준비사항 Python 3.8 이상 Docker running locally. installation Visual Studio Code Sample application Flask framework를 사용하는 간단한 파이썬 애플리케이션을 만들어보자. 먼저 로컬에 python-docker 라는 이름의 폴더를 만들고 간단한 웹서버를 만들기 위해 아래 스텝을 따라해보자. $ cd /path/to/python-docker $ pip3 install Flask $ pip3 freeze | grep Flask >> requirements.txt $ touch app.py VS Code를 열어서 py..

좋은 Article을 읽게 되어 헷갈리던 ML metrics에 대해 정리해보고자 한다. F1 score 소개 F1 score는 분류 모델에서 사용되는 머신러닝 metric(평가지표)이다. 분류 모델에 사용되는 다양한 metric이 존재하지만, F1 score를 사용하는 이유는 뭘까? F1 score를 알아보기전 Accuracy에 대해 알아보자. Accuracy 정확도는 말 그대로 얼마나 정확하냐를 측정하는 지표이다. 예를 들어, 개와 고양이를 분류하는 모델에서 전체 (개 5장, 고양이 5장) 10장 중 9장을 올바르게 분류하고 1장을 다르게 분류했다면 해당 모델의 정확도는 90%가 된다. 이를 보다 정확하게 표현하면 아래와 같은 그림이 된다. (# = the number of = ~의 수) 정확도는 분류..

'DataFrame' object is not callable 오류 해결 방법 정리하기 위 오류가 발생하는 이유는 객체를 call했기 때문이다. 쉽게 말해 Dataframe[] 을 해야하는데 Dataframe()으로 소괄호로 작성한다면 위 오류가 발생한다. d = {'col1': [1, 2], 'col2': [3, 4]} df = pd.DataFrame(data=d) df('col1') Error 발생 해결방법은 아래와 같다. df['col1'] # Output # [1,2]