Simon Yoon's blog

인공지능 팩토리 세미나 발표 by 신백균 Source: https://aifactory.space/learning/detail/2064https://youtu.be/b98H87BIrbo Agenda탐색적 데이터 분석(EDA)의 중요성과 개요베이스라인 모델 설계모델 성능 개선 방안 시작하기 전에…머신러닝 문제해결 프로세스문제 이해어떤 데이터를 활용해서 예측?회귀 | 분류?주어진 데이터는 무엇인가?어떻게 접근할 것인가?배경 지식을 활용할 만한 점은 있는가? EDA ★★★주어진 데이터의 구조를 보고 통계값을 구해봄제공된 파일별 용도 파악데이터의 양(레코드 수, 피처 수, 전체 용량 등) - info(), shape 활용어떤 feature가 중요한지, 어떻게 조합해야 할지에 대해서 인사이트를 얻음이름과 의미, ..

pandas 의 get_dummies() 함수를 사용하면 쉽게 범주형 변수를 더미변수화 할 수 있다. 사용법은 아래와 같다. # 연습용 데이터 생성 import pandas as pd df = pd.DataFrame({'language': ['Python', 'Java', 'Java', 'SQL', 'Python', 'Python', 'R'], 'score': [70, 80, 68, 40, 92, 57, 75] }) df # get_dummies() pd.get_dummies(df) 단 한 줄 작성으로 쉽게 더미변수를 만들었다.

nginx 오류가 발생하여 아래와 같은 결과가 출력되는 경우에 대한 trouble shootingJob for nginx.service failed because the control process exited with error code. See "systemctl status nginx.service" and "journalctl -xe" for details.이럴 경우 위에서 이야기하듯 error code를 확인하도록 journalctl -xe 과 sudo systemctl status nginx.service 명령을 실행하여 확인해보면 Active: Failed 인 상태일 것이다. 그리고 error log 를 확인하여 보면 bind() to 0.0.0.0:443과 0.0.0.0:80 failed ..

데이터 분석 과정에서 SQL을 능숙하게 다룰 줄 아는 것은 중요한 역량이 되었습니다. 다만 출판되어 있는 SQL 관련 서적들은 대부분 기초적인 문법에 대해서만 다루고 있고, 분석을 위한 내용은 사실 많지 않은 것 같습니다. 그러나 최근에 데이터 분석에 관심도 있으면서 SQL 문법도 어느정도 기초적인 문법을 알고 있는 분들이 관심을 가질 만한 책이 출판되었는데, 한빛미디어에서 출판한 이라는 책입니다. 먼저 이 책에 대한 총평으로 시작하자면, SQL을 활용하는 능력을 한 단계 업그레이드 시키고, 실무에서 더 효율적인 분석 작업을 수행하는데 도움이 될 것이라고 생각합니다. 만약 SQL에 대한 기초적인 문법을 알고 있는 분들 중에서 SQL을 더 잘 활용해 보고 싶지만 어떻게 할 수 있을지 모르겠다면, 이 책이 ..

필요 라이브러리 임포트 및 파일 읽어오기라이브러리를 alias로 임포트# numpy import numpy as np # pandas import pandas as pdCSV 파일 읽어오기# 파일명: data.csv # pandas read_csv 함수 활용 # df 변수로 저장 df = pd.read_csv('data.csv')데이터 확인하기데이터 일부 출력df.head() df.tail()자료구조 파악# row, columns, not-null, type df.info()데이터 인덱스, 컬럼명, Values 확인df.index df.columns df.valuesNull 데이터 확인df.isnull().sum()통계 정보df.describe()데이터 전처리 수행컬럼 삭제df.drop('X_1', ax..

https://wikidocs.net/164372 4-16 SSL 이제 브라우저에서 고정 IP 대신 도메인을 입력하여 서버에 접속할수 있게 되었다. 하지만 브라우저의 주소창을 보면 다음과 같이 주의 요함 이라는 경고 메시지가 표시된다. ... wikidocs.net https://windybay.net/post/10/ DigitalOcean에 Django 프로젝트 배포하기 (1) 새로 블로그를 시작하면서 호스팅을 디지털오션으로 옮겼다. 이전 버전 블로그는 pythonanywhere.com 에서 배포를 했었다. pythonanywhere는 서버쪽 … windybay.net https://whatisthenext.tistory.com/123 Nginx 이해하기 및 기본 환경설정 세팅하기 NGINX Nginx..

ggplot x축 라벨 각도를 90도 돌리기 (링크)theme(axis.text.x=element_text(angle=90, hjust=1)) ggplot(Cars93, aes(x=Type, y=MPG.highway)) + geom_boxplot() + theme_bw() + theme(axis.text.x=element_text(angle=90, hjust=1))맥에서 ggplot 한글 깨질때 해결법 (링크)## 폰트 설정 패키지 설치 install.packages("extrafont") library(extrafont) ## 존재하는 모든 폰트 불러오기 font_import() ## 폰트 설정 theme_set(theme_gray(base_family='NanumGothic')) ## 혹은 theme..

파일질라(FileZilla)를 이용해서 원격 서버에 접속하고 파일을 관리하는 방법에 대한 정리 목차시작하기에 앞서…파일질라(FileZilla) 설치파일질라(FileZilla) 설정Troubleshooting시작하기에 앞서…아래는 파일질라 공식 웹사이트이다. 파일질라 클라이언트를 다운 받을 수 있다.FileZillaAdvertisement: Welcome to the homepage of FileZilla®, the free FTP solution. The FileZilla Client not only supports FTP, but also FTP over TLS (FTPS) and SFTP. It is open source software distributed free of charge under th..

추가1. DB default charset 변경DB를 생성하면서 charset을 따로 설정하지 않았을 경우 기본적으로 latin1 으로 설정이 된다. 아래는 기본 언어를 utf8mb4 로 변경하기 위한 과정을 기록한 내용이다.일단 my.cnf 파일을 연다.$ sudo vi /etc/mysql/my.cnf ------------ # vi 편집화면 [client] default-character-sest = utf8mb4 [mysqld] character-set-client-handshake = FALSE chracter-set-server = utf8mb4 collation-server = utf8mb4_general_ci [mysqldump] default-character-set = utf8mb4 [m..

Description1. Server 자원 접속2. MySQL 설치 (+MariaDB)3. DB 권한 설정 (MySQL, MariaDB)4. 원격 접속 허용 설정4-1. 설정 파일 찾기4-2. 설정 파일 변경4-3. DB 재시작5. 새로운 유저 생성참고자료Description1. Server 자원 접속⚙mac OS 작업 환경 기준 서버 운영체제는 Ubuntu 기준macOS는 기본적으로 UNIX 기반의 운영체제 → 그렇기 때문에 OpenSSH Client를 기본으로 포함키 파일의 권한을 400으로 변환하여 가능 권한을 맞추고 아래와 같은 명령어를 통해서 서버에 접속# pem 파일 400 권한으로 변경 $ chmod 400 # 예: chmod 400 /Users/simon/key.pem # 접속 $ ssh ..

Voice Pitch (음 높이)를 확인하기 위해서는 다음의 tensorflow tutorial 을 통해 SPICE 라고 하는 모델을 사용할 수 있다. https://www.tensorflow.org/hub/tutorials/spice SPICE를 사용한 피치 감지 | TensorFlow Hub SPICE를 사용한 피치 감지 이 colab에서는 TensorFlow Hub에서 다운로드한 SPICE 모델을 사용하는 방법을 보여줍니다. sudo apt-get install -q -y timidity libsndfile1 Reading package lists... Building dependency tree... Reading st www.tensorflow.org

2022.07.30 - [워크시트] - 클라우드 컴퓨팅 - 1 2022.07.31 - [워크시트] - 클라우드 컴퓨팅 - 2 5. 클라우드 컴퓨팅에서 MSP(Managed Service Provider)의 역할 Managed Service Provider의 사전적 의미 기업의 클라우드 기반의 서비스를 운영 및 관리하는 서비스 제공자 주로 클라우드에 최적화된 기술 지원을 통해 반복되는 서비스를 자동화하고 불가피하게 발생되는 이슈나 장애 상황에 신속하게 대응 및 처리를 담당 MSP의 역할 구설 배포, 관리 지원, 운영 관리, 교육, 전문 지원, 운영 최적화 6. 클라우드 컴퓨팅의 대표적인 서비스 소개 VPC: Virtual Private Cloud의 약자로 가상 네트워크를 제공하는 것을 의미 Subnet: ..

Python 라이브러리 중에 목소리 pitch tracker 가 가능한 라이브러리가 있어서 이에 대해 포스팅하고자 합니다. 소개 CREPE 라는 라이브러리는 A Convolutional Representation for Pitch Estimation 이라는 이름의 약자로, "monophonic pitch tracker based on a deep convolutional neural network operating directly on the time-domain waveform input" 이라고 소개되어 있습니다. 위의 그림과 같이 WAV audio file을 input으로 하면, 6개의 컨볼루션 레이어를 거쳐서 output vector 를 만들어내게 됩니다. 결과적으로 해당 audio signal을..

DataFrame? 2차원(column과 row) 테이블 데이터 구조를 가진 자료형 DataFrame 생성 방법 ① 딕셔너리를 활용하여 생성 ② 리스트를 활용하여 생성 ③ 파일을 읽어서 생성 ① 딕셔너리를 활용하여 생성 a1 = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6], 'c': [7, 8, 9]}) ② 리스트를 활용하여 생성 a2 = pd.DataFrame([[1,2,3], [4,5,6], [7,8,9]], ["a","b","c"]) a2 왜 위와 같은 형태로 생성되는지를 확인하기 위해서는 shift + tab 을 활용하여 각 파라미터가 어떤 것을 의미하는지 알아볼 수 있다. 참고로 함수에 커서를 가져다 두고 shift + tab 을 누르면 해당 함수의 param..

Group by 데이터 분할(split) > operation 적용(applying) > 데이터 병합(combine) > groupby 내부 함수 활용하기 >> 그룹 데이터에 적용 가능한 통계 함수(NaN은 제외하여 연산) >> count: 데이터 개수 >> size: 집단별 크기 >> sum: 데이터의 합 >> mean, std, var: 평균, 표준편차, 분산 >> min, max: 최소, 최대값 > 복수 columns를 기준으로 grouping 하기 >> 통계함수를 적용한 결과는 multiindex를 갖는 DataFrame # cust_class 와 sex_type으로 index를 정하고 이에따른 r3m_avg_bill_amt의 평균을 구하기 cust.groupby(['cust_class', 'se..