흔한밀레니얼의 사람이야기

해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다. 1. Introduction to JSON Javascript Object Notation 의 약어로 웹을 통해 데이터를 전송하는 일반적인 형식입니다. 테이블이 아니기에 더 효율적으로 데이터를 저장할 수 있습니다. python의 dict 형식과 같이 key-value 형태 즉 attribute-value 쌍을 가지고 있습니다. JSON은 중첩될 수 있습니다. pandas에서는 read_json()를 사용해서 불러올 수 있습니다. orient argument를 줘서 특수한 경우의 json 파일들도 불러올 수..

해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다. 1. Introduction to databases 관계형 데이터베이스는 테이블(table)들에 행(rows)와 열(columns)로 이루어져 있습니다. 행들에 각 실제 값들이 들어가게 되고, column에 그 속성이 들어가게 됩니다. 관계형 데이터베이스는 고유한 식별자(unique keys)를 통해 테이블을 연결하거나 관리할 수 있다는 점에서 다른 종류의 데이터들 데이터프레임, excel 등과 다릅니다. 데이터베이스에서 데이터를 읽는 것은 2단계 프로세스를 거칩니다. database에 연결(connect..

해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 4. Streamlined Data Ingestion with pandas의 chapter 2에 대한 내용입니다. # 1. Introduction to spreadsheets 마이크로소프트의 Excel 프로그램은 아주 잘 알려진 소프트웨어이고, Excel file은 데이터를 다룰때 흔히 볼 수 있는 양식입니다. 판다스에서는 pd.read_excel() 함수를 통해 Excel형식의 파일을 읽어 올 수 있습니다. read_excel 또한 read_csv()와 같이 많은 argument들을 공유합니다. - nrows : 불러올 행의 숫자를 제한합니다. - skiprows : 행을 건너띄고 불러옵니다. - usecols : ..

해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다. # 1. Introduction to flat files 이 과정에서는 데이터를 수집하는 것에 초점을 두고 수업이 진행될 것입니다. 특히 Pandas를 이용해서 데이터를 쉽게 로드하고 조작 할 수 있습니다. pandas의 핵심은 데이터 프레임 입니다. 데이터 프레임은 행(Index) 열(Column)로 이루어진 2차원 데이터 구조입니다. - Flat Files 플랫 파일은 단순하고 데이터를 저장하고 공유하는데 널리 사용된 포멧입니다. 일반적으로 CSV파일로 이루어지며 ,로 구분되어집니다. pandas 에서..

해당 내용은 Datacamp의 Data engineering track을 정리했습니다. 3. Introduction to data engineering의 chapter 4에 대한 내용입니다. # 1. Course ratings DataCamp의 학생은 한 장을 완료한 후 평가할 수 있습니다. 이 챕터 등급을 집계하여 사람들이 특정 코스를 어떻게 평가하는지 추정할 수 있습니다. 이러한 종류의 등급 데이터는 추천 시스템에서 사용하기에 적합합니다. 추천시스템에 평가 데이터를 사용하기 위해서는, 저장된 평가 데이터들을 추출(Extract)하고, 변환(Transform)한후, 데이터 베이스에 저장(Load)하는 일련의 과정이 필요합니다. 이 챕터에서는 Course와 Rating 두 개의 테이블을 이용할 것입니다...

https://millennials.tistory.com/140 위 포스팅 [YOLOv5]Colab Tutorial을 이용하여 학습 및 Inference시키기 1. 에 이어지는 글입니다. 이번에는 YOLOv5에 내가 원하는 학습데이터셋을 fine-tunning 할 것입니다. 따라서 먼저 준비물이 필요합니다. 1. 학습할 사진 데이터(train, validation)과 Label(class, x, y, width, height) 데이터 2. yaml 파일 https://drive.google.com/file/d/1EuSwMZTNb0tQnDO-3lhzhkn1JXOneYls/view?usp=sharing 본 글에서 사용한 raw 데이터를 구글 드라이브에 업로드 합니다. 2. YOLOv5 Training 2.1..

2022-08-20 기준 Colab에서 YOLOv5를 이용한 기본적 학습 방법입니다. 따로 코딩을 하지 않고 YOLOv5 Tutorial.ipynb을 이용 및 수정하여 진행할 예정입니다. 1. YOLOv5 Tutorial 1.1 YOLOv5 공식 Git-Hub 방문 아래 주소의 공식 YOLOv5 깃허브 주소를 방문합니다. https://github.com/ultralytics/yolov5 1.2 tutorial.ipynb Colab으로 실행 위의 사진에 표시된 tutorial.ipynb 파일을 클릭합니다. 이후 표시된 Open in Colab을 클릭하여 Colab으로 실행시킵니다. 1.3 Colab환경세팅 먼저 위에 보이는 Setup 셀을 실행시켜 Colab 환경에 YOLOv5 모델을 다운받습니다. 좌측..

1. 기존 설치된 nvidia 관련 파일 삭제 우선 프로그램 추가제거에서 nvidia 관련 프로그램을 전부 삭제하고, program files 폴더에 있는 NVIDIA 관련 파일까지 모두 삭제한다. 2. CUDA Toolkit 11.3.0 버전을 다운받아 설치한다. https://developer.nvidia.com/cuda-toolkit-archive 이 부분이 가장 중요한 핵심이다. 다른 상위 버전은 보지도 말고 11.3.0을 다운 받는 것이 가장 정신건강에 이롭다. 일단 pytorch 공홈에서 보면 호환되는 버전이 10.2 와 11.3, 11.6이 있는데 11.6은 tensorflow에서 호환이 어렵다. 그러니 그냥 11.3.0을 받도록하자. 혹시 그래픽카드가 좋은거라서 더 높은 버전을 써야하는 것..

tensorflow 학습을 GPU로 돌리려고 하니 VSCode 커널이 계속 죽는 문제가 발생하였다. error 16:56:55.300: Disposing session as kernel process died ExitCode: 3221226505, Reason: c:\\Users\\y0010\\anaconda3\\envs\\CV2\\lib\\site-packages\\traitlets\\traitlets.py:2392: FutureWarning: Supporting extra quotes around strings is deprecated in traitlets 5.0. You can use 'hmac-sha256' instead of '"hmac-sha256"' if you..

기본적으로 Anaconda 가상환경을 사용할 줄 알고, git에 대한 기초적인 기식이 있다는 가정하에 튜토리얼 진행 1. 설치 및 환경 설정 1) 새로운 가상환경 생성 python 3.7 이상의 가상환경을 생성한 후, 가상환경을 활성화 시킨다. conda create -n YOLOv5 python=3.8 conda activate YOLOv5 2) YOLO v5 git clone YOLO v5 공식 깃허브 주소에 접속해서, 공식 레포지토리를 로컬에 git clone 해온다. 그 후 pip install -r requirements.txt 명령어로 필수 라이브러리 설치 https://github.com/ultralytics/yolov5 git clone https://github.com/ultralytic..