Colab에서 Kaggle의 dataset 활용하기

AI 공부를 하다보니 Kaggle의 DataSet을 활용해야 하는 일이 생긴다.

Colab에서 바로 Kaggle의 DataSet을 가져오는 방법을 알아보자

 

아래 글 요약

# kaggle.json파일 업로드
from google.colab import files
files.upload()

!pip install kaggle
# Kaggle을 위한 디렉토리 생성
!ls -al
!mkdir -p ~/.kaggle
!ls -al ~/
# "kaggle.json"인증키를 복사 후 .kaggle 폴더에 붙여넣기
!cp kaggle.json ~/.kaggle/kaggle.json
!chmod 600 ~/.kaggle/kaggle.json
!ls -al ~/.kaggle/

# kaggle 데이터셋 or competition api 붙여넣기
!kaggle competitions download ~~~

 

1. Colab 접속 후 캐글 설치

   Colab에서 아래의 코드를 작성 한 후 실행

!pip install kaggle

 

2. Kaggle 인증키 다운로드

   Kaggle 로그인 후 프로필 화면에서 "Account" 클릭

 

   아래 API 란에 "Create New API Token" 을 클릭하면 "kaggle.json"파일이 다운로드 된다.

 

3. Colab에 인증키를 업로드

  Colab에 아래의 코드를 입력 후 실행

  입력 후 방금 받은 인증키 "kaggle.json"을 업로드한다.

from google.colab import files
files.upload()

4. 인증키 복사하기

  Kaggle을 위한 디렉토리 생성

!ls -al
!mkdir -p ~/.kaggle
!ls -al ~/

.kaggle 폴더가 생성되었음을 확인할 수 있다.

  "kaggle.json"인증키를 복사 후 .kaggle 폴더에 붙여넣기한다.

!cp kaggle.json ~/.kaggle/kaggle.json
!chmod 600 ~/.kaggle/kaggle.json
!ls -al ~/.kaggle/

5. 사용하고자 하는 DataSet API 확인

  이제 내가 원하는 데이터셋을 받기 위해 해당 데이터 셋 페이지에 들어간다.

  오른쪽에 보면 동그라미 친  ···  를 클릭하면 나오는 "Copy API command"를 통해 이 데이터 셋의 다운로드 주소를 얻    을 수 있다.

 

6. Colab에서 API를 통해 DataSet 다운로드

  '!'를 치고 붙여넣기 후 실행을 하면 API를 통해 데이터 셋을 다운받는다.

  내가 받은 파일은 zip파일로 다운로드 되었기에 unzip을 해주었다.