흔한밀레니얼의 사람이야기

프로그래머스- 조이스틱- 그리디-파이썬

Millennials — Tue, 1 Nov 2022 20:08:15 +0900

문제

처음 내 풀이

def solution(name):


  def upper(char):
      return ord(char) - ord('A')
  def down(char):
      return ord('Z') - ord(char) + 1
  up_down = [min(upper(i),down(i)) for i  in name]

  right = len(name) - 1
  count = sum(up_down) + right
  if 'A' not in name:
      return count

  else :
      left = 0
      left_count = 0
      for i in range(len(name)-1):

          next = i + 1
          while name[next] == 'A' and next < len(name):
              left_count += (left * 2) + 1
              break
          left += 1

      final = min(left_count+sum(up_down), count)
      return final

답 - 참고 https://velog.io/@jqdjhy/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%A8%B8%EC%8A%A4-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%A1%B0%EC%9D%B4%EC%8A%A4%ED%8B%B1-Greedy

[[프로그래머스, 파이썬] 조이스틱, Greedy

[프로그래머스, 파이썬] 코딩테스트 고득점 Kit - Greedy, level 2 조이스틱

velog.io](https://velog.io/@jqdjhy/%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%98%EB%A8%B8%EC%8A%A4-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EC%A1%B0%EC%9D%B4%EC%8A%A4%ED%8B%B1-Greedy)

def solution(name):


    def upper(char):
        return ord(char) - ord('A')
    def down(char):
        return ord('Z') - ord(char) + 1
    up_down = [min(upper(i),down(i)) for i  in name]

    right = len(name) - 1
    count = sum(up_down) + right
    if 'A' not in name:
        return count

    else :
        left = 0
        move = []
        for i in range(len(name)):

            next = i + 1
            while next < len(name) and name[next] == 'A':
                next += 1
            move.append( min([right, i * 2 + len(name) - next, i + 2 * (len(name) - next)]) )
        return sum(up_down)+min(move)

[DA] 4-4. Importing JSON Data and Working with APIs

Millennials — Tue, 13 Sep 2022 22:59:55 +0900

해당 내용은 Datacamp의 Data engineering track을 정리했습니다.
4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다.

1. Introduction to JSON

Javascript Object Notation 의 약어로 웹을 통해 데이터를 전송하는 일반적인 형식입니다.
테이블이 아니기에 더 효율적으로 데이터를 저장할 수 있습니다.
python의 dict 형식과 같이 key-value 형태 즉 attribute-value 쌍을 가지고 있습니다.
JSON은 중첩될 수 있습니다.
pandas에서는 read_json()를 사용해서 불러올 수 있습니다. orient argument를 줘서 특수한 경우의 json 파일들도 불러올 수 있습니다.

# Load pandas as pd
import pandas as pd

# Load the daily report to a dataframe
pop_in_shelters = pd.read_json("dhs_daily_report.json")

# View summary stats about pop_in_shelters
print(pop_in_shelters.describe())
'''
total_single_adults_in_shelter  
count                        1000.000  
mean                        11472.880  
std                          1113.664  
min                          9610.000  
25%                         10381.750  
50%                         11633.500  
75%                         12437.500  
max                         13270.000 
'''

2. Introduction to APIs

API는 Application Programming Interfaces의 약어로 하나의 어플리케이션이 다른 프로그램과 소통하는 방법을 정의한 것입니다. API를 통해 데이터베이스 구조를 디테일하게 알지 못해도 데이터를 얻을 수 있도록 합니다.

Requests 를 이용해서 API를 알아봅시다.

requests.get(url_string) 는 URL에서 데이터를 가져올 때 사용합니다.
여러가지 arguments들이 있습니다.
- params
- headers
결과 반환은 response 코드를 사용 합니다.
- response.json() 데이터만 가지고 오려할 떄 사용합니다.
- response.json() 은 dictionary 형태를 반환하는데 pandas의 pd.read_json() 은 string 형태의 데이터만 읽을 수 있습니다. 그래서 이 경우 pd.DataFrame() 을 사용해야 합니다.

api_url = "https://api.yelp.com/v3/businesses/search"

# Get data about NYC cafes from the Yelp API
# headers 와 params는 미리 주어진 것을 사용한다.
response = requests.get(api_url, 
                headers=headers, 
                params=params)

# Extract JSON data from the response
data = response.json()

# Load data to a dataframe
cafes = pd.DataFrame(data["businesses"])

# View the data's dtypes
print(cafes.dtypes)

3. Working with nested JSONs

중첩된 JSON에 대해서 어떻게 해야할까요?
pandas.io.json

json_normalize()
- sep
- record_path
- meta
- meta_prefix

# Load other business attributes and set meta prefix
flat_cafes = json_normalize(data["businesses"],
                            sep="_",
                            record_path="categories",
                            meta=["name", 
                                  "alias",  
                                  "rating",
                                    ["coordinates", "latitude"], 
                                    ["coordinates", "longitude"]],
                            meta_prefix="biz")





# View the data
print(flat_cafes.head())

[DA] 4-3. Importing Data from Databases

Millennials — Tue, 13 Sep 2022 21:37:50 +0900

해당 내용은 Datacamp의 Data engineering track을 정리했습니다.
4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다.

1. Introduction to databases

관계형 데이터베이스는 테이블(table)들에 행(rows)와 열(columns)로 이루어져 있습니다. 행들에 각 실제 값들이 들어가게 되고, column에 그 속성이 들어가게 됩니다.

관계형 데이터베이스는 고유한 식별자(unique keys)를 통해 테이블을 연결하거나 관리할 수 있다는 점에서 다른 종류의 데이터들 데이터프레임, excel 등과 다릅니다.

데이터베이스에서 데이터를 읽는 것은 2단계 프로세스를 거칩니다.

database에 연결(connect)합니다.
SQL 혹은 Pandas 언어로 query를 보내 가져옵니다.

관계형 데이터베이스와 작업할 수 있는 도구가 있는 SQLAlchemy 라이브러리를 사용하게 될 것입니다. 특히 SQLAlchemy 의 create_engine() 을 이용해서 데이터 베이스에 연결해서 핸들할 수 있는 엔진을 만들 것입니다.

엔진은 데이터 베이스의 URL을 가져와 데이터베이스에 연결하도록 합니다. 이 URL 패턴은 데이터베이스 종류마다 조금씩 다를 수 있습니다.

pandas 에서는 pd.read_sql(query, engine) 을 사용합니다.
query : SQL 문
engine : 데이터베이스에 연결하는 engine

# Load libraries
import pandas as pd
from sqlalchemy import create_engine

# Create the database engine
engine = create_engine('sqlite:///data.db')

# Load hpd311calls without any SQL
hpd_calls = pd.read_sql("hpd311calls", engine)

# View the first few rows of data
print(hpd_calls.head())

# Create a SQL query to load the entire weather table
query = """
SELECT * 
  FROM weather;
"""

# Load weather with the SQL query
weather = pd.read_sql(query, engine)

# View the first few rows of data
print(weather.head())

# 두 쿼리의 결과는 같습니다.

2. Refining imports with SQL queries

테이블 열에서 고유한 값들을 가져오는 것은 SQL에서 DISTINCT을 사용할 수 있습니다.
SUM, AVG, MAX, MIN () 괄호 안에 하나의 목표하는 COLUMN 이름이 들어옵니다.
COUNT(*)

    # Create query for unique combinations of borough and complaint_type
    # borough와 complaint_type 각각 유니크 한 값이 아니라 쌍이 unique한 값이 불러와진다.
    query = """
    SELECT DISTINCT borough, 
         complaint_type
    from hpd311calls;
    """


# Load results of query to a dataframe

issues\_and\_boros = pd.read\_sql(query, engine)

# Check assumption about issues and boroughs

print(issues\_and\_boros)

3. Loading multiple tables with joins

SQL은 테이블끼리 연결된 테이블 값이 있을 경우, 해당 테이블들을 join시키는 것이 가능합니다.


# Query to get heat/hot water call counts by created\_date
'''
query = """  
SELECT hpd311calls.created\_date,  
COUNT(\*)  
FROM hpd311calls  
WHERE hpd311calls.complaint\_type = "HEAT/HOT WATER"  
GROUP BY hpd311calls.created\_date;  
"""

# Query database and save results as df

df = pd.read\_sql(query, engine)

# View first 5 records

print(df.head())

[DA]4-2. Importing Data From Excel Files

Millennials — Tue, 13 Sep 2022 17:27:52 +0900

해당 내용은 Datacamp의 Data engineering track을 정리했습니다.
4. Streamlined Data Ingestion with pandas의 chapter 2에 대한 내용입니다.

# 1. Introduction to spreadsheets

마이크로소프트의 Excel 프로그램은 아주 잘 알려진 소프트웨어이고, Excel file은 데이터를 다룰때 흔히 볼 수 있는 양식입니다.

판다스에서는 pd.read_excel() 함수를 통해 Excel형식의 파일을 읽어 올 수 있습니다.

read_excel 또한 read_csv()와 같이 많은 argument들을 공유합니다.

- nrows : 불러올 행의 숫자를 제한합니다.

- skiprows : 행을 건너띄고 불러옵니다.

- usecols : 불러올 열을 지정합니다.

## 1.1 Get data from a spreadsheet

## 1.2 Load a portion of a spreadsheet

# 2. Getting data from multiple worksheets

Excel에 여러 시트의 데이터를 가져오는 방법을 알아봅시다.

시트는 sheet_name의 argument를 추가하면서 가져올 수 있습니다.

여러개의 sheet를 동시에 가져오는 경우 Dict형태로 가지고 오게 됩니다. key에는 sheet_name이, value에는 Dataframe이 오게 됩니다.

# Create empty dataframe
all_responses = pd.DataFrame()

# Iterate
for sheet_name, frame in survey_responses.items():
	frame['Year'] = sheet_name
    
    # Add each dataframe to all_responses
    all_responses = all_responses.append(frame)
   
print(all_responses.Year.unique())

## 2.1 Select a single sheet

## 2.2 Select multiple sheets

# 3. Modifying imports: true/false data

Boolean 데이터 타입을 통해 필터링을 할 수 있습니다.

Pandas에서는 dtype으로 Boolean 타입이 포함되어 있지 않습니다.

판다스에서 True는 1으로 False는 0으로 인식합니다.

- null 값은 isna()를 사용해서 찾을 수 있습니다.

- dtype={"대상 column":bool} 형식을 통해 boolean 타입으로 변환할 수 있습니다.

- true_values 와 false_values argument를 통해 각각 true값과 false 값을 변경할 수 있습니다.

# Load file with Yes as a True value and No as a False value
survey_subset = pd.read_excel("fcc_survey_yn_data.xlsx",
                              dtype={"HasDebt": bool,
                              "AttendedBootCampYesNo": bool},
                              true_values=['Yes'],
                              false_values=['No'])

# View the data
print(survey_subset.head())

# 4. Modifying imports:parsing dates

이번에는 datetime을 만져보겠습니다.

datetime은 dtype argument가 아니라 parse_dates argument를 사용합니다.

이 parse_dates로 읽어오기 위해서는 pandas가 인식할 수 있게 표현된 datetime 데이터가 필요합니다.

만약 pandas가 인식하지 못하는 형태이라면 pd.to_datetime()으로 해당 데이터를 datetime 형식으로 바꾸어줄 필요가 있습니다.

# Create dict of columns to combine into new datetime column
datetime_cols = {"Part2Start": ["Part2StartDate","Part2StartTime"]}


# Load file, supplying the dict to parse_dates
survey_data = pd.read_excel("fcc_survey_dts.xlsx",
                            parse_dates=datetime_cols)

# View summary statistics about Part2Start
print(survey_data.Part2Start.describe())

# Parse datetimes and assign result back to Part2EndTime
survey_data["Part2EndTime"] = pd.to_datetime(survey_data["Part2EndTime"], 
                                             format="%m%d%Y %H:%M:%S")

[DA] 4-1. Importing Data from Flat Files

Millennials — Mon, 12 Sep 2022 20:38:35 +0900

해당 내용은 Datacamp의 Data engineering track을 정리했습니다.
4. Streamlined Data Ingestion with pandas의 chapter 1에 대한 내용입니다.

# 1. Introduction to flat files

이 과정에서는 데이터를 수집하는 것에 초점을 두고 수업이 진행될 것입니다. 특히 Pandas를 이용해서 데이터를 쉽게 로드하고 조작 할 수 있습니다.

pandas의 핵심은 데이터 프레임 입니다. 데이터 프레임은 행(Index) 열(Column)로 이루어진 2차원 데이터 구조입니다.

- Flat Files

플랫 파일은 단순하고 데이터를 저장하고 공유하는데 널리 사용된 포멧입니다. 일반적으로 CSV파일로 이루어지며 ,로 구분되어집니다.

pandas 에서는 read_csv() 함수를 이용하여 플랫파일을 읽어들입니다.

구분자가 ' , ' 가 아닌경우 sep 을 argument로 넣어서 구분자를 설정 가능합니다.

## 1.1 Get data from CSVs

## 1.2 Get data from other flat files

# 2. Modifying flat file imports

데이터의 양을 조절해서 가져오는 방법을 실습해봅시다.

- Column 수의 조절

위와 같이 column수가 너무 많을 때 usecols 를 argument로 넣어서 가져올 컬럼의 가짓수를 제한 할 수 있습니다.

- index(row)의 조절

index는 nrows 와 skiprows 를 argument로 넣어서 가져올 양을 조절할 수 있다.

위의 코드의 경우 index 1000까지는 skip되고 row를 500개 가져온다. 즉 1000~ 1500 까지의 row를 가져오게 되는 것이다.

- 열 이름 지정

열 이름은 names argument를 지정해서 가져오면 된다.

## 2.1 Import a subset of columns

## 2.2 Import a file in chunks

# 3. Handling errors and missing data

이번에는 데이터에 오류가 있는 경우 어떻게 조정할 것인가를 다룹니다.

- Data types error

dtype 을 argument로 넣고 바꾸려는 column과 type을 dict 형태로 넣습니다.

- Missing Data

판다스에는 isnull() 메서드와 같이 Null 을 찾아내고 값을 넣는 메서드가 잘 생성되어있습니다. 그런데 더미 데이터로 공백(Null) 대신 0이 들어가 있는 경우도 있습니다. 이 0 을 missing data로 처리해야한다고 했을 때 어떻게 해야할지 아래 예제로 알아볼 수 있습니다.

위 예제에서 0으로 처리되었던 zipcode 컬럼의 값들이 NaN으로 missing value 취급이 되었다는 것을 알 수 있습니다.

- Lines with Errors

가끔 csv 파일중에 손상된 라인이 있어서 행 열 간격이 맞지 않게 되어 csv파일을 읽지 못하는 경우가 있습니다. 이런 경우 error_bad_lines=False 로 손상된 라인은 건너뛰도록 할 수 있습니다.

## 3.1 Specify data types

## 3.2 Set custom NA values

## 3.3 Skip bad data

[DA] 3-4. Case Study: DataCamp

Millennials — Mon, 12 Sep 2022 16:42:48 +0900

해당 내용은 Datacamp의 Data engineering track을 정리했습니다.
3. Introduction to data engineering의 chapter 4에 대한 내용입니다.

# 1. Course ratings

DataCamp의 학생은 한 장을 완료한 후 평가할 수 있습니다. 이 챕터 등급을 집계하여 사람들이 특정 코스를 어떻게 평가하는지 추정할 수 있습니다. 이러한 종류의 등급 데이터는 추천 시스템에서 사용하기에 적합합니다.

추천시스템에 평가 데이터를 사용하기 위해서는, 저장된 평가 데이터들을 추출(Extract)하고, 변환(Transform)한후, 데이터 베이스에 저장(Load)하는 일련의 과정이 필요합니다.

이 챕터에서는 Course와 Rating 두 개의 테이블을 이용할 것입니다. Rating의 course_id는 외래키로 Course 테이블에서 받아오게 됩니다.

## 1.1 Exploring the schema

## 1.2 Querying the table

## 1.3 Average rating per course

# 2. From ratings to recommendations

위에서는 Raw 평가 테이블에서 데이터를 추출하고 변환하였습니다. 이제 이 변환된 데이터를 가지고 추천 시스템을 만들어 볼 차례입니다.

목표로하는 추천시스템의 테이블 형태는 위와 같습니다. Course와 Rating 테이블에서 추출한 데이터를 사용하여, 유저별로 각 강의마다 평가점수를 예측해서, Top3의 강의를 추천해 주는 것입니다.

해당 추천시스템을 만드는 과정은 Matrix factorization이라는 추천시스템 알고리즘 모델을 사용할 것입니다.

고려할점

- 첫번째로 고려할 것은 높은 평점을 가진 강의를 추천하는 것입니다. 이전까지 우리는 각 코스 ID에 대한 평균 코스 평점을 도출해냈습니다. 이 과정을 연계해서 사용할 것입니다.
- 두번째로 고려할 것은 사용자의 관심을 끄는 프로그래밍 언어로된 과정을 추천할 것입니다. 사용자가 평가한 강의 중 가장 높은 비중을 차지하는 언어를 추천해 줄 것입니다.
- 세번째로 사용자가 아직 평가하지 않은 강의만 추천할 것입니다. 즉 Rating 테이블에 user_id와 course_id의 조합이 있으면 안된다는 것입니다.

생성할 추천시스템의 규칙

1. 강의 추천수가 높은 강의들로 추천을 합니다.
2. 사용자가 평가하지 않은 강의들로 추천을 합니다.
3. 가장 높은 등급 3개의 코스를 추천합니다.

## 2.1 Filter out corrupt data

## 2.2 Using the recommender transformation

이렇게 추천시스템이 만들어진다... 해당 과정은 추천시스템 알고리즘 교육과정이 아니기 때문에 Matrix factorization 등의 과정은 생략되어있다.

# 3. Scheduling daily jobs

이제 데이터를 Postgres 테이블에 로드하고, Airflow를 통해 테이블을 최신화하는 일련의 과정을 해볼 것입니다.

추천테이블을 Sql로 만들어 load해야 합니다.

recommendations.to_sql(
	"recommendations",
    	db_engine,
    	if_exists="append",
)

The etl() function

def etl(db_engines):
	# Extract the data
    courses = extract_course_data(db_engines)
    rating = extract_rating_data(db_engines)
    
    # Clean up courses data
    courses = transtorm_fill_programming_language(courses)
    
    # Get the average course ratings
    avg_course_rating = transform_avg_rating(rating)
    
    # Get eligible user and course id pairs
    courses_to_recommend = transform_courses_to_recommend(
    	rating,
        courses,
    )
    
    # Calculate the recommendations
    recommendations = transform_recommendations(
    	avg_course_rating,
        courses_to_recommend,
    )
    
    # Load the recommendations into the database
    load_to_dwh(recommendations, db_engine))

Creating the DAG

from airflow.models import DAG
from airflow.operators.python_operator import PythonOperator

# 매일 0시에 실행
dag = DAG(dag_id="recommendations",
		  scheduled_interval="0 0 * * *")
task_recommendations = PythonOperator(
	task_id="recommendations_task",
    python_callable=etl,
)

## 3.1 The target table

if_exists="replace"에서 조금 tricky한 문제

## 3.2 Defining the DAG

## 3.3 Enable the DAG

## 3.4 Querying the recommendations

[YOLOv5]Colab Tutorial을 이용하여 학습 및 Inference시키기 2.

Millennials — Sat, 20 Aug 2022 19:48:29 +0900

https://millennials.tistory.com/140

위 포스팅 [YOLOv5]Colab Tutorial을 이용하여 학습 및 Inference시키기 1. 에 이어지는 글입니다.

이번에는 YOLOv5에 내가 원하는 학습데이터셋을 fine-tunning 할 것입니다.

따라서 먼저 준비물이 필요합니다.

1. 학습할 사진 데이터(train, validation)과 Label(class, x, y, width, height) 데이터
2. yaml 파일

https://drive.google.com/file/d/1EuSwMZTNb0tQnDO-3lhzhkn1JXOneYls/view?usp=sharing

본 글에서 사용한 raw 데이터를 구글 드라이브에 업로드 합니다.

2. YOLOv5 Training

2.1 구글 드라이브 불러오기

1) 아래에 나온 순서대로 실행하여 내 계정의 구글 드라이브와 연동시킵니다.

2) 연동이 끝나면 아래 표시된 새로고침을 누르면 drive 폴더가 나타납니다.

3) 구글드라이브에 업로드한 toy-project 폴더의 경로를 복사합니다.

2.2 yaml 파일 수정

굉장히 중요한 포인트임으로 집중해서 아래 yaml 파일을 수정한다.

1) data.yaml 파일을 더블클릭하면 오른쪽에 텍스트 창이 열린다.

2) train, val 폴더 경로 앞에 아까 복사한 경로를 붙인다.(toy-project를 드래그한 후 붙여넣기 한다.)

3) ctrl + s 를 해서 저장한 후 텍스트 창을 닫는다.

2.3 Training 시키기

1) data.yaml의 경로를 복사한다.

2) Train 셀의 coco128.yaml 을 방금 복사한 data.yaml경로로 수정한다.

3) 수정한 셀을 실행시킨 후 아래와 같은 화면이 나오면 훈련시키기에 성공한 것이다.

참고 - 훈련 과정 보기

아래 yolov5- runs-train-exp2 경로에 들어가면 훈련되고 있는 과정을 볼 수 있다.

weights 폴더에 훈련되고 있는 모델의 가중치가 저장된다.

2.4 Inference

훈련된 모델에 테스트하고 싶은 사진을 넣어보자.

1) 아래 코드를 복사하여 코드를 붙여넣는다.

!python detect.py --weights 가중치경로 --img 640 --conf 0.25 --source 사진경로

2) 아래 사진과 같이 훈련이 진행된 경로로 가서, 훈련된 가중치의 경로를 복사한다.

3) 붙여넣은 코드에 '가중치경로'를 지우고 복사한 경로를 붙여 넣는다.

4) 모델 대상이 되는 사진을 업로드한 후, 경로를 복사하여 '사진경로'를 지우고 복사한 경로를 붙여 넣는다.

5) 아래 사진 경로의 마지막 exp 폴더에서 결과를 확인한다.

[YOLOv5]Colab Tutorial을 이용하여 학습 및 Inference시키기 1.

Millennials — Sat, 20 Aug 2022 16:08:27 +0900

2022-08-20 기준 Colab에서 YOLOv5를 이용한 기본적 학습 방법입니다.

따로 코딩을 하지 않고 YOLOv5 Tutorial.ipynb을 이용 및 수정하여 진행할 예정입니다.

1. YOLOv5 Tutorial

1.1 YOLOv5 공식 Git-Hub 방문

아래 주소의 공식 YOLOv5 깃허브 주소를 방문합니다.

https://github.com/ultralytics/yolov5

1.2 tutorial.ipynb Colab으로 실행

위의 사진에 표시된 tutorial.ipynb 파일을 클릭합니다.

이후 표시된 Open in Colab을 클릭하여 Colab으로 실행시킵니다.

1.3 Colab환경세팅

먼저 위에 보이는 Setup 셀을 실행시켜 Colab 환경에 YOLOv5 모델을 다운받습니다.

좌측에 폴더 표시를 열었을때 위의 사진과 같이 yolov5 폴더가 있으면 잘 받아진 것입니다.

1.4 예제사진으로 제대로 가동하는지 여부 확인

이후 Detect 셀의 두번째 셀의 주석을 풀고 실행시킵니다.

위와 같이 셀안에 바운딩박스가 쳐진 지단의 예제사진이 뜬다면 성공한 것입니다.

추가 정보

- 마지막 inference 셀 코드 의미

!python detect.py --weights yolov5s.pt --img 640 --conf 0.25 --source data/images
display.Image(filename='runs/detect/exp/zidane.jpg', width=600)

!python detect.py : detect.py 파일을 실행
--weights : 사용할 모델 가중치
--img : 이미지 크기
--conf : threshold
--source : 모델을 돌릴 사진이 되는 있는 위치

display.Image : 이미지를 보여라
- filename : 보여줄 이미지

- 다른 사진으로 inference하기

1) 아래 사진의 images 란에 내가 모델에 넣고 싶은 사진을 업로드 한다.

2) 아래 코드 실행

!python detect.py --weights yolov5s.pt --img 640 --conf 0.25 --source data/images

3) 아래 사진의 detect 폴더의 마지막 exp 폴더에서 결과 사진을 확인한다.

[Window]Tensorflow, Pytorch 둘 다 호환되는 Nvidia Cuda설치

Millennials — Sat, 6 Aug 2022 14:29:08 +0900

1. 기존 설치된 nvidia 관련 파일 삭제

우선 프로그램 추가제거에서 nvidia 관련 프로그램을 전부 삭제하고, program files 폴더에 있는 NVIDIA 관련 파일까지 모두 삭제한다.

2. CUDA Toolkit 11.3.0 버전을 다운받아 설치한다.

https://developer.nvidia.com/cuda-toolkit-archive

이 부분이 가장 중요한 핵심이다. 다른 상위 버전은 보지도 말고 11.3.0을 다운 받는 것이 가장 정신건강에 이롭다.

일단 pytorch 공홈에서 보면 호환되는 버전이 10.2 와 11.3, 11.6이 있는데 11.6은 tensorflow에서 호환이 어렵다.

그러니 그냥 11.3.0을 받도록하자. 혹시 그래픽카드가 좋은거라서 더 높은 버전을 써야하는 것 아닌가 싶을 수 있는데, 그냥 11.3.0 을 받아서 돌아가면 마음편하다. (본인 경험상 11.5 이상은 텐서플로우에서 크러시날 확률이 높다. 10.2는 시도 안해봤지만 10.2버전은 호환이 될 가능성이 높다.)

pytorch 공홈

설치는 그냥 권장으로 쭉쭉 밀면 된다.

3. cuDNN v8.2.0 버전 설치

https://developer.nvidia.com/cudnn

다음으로는 cuDNN을 다운받아야 하는데, 로그인이 필요하다. NVIDIA 아이디가 없을시 가입이 강제된다.

여기서 중요한 포인트는 cuDNN v8.2.0을 받아야 한다는 점이다.

받아보면 파일명에 11.3이라고 박혀있는 주제에 공홈에는 11.x라고 적혀있다. 왜인지 모르겠으나 그냥 v8.2.0으로 받자

설치는 받은 cuDNN zip 압축을 푼 이후 내용물을 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.3 폴더에 덮어씌운다.

4. Tensorflow, pytorch 간단한 훈련 진행 테스트

# tensorflow 확인
import tensorflow as tf
tf.test.is_gpu_available()

# torch 확인
import torch
torch.cuda.is_available()

위의 코드로 GPU를 인식하고 있는 여부를 확인할 수 있다.

하지만 GPU를 인식하고 있어도 kernel crash 오류가 날 수 있음으로 간단한 학습을 진행시켜보는 것을 권장한다.

Tensorflow GPU kerner died 문제, kernel process died ExitCode: 3221226505

Millennials — Wed, 3 Aug 2022 17:17:59 +0900

tensorflow 학습을 GPU로 돌리려고 하니 VSCode 커널이 계속 죽는 문제가 발생하였다.

error 16:56:55.300: Disposing session as kernel process died ExitCode: 3221226505, Reason: c:\\Users\\y0010\\anaconda3\\envs\\CV2\\lib\\site-packages\\traitlets\\traitlets.py:2392: FutureWarning: Supporting extra quotes around strings is deprecated in traitlets 5.0. You can use 'hmac-sha256' instead of '"hmac-sha256"' if you require traitlets >=5.  
  warn(  
c:\\Users\\y0010\\anaconda3\\envs\\CV2\\lib\\site-packages\\traitlets\\traitlets.py:2346: FutureWarning: Supporting extra quotes around Bytes is deprecated in traitlets 5.0. Use '5b3a69ad-bb15-4fcf-9417-58c368705aae' instead of 'b"5b3a69ad-bb15-4fcf-9417-58c368705aae"'

이 문제를 해결하기 위해 stackoverflow에 비슷한 사례들을 계속 서칭하였고,

https://stackoverflow.com/questions/69879188/could-not-load-library-cudnn-cnn-infer64-8-dll-error-code-126

몇번의 삽질을 반복하고 위의 답변을 따라했더니 해결이 되었다.

본인의 컴퓨터는 CUDA 11.5 version 이었고, 이에 맞는 cuDNN 8.4.1을 설치하였는데 이게 문제였다.
이 문제는 CUDA 11.5 version에 cuDNN 8.3.0 이상의 버전을 설치할 경우 발생하는 것이었고
Cuda version: 11.4 에 맞는 cuDNN version: 8.2.4 를 설치하니 문제가 해결되었다.

어이가 없는 트러블 슈팅이었다.

..................

tensorflow에서 문제를 해결했더니 이게 pytorch에서 문제가 생겼다.
cuDNN 버전을 건드렸더니 pytorch에서 GPU를 인식하지 못하는 문제가 발생.