흔한밀레니얼의 사람이야기

크롤링(스크래핑) 크롤링은 인터넷 웹페이지에 접근하여, 웹페이지의 데이터를 추출하는 방법을 말한다. 크롤링은 '정적 웹 크롤링'과 '동적 웹 크롤링'으로 나뉘어지고, 대부분 파이썬의 강력한 라이브러리를 통해 사용한다. '정적 웹 크롤링'은 입력된 HTML URL에 접근하여 그 페이지에 표시된 데이터만을 추출하는 것을 말한다. 사용되는 라이브러리는 requests, BeautifulSoup가 있다. '동적 웹 크롤링'은 입력된 HTML URL에 접근한 후 입력, 클릭 및 로그인 등의 기능을 수행한 결과의 데이터를 받아온다. 사용되는 라이브러리는 selenium, chromedriver가 있다. 이번에 사용할 BeautifulSoup 라이브러리는 '정적 웹 크롤링'에 사용하는 대표적인 라이브러리이다. Bea..

제주도 서귀포의 아버지 농장에 갔을때, 커피를 먹고 싶으면 한번씩 오는 이쁜 카페 '서연의 집' 방문기 벌써 10년이 다되어가는 2010년대 초반에 제법 흥행했던 영화 '건축학개론'의 촬영지입니다. 영화 내에서 훗날 여자주인공 '서연'이 남자주인공 '승민'에게 부탁해서 리빌딩한 '서연'의 고향집이다. 영화 촬영 이후 촬영지를 카페로 개조해서 관광지로 활용하고 있다. 사실 영화촬영지인 점은 재쳐두고, 서연의집 카페는 제주 바다의 뷰가 맛집이다. 커피 한잔하면서 바다도 보고, 노트북으로 작업하기 좋다. 난 이 카페를 오면 주로 아침에 오는데 아침에는 사람이 없어서 조용하고 뷰를 즐기면서 간단한 작업하기가 좋다. 제주도의 뷰가 좋은 카페들은 큰 대형 카페들이 많은데, 여기는 아기자기한 맛이 있어서 좋은 것 같..

머신러닝(Machine Learning)은 특정 데이터(훈련 데이터Training Data)로부터 어떠한 규칙을 발견해내는 것이며, 그 규칙을 훈련데이터에 적용시켜 얻은 결과물과 다른 새로운 데이터(테스트 데이터Test Data)에 적용시켜 비슷한 결과물을 얻어내는 과정을 말한다. 1. 지도학습 지도 학습(Supervised Learning)은 훈련 데이터(Training Data)로부터 하나의 함수를 유추해내기 위한 기계 학습(Machine Learning)의 한 방법이다. - 위키백과 지도 학습 알고리즘 선형 회귀(Linear Regression) 로지스틱 회귀(Logistic Regression) 서포트 벡터 머신(Support Vector Machine) k-최근접 이웃(k-Nearest Neig..

1. 머신러닝모델의 일반화 일반화 : 훈련데이터를 통해 학습해 만들어 낸 모델이, 다른 데이터셋들에 잘 맞아 들어가는 능력을 의미함 우리가 정말 관심있는것은 모델이 학습에 사용한 훈련(train) 데이터를 얼마나 잘 설명하는 모델이 아니라, 학습에 사용하지 않은 외부의 테스트(test) 데이터를 얼마나 잘 맞추는지이다. 2. 편향과 분산 편향 : 오차(예측과 정답의 차이)의 크기, 예측이 정답에서 얼마나 벗어나 있는지 => 낮을 수록 좋다. - 편향이 크다 : 모델과 테스트 데이터들 간에 오차가 크다. 분산 : 학습한 모델의 변동성, 예측값의 변동폭이 얼마나 큰지, 예측값들끼리의 차이 => 낮을 수록 좋다 - 분산이 크다 : 학습한 모델의 변동성이 크고 복잡해서, 각 테스트 데이터마다 오차의 값이 불규칙..

코로나 장기화로 집에서 생활하는 기간이 길어짐에 따라 집의 컴퓨터 주변기기 업그레이드에 대한 욕심이 생겼다. 본래는 노트북하나 데스크톱 대용으로 사용하면서 모니터, 키보드를 대체하고 있었지만 최근 데이터 프로그래밍을 공부하면서 키보드부터 시작해서 욕심을 부리기 시작했다. 코딩을 하다보면 레퍼런스 코드를 긁어와서 붙여야하는 경우가 상당히 많은데, 이것을 알트텝으로 창을 옮겨다니면서 하니 비효율적이고, 창을 분할해서 띄우자니 15인치 노트북 모니터가 너무 좁게 느껴진다.. 그래서 거의 2주 넘게 고민하고 검색하다가 드디어 모니터를 질렀다. 그래서 내 고민의 결과물을 공유하고자 한다. 난 가성비충이기 때문에 무조건 싸고, 스팩이 좋은 모니터를 찾았다. 솔직히 A/S 는 크게 고려하지 않고 무조건 스팩. 어차피..

내가 뭔가 만들고 싶고 하고싶은 프로젝트가 있으면, 늘 사용한는 언어들이 다르다. 그런 언어들을 만날때마다 머리가 멈추게 된다. 지금 하고있는것도 벅찬데 새로운 언어라니.. 그 중에 하나가 Node.js 언어이다. 하지만 요즘 느끼는건데 결국 언어들은 크게 다르지 않...을 것이다. Node.js 과감하게 도전 배워보자 - Nods.js가 무엇인가 일단 Node.js가 무엇인가부터 알아야 이걸 왜 공부하는가를 알 수 있겠다. V8 (자바스크립트 엔진)으로 빌드된 이벤트 기반 자바스크립트 런타임이다. 웹 서버와 같이 확장성 있는 네트워크 프로그램 제작을 위해 고안되었다. - 위키 일단 웹페이지를 구성하는 언어가 'HTML'이고, 웹페이지를 다이나믹하게 만들어주는 조작할 수 있게 만드는 언어가 'JavaSc..

드로잉 레시피 내 친구의 지인이 셰프로 운영하는 샾이어서, 친구를 만날때면 한번씩 가서 식사를 하는 퓨전 양식집이다. 나는 지독한 국밥충이어서, 식사의 가격이 올라갈수록 그 맛과 효용을 철저하게 따져보는 편이다. 그렇기에 양식당은 어지간해서 내 입에 호평을 받기 힘들다. 그런 내 까다로운 입맛에 이 레스토랑은 제법 괜찮은 식당에 속한다. 일단 위치는 아래와 같이 일반적인 건대 맛의 거리에서 좀 떨어져, 롯데백화점 건물 뒤에 주택가로 들어가기 앞에 위치하고 있다. 그렇기에 나름 아는사람만 가는 숨은 맛집이라 할 수 있다. 건대에서 약 10년 가까이 산 주민으로써 평가하기에, 건대에서는 보기힘든 맛있는 식사할 수있는 식당 (건대 맛의 거리에 있는 식당은 죄다 식당을 가장한 술집이다) 메뉴판은 위 사진과 같다..

코로나 장기화의 일환으로 집에서 활동시간이 날이갈수록 더 길어지고 있다 작년부터 집에서 프로그램을 짜는 코딩을 공부하는 시간이 많은데 원래는 노트북의 자판으로 계속 처리했었다. 하지만 최근에 바꾼 노트북은 가벼운 대신 숫자키패드가 없다.. 있을 때는 몰랐는데 없으니 확실히 불편함이 느껴진다. ㅜ ㅜ 그래서 고민하다가 이참에 나도 키보드한번 사볼까 하고 구매한 것이 이 앱코 해커 K640 키보드 키보드 선택 이유 가장 중요한 이유 싸다! 일단 이 키보드 기계식 키보드 중 거진 가장 싸다! 약 3만원이 안되는 가격 사실 키보드가 비싸면 뭐가 좋은지 모르겠는 나로써는 10만원짜리 고가 키보드를 사느니 3만원짜리 키보드를 사고, 7만원으로 여름내내 에어컨 빵빵하게 틀어놓고 사는게 더 이득이라는 생각이었다. 그리..

주성분분석PCA 개요 머신러닝에서 "차원축소" 방법으로 쓰이는 기법이다. "차원축소"는 여러개의 특성(Feature)를 가지고 있는 고차원 데이터를 저차원 데이터로 줄이는 것을 말한다. 모델의 성능을 강화시키고, 통계적으로는 적은 수의 특징만으로 특정 현상을 설명할 수 있게 된다. "차원축소" 방법에는 2가지 방법이 있는데, Feature Selection 과 Feature Extraction 이며 PCA는 후자에 속한다. PCA는 특성(Feature)들 간의 분산-공분산 관계를 이용하여, 특성들의 선형결합(linear combination)으로 표시되는 주성분(Principal Component)을 찾는다. 주성분이라 함은 그 선형결합 방향으로 데이터들의 분산이 가장 큰 방향벡터를 의미한다. 즉 PCA..

AI 공부를 하다보니 Kaggle의 DataSet을 활용해야 하는 일이 생긴다. Colab에서 바로 Kaggle의 DataSet을 가져오는 방법을 알아보자 아래 글 요약 # kaggle.json파일 업로드 from google.colab import files files.upload() !pip install kaggle # Kaggle을 위한 디렉토리 생성 !ls -al !mkdir -p ~/.kaggle !ls -al ~/ # "kaggle.json"인증키를 복사 후 .kaggle 폴더에 붙여넣기 !cp kaggle.json ~/.kaggle/kaggle.json !chmod 600 ~/.kaggle/kaggle.json !ls -al ~/.kaggle/ # kaggle 데이터셋 or competit..