Python

기상청 날씨 데이터불러오기

웹스크레이핑 라이브러리인 Beautiful soup 를 활용하기전에! 파이썬 언어로 직접 데이터를 가져오는 방법을 공부해보자. ▶데이터를 전송하는 방식 : post / get - Post 방식 ; header에 붙여서 전송 - get방식 ; url을 통해 전송 (url 뒤에 구분자(?, &) 이용해서 server에 요청하는 방식) ▶이번에 우린 get 방식을 이용할 것이다. 기상청 사이트에서 데이터를 추출하는 방법 --------------------------------------------------------------------------------------------------------------------------------- ▶기상청 사이트에 있는 배너 같은 필요없는 것들은 추출할 필요..

파이썬을 이용한 웹데이터 다운로드하기2_urlopen() 함수

(2) Request 모듈 안에 urlopen 함수() ; 메모리에 로딩하고 저장! ▶Urlretrieve()함수로 데이터를 받게되면 우리가 필요로 하지않는 것까지 다 받게 되기 때문에 Urlopen()함수로 우선 메모리에 올려놓고, 우리가 필요한 데이터만 open하는 것이 더 유용하다. ▶urlretrieve() 함수는 파일로 곧바로 저장을 하지만, urlopen() 함수는 파일로 바로 저장x, 메모리에 로딩을 한다. ▶하드디스크에 저장할땐 파일형태로 저장하지만, 메모리 상에 로딩하거나 저장할 땐 변수로 저장. import urllib.request url = "https://t1.daumcdn.net/daumtop_chanel/op/20200723055344399.png" # 이미지파일은 바이너리(2..

파이썬을 이용한 웹데이터 다운로드하기1_urlretrieve()함수

우선 간단한 몸풀기로, ▶파이썬을 이용해서 파일을 저장&실행시키는 방법 1. C 드라이브에 ‘pySrc’ 파일 생성 2. 그 안에 메모장을 생성해서 “헬로 파이썬” 적은 후, 이름을 hello.py 로 지정. (파이썬으로 저장할 때 확장자명은 .py) 3. 명령 프롬프트 창에서 ‘cd pySrc’를 쳐서 파일 내부로 이동한다. 4. ‘python hello.py’ 명령어로 hello.py파일을 부르면 내용이 출력된다. 이제, 본격적으로 파이썬을 이용한 스크레이핑을 해보겠다! ▶스크레이핑 ; 웹상에서 데이터를 추출하기위한 용도. ▶웹사이트에서 데이터를 추출하기 위해 사용하는 라이브러리 ; URL 라이브러리 (urllib) ▶urllib ; url을 다루는 모듈을 모아 놓은 패키지 *모듈 : 일종의 함수(기..

머신러닝 개념과 파이썬 기초 문법

개강 전에 머신러닝의 개념과 데이터 수집 및 분석 방법을 배워보고자 강의를 듣기 시작했다! 강의를 들으면서 정리한 내용을 올려보겠다. 데이터 처리를 위해서 Python을 이용할 것이다! ▶Beautiful soup이라는 라이브러리를 이용해서 스크레이핑 / 크롤링 방법(데이터 처리기술) ▶이 기술을 활용해서 머신러닝에서 활용할 데이터를 수집하는 방법을 하게 됨 # 인공지능, 머신러닝, 딥러닝 개념 ▶머신러닝은 인공지능의 한 종류 ▶인공 지능 ; 컴퓨터가 인간처럼 생각하는 것 ▶머신 러닝 ; 기계가 학습능력이 있어서 인간처럼 컴퓨터가 스스로 학습하는 것 ; 기계가 배울수있도록 하기위해서는 주어진 데이터가 있어야 학습할 수 있음 (그 데이터를 추출하기 위한 기술 : 스크레이핑, 크롤링) ; 인공지능의 한 종류..