[Python] urllib.request를 활용한 다운로드

urllib.request Document

 

 

1. urllib.request.urlretrieve

import urllib.request as req
 
imgUrl = "http://blogfiles.naver.net/20121022_232/david20jazz_1350882992041n6mRR_JPEG/31032684903853604_Vlyy66Za_c.jpg"
htmlUrl = "http://google.com"
 
savePath1 = "c:/workspace/image.png"
savePath2 = "c:/workspace/index.html"
 
req.urlretrieve(imgUrl, savePath1)
req.urlretrieve(htmlUrl, savePath2)
 

 

2. urllib.request.urlopen

import urllib.request as req
 
imgUrl = "http://blogfiles.naver.net/20121022_232/david20jazz_1350882992041n6mRR_JPEG/31032684903853604_Vlyy66Za_c.jpg"
htmlUrl = "http://google.com"
 
savePath1 = "c:/workspace/image.png"
savePath2 = "c:/workspace/index.html"
 
#방법1
 
f1 = req.urlopen(imgUrl).read()
#print(type(f1))
#<class 'http.client.HTTPResponse'>
#read() 함수로 바이너리로 읽어 옴
 
#바이너리로 읽어왔기 때문에 바이너리로 씀
saveFile1 = open(savePath1, "wb")
saveFile1.write(f1)
saveFile1.close()
 
 
#방법2
f2 = req.urlopen(htmlUrl).read()
with open(savePath2, "wb") as saveFile:
    saveFile.write(f2)
 
 

 

3. urlretrieve 와 urlopen의 차이

 - urlretrieve: 저장 > open("r") > 변수 할당 > 파싱 > 저장

    먼저 데이터를 메모리에 할당 하는 것이 아닌 바로  파일에 저장하기 때문에 파싱이 필요 없는 가공된 파일을 웹을 통해 다운받은 후 사요할 경우        용이하다.

 

- urlopen: 변수 할당 > 파싱 > 저장

    데이터를 웹에서 받아와 메모리에 할당한 후 파싱을 통해 데이터를 가공하여 파일에 저장하는 방식.

   가공되지 않은 raw data를 저장할때 유용한 방식.