## 작성자: 염창훈(경희대학교 경영학과, CAITECH)
## 게시일: 2019년 10월 2일
library(RSelenium)
library(rvest)
library(httr)
library(stringr)
###크롤링에 필요한 library설치
remDr <- remoteDriver(remoteServerAddr = "localhost" ,
port = 4445L,
browserName = "chrome")
###Rselenium 작동을 위한 크롬 포트 고정
remDr$open()
### 크롬창 오픈
hhd<-c("가상화폐","비트코인", "이더리움","리브라", "ICO")
### 뉴스기사 검색에 필요한 키워드 지정
a<-as.Date("2019-09-18")
b<-as.Date("2019-09-24")
c <- seq(a, b, 1)
ff<-1
fff<-4001
ffd<-seq(ff,fff,10)
### 검색어 마다 해당하는 페이지 지정
tototal<-data.frame()
### 크롤링 결과 파일을 위한 데이터프레임 생성
for (q in 1:length(hhd)) {
for (i in 1:length(c) )
{
for (j in 1:length(ffd))
{
aa<-str_replace_all(c[i],"-",".")
remDr$navigate(paste0("
https://search.naver.com/search.naver?where=news&query=",hhd[q],"&sm=tab_opt&sort=0&photo=0&field=1&reporter_article=&pd=3","&ds=",aa,"&de=",aa,"&start=",ffd[j]))
### 뉴스기사 위치 URL
source = remDr$getPageSource()[[1]]
html = source %>% read_html()
###해당페이지 정보 불러오기
none = html %>% html_nodes("div#wrap") %>% html_nodes("div#container") %>% html_nodes("div#content") %>% html_nodes("div#main_pack")%>% html_nodes("div#notfound") %>% html_nodes("p") %>%html_text()
if(length(none) != 0)
{
break
}
###검색페이지에 아무것도 없을 경우를 대비한 IF문
titles = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dt") %>% html_nodes("a") %>% html_text()
pub = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dl > dd > span._sp_each_source") %>% html_text()
dates = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dl > dd.txt_inline") %>% html_text() %>% str_extract_all("
\\d+\\.\\d+\\.\\d+\\.") %>% unlist()
### 기사제목, 신문사, 날짜 정보 불러오기
if ((length(titles)==length(dates))==FALSE) {
wwx<-str_replace_all(c[i],"-",".")
dates<-rep(wwx, length(titles))
}
page=html %>% html_nodes("div.paging > a.next") %>% html_text()
total<-data.frame(titles,pub,dates)
tototal<-rbind(tototal,total)
### 뉴스기가 정보 쌓기
if (length(page) == 0)
{
break
}
}
}
save(tototal,file =paste0(hhd[q],".Rdata"))
write.csv(tototal,paste0(hhd[q],".csv"),row.names = F)
rm(tototal)
###데이터 자동저장 및 제거
}