본문 바로가기

카테고리 없음

파이썬 네이버 뉴스 기사 크롤링하기: 초보자도 실행할 수 있는 코드

이전에 뉴스 알림 봇을 만드는 내용을 작성했던 적이 있습니다. 당시에는 네이버 모바일 버전에서 뉴스 기사를 가져오는 방법을 사용했었는데, PC 버전에서는 어떻게 할 수 있는지 여쭤보시는 분이 계셔서 이번 글을 작성하게 되었습니다. 주피터 노트북만 설치되어 있다면 초보자도 따라서 실행할 수 있는 코드니까, 한번 실행해보시면 재미있을 거예요. 

 

파이썬 설치 방법이 궁금하시다면 이 글은 참고해주세요.

 

[파이썬] 파이썬 아나콘다 설치 방법, 파이썬 설치 방법

오늘은 파이썬 아나콘다를 설치하는 방법을 알아보겠습니다. 파이썬은 공식 홈페이지인 python.org에서 무료로 다운로드할 수 있지만 업무 자동화, 데이터 분석 등과 같은 일을 하기 위해서는 많은 추가 라이브러..

hogni.tistory.com

주피터 노트북 사용 방법이 궁금하시다면 아래 글을 참고해주세요.

 

[파이썬] 주피터 노트북(jupyter notebook) 사용법

1. 주피터 노트북 창 띄우기 작업을 저장할 폴더를 열고 경로 창을 클릭해서 jupyter notebook을 입력합니다. - 주피터 노트북을 실행하기 위해서는 아나콘다가 설치되어있어야 합니다. 설치 방법은 링크를 참고해..

hogni.tistory.com

 

실습 코드

import requests
from bs4 import BeautifulSoup

search_keyword = '애플'
url = f'https://search.naver.com/search.naver?where=news&sm=tab_jum&query={search_keyword}'

r = requests.get(url)
soup = BeautifulSoup(r.text, 'html.parser')
news_titles = soup.select('.news .type01 li dt a[title]')

print('총', len(news_titles), '개의 뉴스 제목이 있습니다')
print()
for title in news_titles:
    print(title['title'])
     
"""
총 10 개의 뉴스 제목이 있습니다

[르포] 애플 심장부서 5G체험..."Z플립 만져보니 사고 싶어요"
"언팩도 생중계"...'애플 본사에서 20분 거리' 삼성전자 체험 매장 가보니
LG이노텍, 올해 애플 효과 더 커진다…아이폰에도 TOF 공급 유력
미 법원, 직원들 가방검사한 애플에 "검사 대기시간도 급여줘라"
애플 OTT '애플TV+' 한국 출시하나?…'영상사업 리더' 채용 공고
스마트폰 AS, 삼성 LG는 “고객님” 애플은 “호갱님”
스마트 스피커, '애플만 빼고' 미국·중국이 독식
[르포]“100배줌 카메라 신기해요”...애플 본고장도 놀란 갤S20·갤Z플립
한국 '영상 사업 전문가; 모집하는 애플, '애플TV 플러스' 론칭 임박?
국내 소비자 "애플, AS 불편하고 수리비 부담 커"..불만 여전
"""

 

10줄 내외의 코드로 네이버 뉴스 페이지에서 애플을 검색했을 때 나오는 뉴스 기사 제목들을 출력했습니다. 코드를 복사하셔서 주피터 노트북을 열고 search_keyword라는 변수에서 '애플'을 원하는 검색어로 바꾸면 해당 키워드의 뉴스 기사를 출력하실 수 있습니다.

 

주피터 노트북에 파이썬 코드를 입력한 화면입니다. 어디 네이버 뉴스창에도 같은 결과가 있는지 확인해 볼까요?

 

 

검색어 애플의 뉴스 기사는 다음 화면과 같습니다. 첫 번째 기사 제목을 이전에 코드 실행 결과와 비교해보면 같은걸 확인할 수 있습니다. 파이썬은 코딩 경험이 없는 비전공자도 비교적 쉽게 배워서 다양한 용도로 사용할 수 있는 좋은 프로그래밍 언어입니다. 굳 bbb

 

 

- 이 글은 아나콘다(Anaconda3)가 설치된  주피터 노트북에서 작성되었습니다.