파이썬 ChatGPT 로 네이버 IT 뉴스 웹 크롤링 스크래핑 개발
네이버 IT 뉴스 를 스크래핑하기 (웹 크롤링) 네이버의 IT 뉴스 특정한 링크를 ChatGPT 에게 알려주고, 웹 스크래핑 코드를 제공받아서 기능을 구현해보겠습니다. 이전에 만들어본 네이버 뉴스 카테고리의 경우에는 Beautifulsoup 같은 html 파서만으로도 스크래핑을 하였지만, 어떤 웹 페이지는 javascript 를 사용하거나, 웹 스크래핑을 막는 경우도 있기 때문에 이번에는 Selenium 라이브러리를 사용하여 웹 드라이버를 조작하고, 페이지를 로드한 후 페이지 소스를 받아오는 코드를 제공했습니다. 아래는 네이버 뉴스 페이지에서 헤드라인 뉴스 제목, 링크, 언론사, 작성일을 추출하는 코드입니다. 이 코드에서 webdriver.Chrome('chromedriver.exe')는 크롬 드라이버를..
ChatGPT 와 파이썬
2023. 5. 14. 18:34
