크롤링 2

웹 스크래핑 마스터하기: 종합적인 Python 튜토리얼

이 가이드는 Python을 사용하여 웹 크롤링을 수행하는 방법에 대한 자세한 단계별 튜토리얼을 제공합니다. 필요한 라이브러리 설치, 초기 크롤링 코드 제작, 특정 요구 사항을 처리하기 위한 코드 개선 등을 다룹니다. 원활한 실행을 보장하기 위한 강력한 오류 처리 기술을 사용하여 특정 HTML 요소에서 데이터를 추출하고 처리하는 데 중점을 둡니다. 튜토리얼은 타겟 웹 페이지에서 텍스트를 스크랩하고 일반적인 문제를 처리하는 방법을 보여주는 실제 예제로 마무리됩니다.1. 필요한 라이브러리 설치웹 크롤링을 위해 다음 라이브러리를 설치해야 합니다.pip install requestspip install beautifulsoup42. 크롤링 코드 작성다음은 주어진 웹 페이지에서 첫 번째 링크를 통해 해당 페이지의 ..

python 2024.06.01

[프로젝트]중기부 보도자료 크롤링 & MySql 저장

프로젝트 작업 정리1. Python 환경 설정가상환경 생성 및 활성화python -m venv venvsource venv/bin/activate # For Mac/Linuxvenv\Scripts\activate # For Windows필요한 라이브러리 설치pip install beautifulsoup4 requests fastapi uvicorn sqlalchemy mysql-connector-python jinja22. 데이터베이스 설정MySQL 설치 및 설정Homebrew로 MySQL 설치: brew install mysqlMySQL 서비스 시작: brew services start mysqlMySQL 클라이언트 접속: mysql -u root -p데이터베이스 및 사용자 생성: CREATE..

python_fastapi 2024.05.29