[교안]PostgreSQL과 FastAPI를 활용한 웹 크롤링 학습 커리큘럼

PostgreSQL과 FastAPI를 활용한 웹 크롤링 데이터 저장 및 웹 게시 학습 커리큘럼

목차

1강: PostgreSQL 기초 및 설치

• PostgreSQL 소개
  • 관계형 데이터베이스 개념
  • PostgreSQL의 특징과 장점
• PostgreSQL 설치
  • Windows 설치 방법
  • macOS 설치 방법
  • Linux 설치 방법
• 기본적인 데이터베이스 및 테이블 생성
  • 데이터베이스 생성
  • 테이블 생성
• 간단한 SQL 쿼리 작성 및 실행
  • 데이터 삽입
  • 데이터 조회
  • 데이터 업데이트
  • 데이터 삭제

2강: Python에서 PostgreSQL 사용하기

• Python 환경 설정
  • Python 설치 및 설정
  • 가상 환경 설정
• psycopg2를 사용하여 PostgreSQL과 연결하기
  • psycopg2 설치
  • 데이터베이스 연결
• Python으로 데이터베이스에 데이터 삽입 및 조회하기
  • 데이터 삽입
  • 데이터 조회
• 오류 처리 및 트랜잭션 관리
  • 기본적인 오류 처리
  • 트랜잭션 관리

3강: FastAPI와 PostgreSQL 연동하기

• FastAPI 기본 개념 및 설치
  • FastAPI 소개
  • FastAPI 설치
• FastAPI와 PostgreSQL 연동 설정
  • 데이터베이스 모델 정의
  • 데이터베이스 연결 설정
• CRUD(Create, Read, Update, Delete) API 작성
  • 데이터 생성 API
  • 데이터 조회 API
  • 데이터 업데이트 API
  • 데이터 삭제 API
• Postman을 사용하여 API 테스트
  • Postman 설치 및 기본 사용법
  • API 엔드포인트 테스트

4강: 웹 크롤링 및 데이터 저장

• 웹 크롤링 기본 개념 및 BeautifulSoup 사용법
  • 웹 크롤링 소개
  • BeautifulSoup 설치 및 사용법
• 웹에서 데이터 크롤링 및 정제하기
  • 웹 페이지에서 데이터 추출
  • 데이터 정제 및 처리
• 크롤링한 데이터를 PostgreSQL에 저장하기
  • 데이터베이스 저장 로직 구현
  • 크롤링 데이터 삽입
• 파일 다운로드 및 저장 방법
  • 파일 다운로드 방법
  • 다운로드한 파일 저장 및 관리

5강: FastAPI를 통해 데이터 제공 및 웹 게시

• FastAPI를 통해 저장된 데이터 제공하기
  • 데이터 제공 API 작성
  • JSON 및 HTML 응답 처리
• 템플릿 엔진을 사용하여 데이터 웹 페이지로 표시
  • Jinja2 템플릿 엔진 사용법
  • 웹 페이지 템플릿 작성
• 파일 업로드 및 다운로드 기능 구현
  • 파일 업로드 API 작성
  • 파일 다운로드 API 작성
• 웹 애플리케이션 배포 (간단한 배포 방법 소개)
  • 배포를 위한 준비 작업
  • 간단한 배포 방법 소개 (Heroku, Vercel 등)

마무리

이 커리큘럼을 통해 PostgreSQL과 FastAPI를 활용하여 웹에서 크롤링한 데이터를 저장하고, 이를 웹에 게시하는 방법을 학습할 수 있습니다. 각 강의는 30분 정도 소요되며, 순차적으로 진행됩니다.