[AI 실습] 우리 학교 급식 알리미 만들기

[AI 실습] 우리 학교 급식 알리미 만들기 - 웹 크롤링

ChatGPT와 Python으로 우리 학교 급식 알리미를 만들어봐요!

2024. 12. 1.

[AI 실습] 우리 학교 급식 알리미 만들기 - 웹 크롤링

웹에서 보기 | 홈페이지 바로가기 | 지난 소식보기

📢공학도서관의

<우리 학교 급식 알리미 만들기>

실습 영상을 추천해요!

<우리 학교 급식 알리미 만들기>, 1분이면 충분해요!

웹 크롤링과 파이썬을 사용해 간단하게 실습할 수 있는 아이템을 준비했어요.
파이썬으로 어떻게 데이터를 크롤링하고, ChatGPT로 어떻게 데이터를 정리하는지 영상으로 확인하고 직접 체험해 보세요.

"겨울 패딩☃️을 사려고 하는데 같은 제품을 파는 쇼핑몰이 너무 많아. 여러 쇼핑몰의 가격을 한 번에 비교할 수 있는 사이트가 없을까?🤔"

선생님, 이런 생각해본 적 한 번쯤 있으시죠? 실제 가격비교 사이트도 사용해 보셨을 텐데요. 가격비교 사이트는 어떻게 수많은 쇼핑몰의 가격 정보를 가져와 최저가순으로 보여주는 걸까요?🤓

네이버의 가격비교 서비스 화면 © 네이버

또, 네이버와 다음 같은 포털 서비스는 뉴스🎙️와 날씨☀️처럼 매일매일 시시각각으로 바뀌는 정보들을 어떻게 실시간으로 계속 업데이트할 수 있을까요?

비결은 바로 '웹 크롤링(Web Crawling)'기술이에요.

웹 크롤링이란 인터넷에서 데이터를 자동으로 수집하는 기술을 말해요. 사람이 특정 웹사이트에서 필요한 정보를 직접 일일이 확인해 복사해 오지 않아도 컴퓨터🖥️가 자동으로 여러 데이터를 가져와 정리해 주는 거죠.

✅웹크롤링, 이럴 때 유용해요!

원하는 정보가 많고, 사람이 일일이 확인하기 힘들 때
정보를 매일 업데이트해서 가져와야 할 때
데이터를 체계적으로 정리해 분석하고 싶을 때

AI 시대, 웹 크롤링 기술은 왜 중요할까요❓

AI 시대에는 데이터가 곧 경쟁력이에요. 데이터는 '새로운 석유'라고 불릴 정도로 가치가 매우 높은데요. 웹 크롤링은 이렇게 가치 높은 데이터를 추출하는 핵심 기술로 그 중요성이 점점 더 커지고 있어요.💪

AI는 대규모 데이터를 기반으로 학습하고 작동해, 양질의 데이터를 얼마나 효과적으로 수집하느냐가 AI 성능을 결정짓는 중요한 요소예요. AI 모델을 학습시키기 위해서는 대규모 데이터셋이 필요한데, 웹 크롤링은 전 세계🌐 웹사이트에서 텍스트✍️는 물론 이미지🖼️와 표, 코드 등 다양한 유형의 데이터를 수집해 AI 학습에 필요한 기반을 제공해요. 한글뿐만 아니라 글로벌 서비스 제공을 위한 다국어 데이터 확보에도 유용해요.😉

또, 웹 크롤링으로 지속적으로 데이터를 갱신할 수 있어 이를 바탕으로 AI 모델을 항상 최신 데이터로 업데이트할 수 있어요. 📊🤖 덕분에 AI는 변화하는 상황에 신속히 대응할 수 있는 역량을 가질 수 있는 거죠. 🚀🌟🗝️

AI 기반 웹 크롤링 기술은 수집된 데이터의 정제와 분석을 자동화하는 방향으로 발전하고 있어요. 웹 크롤링으로 수집한 데이터를 실시간⏲️으로 분석해 활용 가능한 인사이트를 추출해요. 기업과 조직은 이 데이터에 기반한 인사이트를 바탕으로 최적의 의사결정을 할 수 있어요.👍 실제 많은 기업이 사용자 맞춤형 추천, 시장 변화 예측, 이상 탐지 등 다양한 비즈니스 문제 해결에 AI를 활용하고 있어요.🙆‍♀️

이렇게 웹 크롤링은 AI와 함께 진화하며 그 중요성이 점점 더 커질 전망이에요.

오늘은 이 웹 크롤링 기술을 활용해 학교 급식🍽️ 확인 프로그램을 만들어 볼게요.☺️

💻 ChatGPT와 Python으로

우리 학교 급식 알리미 만들기

웹 크롤링 기술은 어려워 보이지만, 코드 몇줄만으로 간단하게 실행 가능해, 누구나 쉽게 할 수 있어요. 다음 단계에 따라 함께 실습해볼까요?😁

학교 링크 찾기

1. 링크를 클릭해 내가 다니는 학교를 선택해주세요.

2. 위 링크에서 나온 나의 학교 페이지의 URL을 복사해주세요.

코랩에서 실습 시작하기

1. 링크를 클릭해 구글 Colab으로 이동해요.

*파일 - Drive에 사본저장을 클릭해 사본에서 진행해주세요.

2. 2-1번 실습을 진행해볼게요. 크롤링에 필요한 파이썬 라이브러리를 설치해야 해요.

3. 2-2번은 라이브러리 불러오기 및 변수 선언 코드입니다. 2-1에서 설치한 라이브러리를 코드에서 사용할 수 있도록 하고, 변수를 선언해 긴 문장을 짧은 단어로 대치하는 과정입니다. 실행 버튼을 클릭해 실행해주세요.

4. 다음은 크롤링할 링크를 설정하는 단계예요.

5. 이제 진짜 크롤링 시작! 실행버튼을 눌러 웹크롤링 코드를 실행해주세요. 아직 아무것도 출력되지 않을 거예요.

6. 크롤링이 완료되었다면, 원하는 학교를 크롤링한 게 맞는지 확인해볼게요.

크롤링한 웹의 구성 중 학교이름이 들어있는 태그를 가져와 보여주는 코드예요.

7. 그럼 크롤링 결과를 출력해볼게요. 해당 셀을 실행하면 웹페이지 전체를 크롤링할텐데 아주 긴 코드가 출력될 거예요.

8. 위의 출력된 코드는 너무 길어요. 우리는 오늘의 급식만을 확인하고 싶어요.
rows = soup.find_all('tr') 코드를 사용해서 메뉴 테이블만 불러올게요.
실행하면 이렇게 많은 양의 데이터가 나오는데요. ChatGPT를 활용하여 이 데이터를 정리할 수 있어요.