웹 크롤링3 Sense Stock, D+2 📅 Sense Stock 개발 일지 (2025-06-02)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 기사 요약 파이프라인 개선, 오류 대응, 반복 처리 구조 개선 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석 ✅ 지난 결과 정리 구현 항목 결과 사용자 키워드 입력"원전" 테스트Firecrawl 검색 API 사용성공관련 기사 URL 추출성공(총 3개의 뉴스 기사 사이트에서 URL 추출)기사 요약금일 진행오늘의 목표크롤링한 기사 URL들을 반복 순회하며 GP.. 2025. 6. 2. 🔥 Firecrawl 완전정복: 웹 자동화 & AI 추출 도구 정리 웹페이지 크롤링, 콘텐츠 추출, 구조화 데이터 분석까지Firecrawl 하나로 끝내는 웹 자동화 도구 가이드🔧 Firecrawl란?Firecrawl은 웹 데이터를 효율적으로 수집하고 가공하는 데 특화된 AI 기반 도구입니다. 단순한 크롤링뿐 아니라, LLM을 활용한 구조화 정보 추출, 검색 기반 콘텐츠 요약, 심층 리서치까지 가능합니다.🛠️ 주요 기능 한눈에 보기도구 이름주요 기능추천 사용 시점주의 사항사용 예시firecrawl_scrape특정 URL의 콘텐츠 추출 (Markdown, HTML 등)단일 페이지 대상여러 URL 대상일 땐 batch_scrape 사용{"url": "https://example.com", "formats": ["markdown"]}firecrawl_map웹사이트의 전체 U.. 2025. 6. 2. Sense Stock, D+1 📅 Sense Stock 개발 일지 (2025-05-29)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표사용자가 입력한 키워드를 기반으로 Firecrawl을 통해 관련 기사 URL을 수집진행 내용Firecrawl API 연동 성공, Firecrawl MCP Sever 사용Apify => SNS 검색 특화(Instagrma, Facebook, Shopify ..)키워드 → 기사 URL 추출 완료(신뢰 언론 3개 사이트 설정)Reuter.. 2025. 5. 29. 이전 1 다음
