firecrawl7 Sense Stock, D+10 📅 Sense Stock 개발 일지 (2025-06-24)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 사용자 응답 흐름 정리, Slack 연동 개선, 그리고 시장 데이터 관리 방식에 대해 작업했습니다. 🧱 Workflow 구조Step 1. 사용자 응답 수집 및 저장처음엔 응답만 받고 끝냈는데, 유저가 어떤 질문에 어떻게 답했는지를 추적하려면 어딘가 저장이 필요했다.그래서 Google Sheet를 간단한 DB처럼 쓰기로 했다.신규 유저는 새 row로 추가하고기존 유저는 응답을 덮어쓰는 방식으로 Update 처리까지 구현했다우선적으로 Create(적재)가 아닌 Update방식으로 진행, 차후 DB적재 옵션으로 변경이 구조만으로도 성향별 분석이나 반.. 2025. 6. 24. Sense Stock, D+4 📅 Sense Stock 개발 일지 (2025-06-04)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 Slack 개인 비공개 채널에서 @Stock Bot 사용, Process 구조 개선, 프롬프트 구조화 및 고도화 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Slack 모든 Channel(공개, 비공개)에서 @Stock Bot 호출 시 해당 채널에서 응답 가능하도록 설정기존 관리자 응답 방식에서 → @Stock Bot 응답 구조로 전환Firecrawl .. 2025. 6. 4. Sense Stock, D+3 📅 Sense Stock 개발 일지 (2025-06-03)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 프롬프트 고도화, Firecrawl Extract 적용, 기존 출력 Output 값 활용 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Firecrawl Search 노드를 통해 Yahoo Finance 뉴스 기사 정확하게 수집검색 쿼리 최적화로 비뉴스 URL 제거 및 정확도 향상크롤링 실패 시 대응 로직 점검 및 Firecrawl Extract 활.. 2025. 6. 3. Sense Stock, D+2 📅 Sense Stock 개발 일지 (2025-06-02)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 기사 요약 파이프라인 개선, 오류 대응, 반복 처리 구조 개선 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석 ✅ 지난 결과 정리 구현 항목 결과 사용자 키워드 입력"원전" 테스트Firecrawl 검색 API 사용성공관련 기사 URL 추출성공(총 3개의 뉴스 기사 사이트에서 URL 추출)기사 요약금일 진행오늘의 목표크롤링한 기사 URL들을 반복 순회하며 GP.. 2025. 6. 2. 🔥 Firecrawl 완전정복: 웹 자동화 & AI 추출 도구 정리 웹페이지 크롤링, 콘텐츠 추출, 구조화 데이터 분석까지Firecrawl 하나로 끝내는 웹 자동화 도구 가이드🔧 Firecrawl란?Firecrawl은 웹 데이터를 효율적으로 수집하고 가공하는 데 특화된 AI 기반 도구입니다. 단순한 크롤링뿐 아니라, LLM을 활용한 구조화 정보 추출, 검색 기반 콘텐츠 요약, 심층 리서치까지 가능합니다.🛠️ 주요 기능 한눈에 보기도구 이름주요 기능추천 사용 시점주의 사항사용 예시firecrawl_scrape특정 URL의 콘텐츠 추출 (Markdown, HTML 등)단일 페이지 대상여러 URL 대상일 땐 batch_scrape 사용{"url": "https://example.com", "formats": ["markdown"]}firecrawl_map웹사이트의 전체 U.. 2025. 6. 2. Sense Stock, D+1 📅 Sense Stock 개발 일지 (2025-05-29)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표사용자가 입력한 키워드를 기반으로 Firecrawl을 통해 관련 기사 URL을 수집진행 내용Firecrawl API 연동 성공, Firecrawl MCP Sever 사용Apify => SNS 검색 특화(Instagrma, Facebook, Shopify ..)키워드 → 기사 URL 추출 완료(신뢰 언론 3개 사이트 설정)Reuter.. 2025. 5. 29. 🔍 왜 직접 접근(크롤링)이 아닌 API/서비스를 쓰는가? ✅ 1. 법적 리스크 회피대부분의 뉴스 사이트는 이용약관에서 크롤링을 금지하고 있어요.robots.txt에서 허용되더라도, 약관 위반 시 법적 책임을 물을 수 있습니다.반면, Firecrawl, NewsData.io, Serper.dev 등은 공식 API나 검색 엔진을 통한 접근이므로 안전합니다. ✅ 2. 속도 + 구조 통일성직접 접근 시:뉴스 사이트마다 구조가 다름 (html tag, class name 등)구조 변경되면 크롤링 코드도 자주 수정해야 함API는 구조가 통일되어 있고 포맷 일관성 유지가 쉽습니다. ✅ 3. 토큰 최적화 + 요약 최적화Firecrawl은 이미 요약된 정보도 포함해서 반환하기 때문에, GPT에 보내는 토큰이 절약됩니다.직접 HTML 파싱하면, 본문 길이 조절이나 불필요한 정보.. 2025. 5. 29. 이전 1 다음
