본문 바로가기

전체 글203

Sense Stock, D+5 📅 Sense Stock 개발 일지 (2025-06-06)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 MVP구현, 추출 Data 항목 정리, 추후 변경사항 및 고민사항 등 주로 정리 하는 내용을 다뤘습니다.* MVP(Minimum Viable Product)란, 핵심 가치를 시장에 빠르게 전달하기 위해 가장 중요 기능으로 구성된 제품의 기본 버전 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석Step 1. 1차 MVP: 핵심 흐름만 구현 뉴스 기반으로 주식 관련 정보를 요약해서 사.. 2025. 6. 6.
Sense Stock, D+4 📅 Sense Stock 개발 일지 (2025-06-04)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 Slack 개인 비공개 채널에서 @Stock Bot 사용, Process 구조 개선, 프롬프트 구조화 및 고도화 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Slack 모든 Channel(공개, 비공개)에서 @Stock Bot 호출 시 해당 채널에서 응답 가능하도록 설정기존 관리자 응답 방식에서 → @Stock Bot 응답 구조로 전환Firecrawl .. 2025. 6. 4.
Sense Stock, D+3 📅 Sense Stock 개발 일지 (2025-06-03)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 프롬프트 고도화, Firecrawl Extract 적용, 기존 출력 Output 값 활용 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Firecrawl Search 노드를 통해 Yahoo Finance 뉴스 기사 정확하게 수집검색 쿼리 최적화로 비뉴스 URL 제거 및 정확도 향상크롤링 실패 시 대응 로직 점검 및 Firecrawl Extract 활.. 2025. 6. 3.
Sense Stock, D+2 📅 Sense Stock 개발 일지 (2025-06-02)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 기사 요약 파이프라인 개선, 오류 대응, 반복 처리 구조 개선 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석 ✅ 지난 결과 정리 구현 항목 결과 사용자 키워드 입력"원전" 테스트Firecrawl 검색 API 사용성공관련 기사 URL 추출성공(총 3개의 뉴스 기사 사이트에서 URL 추출)기사 요약금일 진행오늘의 목표크롤링한 기사 URL들을 반복 순회하며 GP.. 2025. 6. 2.
🔄 n8n의 Loop Over Items 노드, 도대체 어떻게 돌아가는 걸까? 최근 n8n을 쓰면서 가장 헷갈렸던 노드 중 하나가 바로 Loop Over Items (또는 Split In Batches) 노드였습니다. 공식 문서나 인터넷에서도 딱 이해되는 설명이 부족해서, 유튜브에서 어떤 개발자가 설명한 영상을 보고 실험하면서 정리한 내용을 공유합니다.📹 참고 영상:How Loop Over Items Even Works?!? - n8n (Split in Batches) 🔄 Loop Over Items / Split in Batches 노드란?이 노드는 큰 JSON 배열을 여러 개의 작은 묶음(batch) 으로 나누어 반복 처리(loop) 할 수 있게 해줍니다.사용 사례는 많지 않지만, API 호출 제한 등에서 유용하게 쓰일 수 있습니다. 🧱 기본 사용 구조큰 JSON 배열 (.. 2025. 6. 2.
🔥 Firecrawl 완전정복: 웹 자동화 & AI 추출 도구 정리 웹페이지 크롤링, 콘텐츠 추출, 구조화 데이터 분석까지Firecrawl 하나로 끝내는 웹 자동화 도구 가이드🔧 Firecrawl란?Firecrawl은 웹 데이터를 효율적으로 수집하고 가공하는 데 특화된 AI 기반 도구입니다. 단순한 크롤링뿐 아니라, LLM을 활용한 구조화 정보 추출, 검색 기반 콘텐츠 요약, 심층 리서치까지 가능합니다.🛠️ 주요 기능 한눈에 보기도구 이름주요 기능추천 사용 시점주의 사항사용 예시firecrawl_scrape특정 URL의 콘텐츠 추출 (Markdown, HTML 등)단일 페이지 대상여러 URL 대상일 땐 batch_scrape 사용{"url": "https://example.com", "formats": ["markdown"]}firecrawl_map웹사이트의 전체 U.. 2025. 6. 2.
Sense Stock, D+1 📅 Sense Stock 개발 일지 (2025-05-29)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표사용자가 입력한 키워드를 기반으로 Firecrawl을 통해 관련 기사 URL을 수집진행 내용Firecrawl API 연동 성공, Firecrawl MCP Sever 사용Apify => SNS 검색 특화(Instagrma, Facebook, Shopify ..)키워드 → 기사 URL 추출 완료(신뢰 언론 3개 사이트 설정)Reuter.. 2025. 5. 29.
🔍 왜 직접 접근(크롤링)이 아닌 API/서비스를 쓰는가? ✅ 1. 법적 리스크 회피대부분의 뉴스 사이트는 이용약관에서 크롤링을 금지하고 있어요.robots.txt에서 허용되더라도, 약관 위반 시 법적 책임을 물을 수 있습니다.반면, Firecrawl, NewsData.io, Serper.dev 등은 공식 API나 검색 엔진을 통한 접근이므로 안전합니다. ✅ 2. 속도 + 구조 통일성직접 접근 시:뉴스 사이트마다 구조가 다름 (html tag, class name 등)구조 변경되면 크롤링 코드도 자주 수정해야 함API는 구조가 통일되어 있고 포맷 일관성 유지가 쉽습니다. ✅ 3. 토큰 최적화 + 요약 최적화Firecrawl은 이미 요약된 정보도 포함해서 반환하기 때문에, GPT에 보내는 토큰이 절약됩니다.직접 HTML 파싱하면, 본문 길이 조절이나 불필요한 정보.. 2025. 5. 29.
🎨티스토리 사이드바 카테고리 디자인 개선 티스토리 블로그의 사이드바 카테고리가 너무 평범하거나 가독성이 떨어진다면, 이번 CSS 커스터마이징으로 카테고리 제목과 소제목을 구분하고 더 보기 좋게 만들어 보세요!1. 카테고리 소제목 강조 (link_item)카테고리 최상단 제목(예: "OpenCV", "AWS" 등)을 두껍고 선명하게 스타일링합니다.#aside .link_item { font-size: 17px; font-weight: 800; color: #111; /* 더 진한 텍스트 색상 */ display: block; margin-top: 12px; padding-bottom: 4px; border-bottom: 1px solid #ccc;} 굵은 폰트 + 아랫줄로 구분감 UP배경색이 베이지톤일 경우.. 2025. 5. 28.

티스토리툴바