본문 바로가기

전체 글240

Sense Stock, D+6 - 구조화된 질문이 필요한 이유 📅 Sense Stock 개발 일지 (2025-06-12)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 구조화된 UI를 통해, AI의 출력 품질을 어떻게 높일 수 있을지에 대해 구체적으로 설계해봤습니다. AI가 어떤 의도로 그렇게 말했는지 되묻고 싶을 때가 많았다.그때 깨달았다. 문제는 AI가 아니라, 우리가 AI에게 ‘어떻게’ 말하느냐에 있다는 걸.“좋은 입력이 좋은 출력을 만든다.” Step 1. 구조화된 질문이 필요했던 이유내가 고민한 구조는 다음과 같다.현재 구성한 워크플로우는 본질적으로 "실시간 뉴스 흐름 요약 + 시장 해석 도우미" 역할즉, 즉각성과 가독성, 그리고 시장의 맥을 짚는 분석력이 핵심그런데 궁극적인 목표는 투자자의 의사결.. 2025. 6. 12.
Sense Stock, D+5 📅 Sense Stock 개발 일지 (2025-06-06)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 MVP구현, 추출 Data 항목 정리, 추후 변경사항 및 고민사항 등 주로 정리 하는 내용을 다뤘습니다.* MVP(Minimum Viable Product)란, 핵심 가치를 시장에 빠르게 전달하기 위해 가장 중요 기능으로 구성된 제품의 기본 버전 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석🔷 Slack사용자 요청 및 응답Step 1. 1차 MVP: 핵심 흐름만 구현 뉴스 기반.. 2025. 6. 6.
Sense Stock, D+4 📅 Sense Stock 개발 일지 (2025-06-04)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 Slack 개인 비공개 채널에서 @Stock Bot 사용, Process 구조 개선, 프롬프트 구조화 및 고도화 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Slack 모든 Channel(공개, 비공개)에서 @Stock Bot 호출 시 해당 채널에서 응답 가능하도록 설정기존 관리자 응답 방식에서 → @Stock Bot 응답 구조로 전환Firecrawl .. 2025. 6. 4.
Sense Stock, D+3 📅 Sense Stock 개발 일지 (2025-06-03)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 프롬프트 고도화, Firecrawl Extract 적용, 기존 출력 Output 값 활용 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표Firecrawl Search 노드를 통해 Yahoo Finance 뉴스 기사 정확하게 수집검색 쿼리 최적화로 비뉴스 URL 제거 및 정확도 향상크롤링 실패 시 대응 로직 점검 및 Firecrawl Extract 활.. 2025. 6. 3.
Sense Stock, D+2 📅 Sense Stock 개발 일지 (2025-06-02)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.오늘은 주로 기사 요약 파이프라인 개선, 오류 대응, 반복 처리 구조 개선 등을 다뤘습니다. 🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석 ✅ 지난 결과 정리 구현 항목 결과 사용자 키워드 입력"원전" 테스트Firecrawl 검색 API 사용성공관련 기사 URL 추출성공(총 3개의 뉴스 기사 사이트에서 URL 추출)기사 요약금일 진행오늘의 목표크롤링한 기사 URL들을 반복 순회하며 GP.. 2025. 6. 2.
🔄 n8n의 Loop Over Items 노드, 도대체 어떻게 돌아가는 걸까? 최근 n8n을 쓰면서 가장 헷갈렸던 노드 중 하나가 바로 Loop Over Items (또는 Split In Batches) 노드였습니다. 공식 문서나 인터넷에서도 딱 이해되는 설명이 부족해서, 유튜브에서 어떤 개발자가 설명한 영상을 보고 실험하면서 정리한 내용을 공유합니다.📹 참고 영상:How Loop Over Items Even Works?!? - n8n (Split in Batches) 🔄 Loop Over Items / Split in Batches 노드란?이 노드는 큰 JSON 배열을 여러 개의 작은 묶음(batch) 으로 나누어 반복 처리(loop) 할 수 있게 해줍니다.사용 사례는 많지 않지만, API 호출 제한 등에서 유용하게 쓰일 수 있습니다. 🧱 기본 사용 구조큰 JSON 배열 (.. 2025. 6. 2.
🔥 Firecrawl 완전정복: 웹 자동화 & AI 추출 도구 정리 웹페이지 크롤링, 콘텐츠 추출, 구조화 데이터 분석까지Firecrawl 하나로 끝내는 웹 자동화 도구 가이드🔧 Firecrawl란?Firecrawl은 웹 데이터를 효율적으로 수집하고 가공하는 데 특화된 AI 기반 도구입니다. 단순한 크롤링뿐 아니라, LLM을 활용한 구조화 정보 추출, 검색 기반 콘텐츠 요약, 심층 리서치까지 가능합니다.🛠️ 주요 기능 한눈에 보기도구 이름주요 기능추천 사용 시점주의 사항사용 예시firecrawl_scrape특정 URL의 콘텐츠 추출 (Markdown, HTML 등)단일 페이지 대상여러 URL 대상일 땐 batch_scrape 사용{"url": "https://example.com", "formats": ["markdown"]}firecrawl_map웹사이트의 전체 U.. 2025. 6. 2.
Sense Stock, D+1 📅 Sense Stock 개발 일지 (2025-05-29)n8n 기반 뉴스 요약 자동화 시스템 Sense Stock 구축 중 진행한 작업들을 정리합니다.🔧 사용 도구도구역할🔷 n8n전체 워크플로우 자동화 도구🔷 Firecrawl.dev사이트 內 기사 검색 + URL 수집 API (Firecrawl MCP Sever)🔷 ChatGPT키워드 정제 및 후속 분석오늘의 목표사용자가 입력한 키워드를 기반으로 Firecrawl을 통해 관련 기사 URL을 수집진행 내용Firecrawl API 연동 성공, Firecrawl MCP Sever 사용Apify => SNS 검색 특화(Instagrma, Facebook, Shopify ..)키워드 → 기사 URL 추출 완료(신뢰 언론 3개 사이트 설정)Reuter.. 2025. 5. 29.
🔍 왜 직접 접근(크롤링)이 아닌 API/서비스를 쓰는가? ✅ 1. 법적 리스크 회피대부분의 뉴스 사이트는 이용약관에서 크롤링을 금지하고 있어요.robots.txt에서 허용되더라도, 약관 위반 시 법적 책임을 물을 수 있습니다.반면, Firecrawl, NewsData.io, Serper.dev 등은 공식 API나 검색 엔진을 통한 접근이므로 안전합니다. ✅ 2. 속도 + 구조 통일성직접 접근 시:뉴스 사이트마다 구조가 다름 (html tag, class name 등)구조 변경되면 크롤링 코드도 자주 수정해야 함API는 구조가 통일되어 있고 포맷 일관성 유지가 쉽습니다. ✅ 3. 토큰 최적화 + 요약 최적화Firecrawl은 이미 요약된 정보도 포함해서 반환하기 때문에, GPT에 보내는 토큰이 절약됩니다.직접 HTML 파싱하면, 본문 길이 조절이나 불필요한 정보.. 2025. 5. 29.

티스토리툴바