Sense Stock, D+20

📅 Sense Stock 개발 일지 (2025-07-28)

n8n, 사용자 질의 기반 경제/시장/주식 분석 자동화 파이프라인 구축 중 진행한 작업들을 정리합니다.

오늘은 Daily Workflow구조에서 S&P500 실적만 저장하는 구조를 추가하고,

저장한 Data들을 참조하는 Workflow 구조 설계를 진행했습니다. 

 

🚨 문제 발생

AI 에이전트에 경제, 실적, S&P500 등 로컬 데이터를 한 번에 제공하려 했으나, 처리할 데이터 양이 너무 많아 토큰 제한(Token Limit) 문제에 부딪혔다. Google Sheets API 연동 시 발생했던 API 요청 수 제한(Rate Limit)에 이은 두 번째 난관이었다.

 

🏸 해결 과정

토큰 사용량을 줄이고 데이터 처리 효율을 높이기 위해 아래와 같이 데이터 필터링, 정규화, 아키텍처 개선을 진행했다.

1. 데이터 범위 축소 및 필터링

• 경제/실적 데이터: 분석 범위를 '이번 주(This week)' 데이터로 한정했다.
  • 실적(Earning): 시장 영향력이 큰 S&P500 기업 위주로 필터링했다.
  • 경제(Economic): 변동성이 큰 핵심 지표는 매일(Daily) 업데이트되는 내용도 추가로 참조했다.
  • 최종 Daily Workflow가 엄청 지져분한데... Array를 하나 짜놓고 돌려야 좀 깨끗해지겠더😒

최종 Daily Workflw / S&P500 기업 실적만 필터링 구조 추가

 

2. 데이터 정규화

• 종목명 통일: kr.investing.com의 한글 종목명을 investing.com의 영문명으로 변경하여 일관성을 확보했다.
• 날짜 형식 통합: 2025년 7월 21일과 같은 단일 형식으로 통일하여 AI의 혼선을 방지했다.

 

3. Workflow 구조 개선

• Market Data 전용 워크플로우 생성: 데이터 수집 및 가공만 담당하는 별도의 n8n 워크플로우를 구축했다.
• AI 에이전트 연동: 메인 AI 에이전트 워크플로우에서 'Call n8n Workflow' 노드를 통해 필요할 때마다 정제된 Market Data를 호출하는 방식으로 변경했다.

Local에 저장되어있는 File을 읽어와서 -> 해당 Workflow를 AI Agent 연결(데이터 참조)

 

초기엔 Google Sheets API를 호출하니 요청 수 제한에 걸렸고,

대안으로 로컬 데이터를 가져오려 하니 이번엔 토큰 제한이라는 벽에 부딪혔다.

하나의 문제를 해결하면 또 다른 문제가 나타나는 과정의 연속인 것 같다. 확실히 어렵고 힘든 과정이다.

 

데이터 필터링과 워크플로우 분리를 통해 토큰 제한 문제를 일차적으로 완화했고,

이제 AI 에이전트는 사용자의 질문에 응답하기 위해 정제된 핵심 데이터를 안정적으로 분석할 수 있는 기본 토대를 갖추었다.

 

❓ 다음 단계에서 고민 중인 것들

현재 워크플로우는 사용자가 질문을 했을 때 비로소 데이터를 수집하고 분석하는 반응형(Reactive) 구조다. 이 구조를 기반으로 아래와 같은 점들을 구체화하고 발전시켜야 한다.

1. 질문 의도에 따른 동적 데이터 활용 로직
   사용자의 질문 의도를 먼저 파악하고, 그에 맞춰 수집된 경제 지표, 기업 실적, 섹터 퍼포먼스 등의 데이터를 어떤 우선순위와 가중치로 조합하여 답변을 생성할지, 그 동적(Dynamic) 로직을 설계해야 한다.
   예를 들어, "이번 주 실적이 좋은 IT 섹터 종목 알려줘"라는 질문에는 실적과 섹터 데이터에 더 높은 가중치를 부여해야 한다.
   
   
2. 선제적(Proactive) 분석 시스템으로의 전환
   장기적으로는 현재의 반응형 구조를 넘어, 특정 조건을 만족할 때 시스템이 먼저 상황을 분석하고 사용자에게 리포트하는 선제적 분석 시스템으로 발전시키는 것을 목표로 한다.
   예를 들어, '중요 경제 지표 발표 30분 전'에 자동으로 관련 데이터 분석을 시작하거나, '특정 섹터의 주간 변동률이 ±5%를 초과'할 때 사용자에게 알림을 주는 식의 자동화 트리거(Trigger) 시스템을 구상하고 있다.