📅 Sense Stock 개발 일지 (2025-08-06)
n8n, 사용자 질의 기반 경제/시장/주식 분석 자동화 파이프라인 구축 중 진행한 작업들을 정리합니다.
오늘은 취합한 데이터들을 LLM에 효율적으로 전달해 비용을 절감하는 데이터 처리 파이프라인 최적화에 대한
작업을 정리했습니다.
LLM의 강력한 성능을 믿고 참조 데이터를 전부 넘겨 답변을 생성하는 초기 모델을 테스트해봤다. GPT-3.5는 Token Limit에 걸려버렸고, GPT-4.1은 실행은 됐지만... 한번 질문할 때마다 $0.68라는 어마어마한 비용이 발생했다. 데이터를 추려봤지만 비용 문제는 해결되지 않았다. 이대로는 수십 번만 테스트해도 지갑이 거덜 나겠다는 위기감이 몰려왔다.
참조 데이터를 다 넘겨서 받은 답변
참조 데이터 항목은 다음과 같다.
1. S&P500 Perf Weekly
2. Sector Daily
3. Earning S&P500 Daily
4. S&P500 Daily
5. S&P500 Total Daily
6. Sector Perf Weekly
7. Earning S&P500 ThisWeek
8. Economic ThisWeek
9. Economic NextWeek
결과는 나쁘지않다. 답변까지 시간은 걸려도 정확하게 취합한 데이터에서 가져오는걸 확인할 수 있었다.
질문 : "테슬라 어때"
📌 핵심 변화 요인 요약
- 테슬라는 이번 주 **주간 수익률 +3.25%**로 S&P500 내에서 강한 반등세를 보입니다. 최근 하루 변동도 +2.17%로 시장 평균을 훌쩍 넘는 활황입니다.
- 전체 시장에서는 **기술주(Technology, +2.07%)**와 커뮤니케이션(Communication Services, +2.58%) 등 혁신·미래산업 섹터가 주도적으로 상승했습니다.
- 경제지표 중에서는 소비관련(총자동차 판매 7월치 2.61M대로 전월 대비 증가), 고용관련(실업수당 신규청구, 견조한 흐름) 등 실물지표가 경기 둔화 우려를 크게 조정하지 않은 점이 특징입니다.
📌 이 변화가 시사하는 바 (시장 흐름 해석)
- 최근 시장은 성장주로 방향키를 재조정하는 모습입니다. 특히 혁신기업(전기차, IT, 소프트웨어)에 자금이 유입되고, 테슬라 역시 이런 흐름의 핵심 수혜주로 분류됩니다.
- 이는 ‘경기침체 우려가 당장 현실화되지 않고 있음’ ‘기술혁신에 기반한 미래 성장 기대감이 여전히 크다’는 투자심리에서 기인합니다. 방어·배당주 중심에서 다시 미래성장·리스크선호로 변동성이 늘어난 환경입니다.
📌 연결되는 산업/정책/기술 흐름
- 전기차, 배터리, AI 등 혁신기술에 대한 신뢰 유지가 테슬라 상승의 토대입니다.
- 자율주행, 에너지 저장 솔루션 등 신사업 Progress도 시장 기대를 뛰어넘는 요인입니다.
- 미국 내 친환경 정책·보조금(IRA 등) 유지 및 글로벌 전기차 전환 가속화도 긍정적 배경입니다.
- 최근 일부 고전했던 반도체/전장부품주(ON Semiconductor 등)와 달리, 테슬라는 ‘플랫폼+제조+소프트웨어’ 강점이 부각되는 상황입니다.
📌 예상 가능한 시나리오 (2~3가지)
- 낙관 시나리오
- AI·전기차 등 미래산업 기대감 지속, 실적 개선, 정책 지원 → 테슬라 및 성장주 강세 지속
- 시간대 : 8월 내 강세 가능, 9~10월 실적시즌 때까지 심리 유지
- 중립 시나리오
- 실적은 무난, 경기 지표·정책 불확실성에 등락 반복
- 기술주-방어주 사이에서 투자자 포트폴리오 재조정
- 8~9월 증시 변동성 확대 가능
- 비관 시나리오
- 경기둔화, 미국·중국 등 지정학 리스크, 전기차 수요 둔화 뉴스 등 → 성장주/테슬라 단기 조정
- FOMC 등 금리·정책 불확실성 현실화시 단기 5~10% 조정 가능
📌 주목해야 할 향후 변수
- 8월 FOMC 연설(경제전망·금리기조 발언): 성장주 방향성 좌우 (8/7 주요 연설 일정)
- 8월 소비자물가(CPI)·미국 고용지표(실업수당, 비농업 고용): 투자심리와 금리 방향 민감, 매주 목~금 발표
- 테슬라 3분기 실적 발표(예정 10월 중순): 전기차 실적·신사업 진전 확인 필요
- 글로벌 전기차 수요, 정책(미-중 무역/관세 등) 변화: 수시 속보 주목
요약:
지금 시장은 성장주(특히 혁신기술) 중심의 강한 Risk-on 모드이며, 테슬라는 이 흐름에서 두각을 나타내고 있습니다. 하지만 내부적으로 정책·경기변수에 민감해졌으니, 주요 경제지표와 연준 발표, 테슬라 자체 실적 등 발표 일정이 투자심리를 크게 흔들 수 있습니다.
궁금한 점 있으면 언제든 물어보세요!
그래서 LLM에 질문하기 전, 로컬에서 먼저 핵심 데이터를 필터링하는 구조를 적용해보기로 했다. 모든 데이터를 무작정 넘기는 대신, 질문의 의도를 파악하고 가장 관련 있는 정보만 쏙쏙 뽑아서 넘겨주는 방식이다.
🧱 Workflow 구조
기존의 '모든 데이터 때려넣기' 방식에서 '키워드 기반 필터링 후 질의' 방식으로 구조를 변경했다.
- AS-IS: 사용자 질문 → 모든 참조 데이터(실적, 섹터, 변동률 등) + 질문 → LLM
- TO-BE: 사용자 질문 → AI 키워드 추출 → 로컬에서 키워드와 매칭되는 데이터(기업, 섹터 등) 필터링 →
필터링된 데이터 + 질문 → LLM
💨 데이터 또는 작업 흐름 정리
새로운 워크플로우는 다음과 같은 단계로 처리된다.
예를 들어 사용자가 "AMD 전망이 어때?"라고 질문하면,
- AI 키워드/티커 추출: 사용자의 질문 "AMD 전망이 어때?"에서 AI가 핵심 키워드(AMD), 관련 파생 키워드, 그리고 가장 중요한 Ticker(AMD)를 추출한다. (이미지에선 best_keyword와 Ticker를 임의로 수정했다.)
- 로컬 데이터 매칭: 추출된 AMD Ticker를 사용해 로컬에 저장된 파일들을 스캔한다. AMD와 관련된 실적(Earning), 일간/주간 변동률, 소속 섹터 정보(Sector), 섹터 변동률 데이터를 모두 찾아낸다.
- 데이터 결합 및 LLM 전송: 찾아낸 AMD 관련 데이터를 모두 하나로 묶어 최종 참조 데이터를 만든다. 이 정제된 데이터만을 질문과 함께 LLM에 전달하여 답변을 생성한다. 결과적으로 필요한 정보만 참조하니 비용이 획기적으로 줄어든다!
최종 결과
AMD 종합 리포트
기업 변동률
Daily:
[
{
"종목명": "AMD",
"2025년 8월 6일 수요일": "-1.40%"
},
{
"종목명": "AMD",
"종가": "174.31",
"고가": "177.99",
"저가": "171.80",
"변동": "-2.47",
"변동률": "-1.40%",
"거래량": "88.81M",
"티커": "AMD",
"섹터명": "Information Technology"
}
]
Weekly:
[
{
"종목명": "AMD",
"일간": "+2.96%",
"주간": "-0.37%",
"월간": "+28.19%",
"YTD": "+46.35%",
"1년": "+35.80%",
"3년": "+72.79%"
}
]
소속 섹터 정보
소속 섹터: Information Technology Daily Sector Perf:
{
"섹터명": "Technology",
"2025년 8월 6일 수요일": "-0.94%"
}
Weekly Sector Perf:
{
"No.": "10",
"Name": "Technology",
"Perf Week": "-2.14%",
"Perf Month": "1.27%",
"Perf Quart": "20.66%",
"Perf Half": "10.28%",
"Perf Year": "25.43%",
"Perf YTD": "10.15%",
"Recom": "1.67",
"Avg Volume": "2.58B",
"Rel Volume": "0.96",
"Change": "-2.22%",
"Volume": "2.48B"
}
기업 실적
Earning Reports:
[
{
"source": "Earning S&P500 Daily",
"날짜": "2025년 8월 5일 화요일",
"회사": "AMD",
"주당순이익(EPS)": "0.48",
"주당순이익_예측": "0.48",
"매출(Revenue)": "7.69B",
"매출_예축": "7.41B",
"총 시가": "283.57B",
"티커": "AMD"
},
{
"source": "Earning S&P500 ThisWeek",
"날짜": "2025년 8월 5일 화요일",
"회사": "AMD",
"주당순이익(EPS)": "--",
"주당순이익_예측": "0.4777",
"매출(Revenue)": "--",
"매출_예축": "7.41B",
"총 시가": "278.4B",
"티커": "AMD"
}
]🧠 진행 중 고민한 점들
- 가장 큰 고민은 역시 LLM의 Token 제한과 비용이었다. 특히 GPT-4.1의 성능은 만족스러웠지만, 테스트 몇 번에 훅훅 나가는 비용을 보니 이대로는 프로젝트를 지속할 수 없겠다는 현실적인 벽에 부딪혔다.
- 참조하는 데이터 시트들의 포맷이 제각각이라 코드가 복잡해졌다. Earning 시트의 회사명(Column)은 '회사'였다가, S&P500 Total 시트에서는 '종목명'으로 되어 있는 식이었다. Sector 시트의 '섹터명' 통일, 불필요한 Column 제거 등 데이터 정규화 작업에 생각보다 많은 시간을 쏟았다.
- S&P500 Total Sheet에 어떤 데이터를 더 넣어야 할지 고민이다. 일단 총 시가/매출은 크롤링 코드를 작성해 추가예정, 추가적으로 평균거래량이나 주가수익비율(PER) 같은 지표가 답변 퀄리티에 정말 유의미한 영향을 줄지 아직 확신이 서지 않는다.
솔직히 비용 문제에 처음 부딪혔을 땐 좀 막막했다. 하지만 오히려 이 제약 덕분에 어떻게 하면 더 효율적인 구조를 만들 수 있을지 깊게 고민하게 된 것 같다. 어렵게 완성한 JS 코드가 착착 돌아가면서 로컬 데이터를 잘 참조하는걸 보니 정말 뿌듯하다. (고마워요, Gemini! ㅋㅋ)
❓ 다음 단계에서 고민 중인 것들
현재 시스템 안정화와 새로운 가치 창출, 이 두 가지 방향으로 계획을 정리해 본다.
1. 데이터 파이프라인 고도화 (단기 과제)
우선 현재 데이터 처리 방식의 문제점들을 해결하고 효율을 높이는 데 집중해야 한다.
- 데이터 보강 및 정제
- S&P500 Total 시트에 총 시가와 매출 Column을 추가해서 분석의 깊이를 더해야겠다. (티커/Sector 추가는 완료)
- Daily 데이터가 ThisWeek에도 업데이트되면서 결과가 중복으로 나오는데, ThisWeek만 가져오면 되겠다.
- 데이터 참조 방식 변경
- Economic 데이터(Daily/Weekly)는 로컬 참조가 아닌, AI가 직접 API를 호출(Call Workflow)하는 방식으로 변경해서 능동적으로 최신 정보를 가져오도록 만들어야겠다.
- 데이터 자동 관리 (How?)
- Sector/S&P500 Daily 시트에서 1주일 지난 데이터를 자동으로 삭제하는 로직을 구현해야 한다. 매일 특정 시간에 스크립트를 돌리는 것이 가장 이상적이긴한데, 어떻게 구현할지 고민이다.
2. 새로운 콘텐츠 포맷 실험 (중장기 방향성)
기술적인 문제를 넘어, 이 프로젝트의 근본적인 '쓸모'에 대한 고민이 깊어진다.
"최신 뉴스 AI 요약", "기업 분석" 같은 기능을 가진 주식 툴은 이미 너무 많다. 과연 바쁜 사용자들이 긴 리포트 형식의 글을 시간을 내어 읽을까?
차라리 인스타그램 피드나 유튜브 숏츠처럼, 짧고 직관적인 콘텐츠를 생성하는 주식 채널을 만드는 건 어떨까 하는 생각이 든다. 예를 들어, "오늘 가장 많이 오른 섹터와 그 이유는?", "XX 기업의 다음 실적 발표일은 O일 전!" 같이 핵심적인 호기심을 자극하는 콘텐츠를 자동으로 생성하고 발행하는 것이다.
정보의 소비 방식을 바꿔, 사용자들이 부담 없이 매일 주식 시장의 흐름을 파악할 수 있는 새로운 형태의 서비스도 생각만...해보고있다.
'Automation Tool > n8n Project' 카테고리의 다른 글
| Sense Stock 개발 회고, 세 번째 (3) | 2025.08.12 |
|---|---|
| Sense Stock, D+23 (2) | 2025.08.11 |
| Sense Stock, D+21 (4) | 2025.08.04 |
| Sense Stock, D+20 (3) | 2025.07.28 |
| Sense Stock, D+19 (2) | 2025.07.22 |
댓글