AI4 Sense Stock, D+24 📅 Sense Stock 개발 일지 (2025-08-11)n8n, 사용자 질의 기반 경제/시장/주식 분석 자동화 파이프라인 구축 중 진행한 작업들을 정리합니다.오늘은 "Data Search" 노드 Error를 해결하고, 비효율적인 '최근 질문 조회' 방식을 개선하며 워크플로우 최적화 작업을 정리했습니다. 지난번에는 사용자 경험 개선을 위한 큰 그림의 아키텍처를 구상했었다. 이번에는 그 구상을 현실로 만들게 한 두 가지 핵심 과제, 'Data Search 노드 Error 해결'과 '최근 질문 조회' 최적화 과정을 상세히 기록한다.STEP1 - Data Search 노드 Error (질문 유효성 검사)문제 발생워크플로우를 테스트하던 중, 특정 질문에 대해 Data Search 노드가 에러가 발생하는 현상을.. 2025. 8. 14. Sense Stock, D+23 📅 Sense Stock 개발 일지 (2025-08-11)n8n, 사용자 질의 기반 경제/시장/주식 분석 자동화 파이프라인 구축 중 진행한 작업들을 정리합니다.오늘은 사용자 질문 의도를 더 똑똑하게 파악하고, 얽히고설킨 데이터 흐름을 정비한 작업을 정리했습니다. 지난번에는 데이터 보강, API 호출 방식 변경, 데이터 자동 삭제 로직 구현 등 데이터의 기반을 다지는 작업을 진행했었다. 이번에는 사용자의 질문을 더 깊이 이해하고 그에 맞는 데이터를 정확히 찾아내는 지능 고도화에 집중적으로 고민하고 작업한 내용을 공유한다.사용자가 어떤 질문을 할지는 예측하기 어렵다. "테슬라 주가 어때?"처럼 명확한 질문도 있지만, "AI 반도체 관련주 알려줘"처럼 산업이나 테마를 묻는 질문도 있다.기존의 단순 키워드 매.. 2025. 8. 11. Sense Stock, D+22 📅 Sense Stock 개발 일지 (2025-08-06)n8n, 사용자 질의 기반 경제/시장/주식 분석 자동화 파이프라인 구축 중 진행한 작업들을 정리합니다.오늘은 취합한 데이터들을 LLM에 효율적으로 전달해 비용을 절감하는 데이터 처리 파이프라인 최적화에 대한 작업을 정리했습니다. LLM의 강력한 성능을 믿고 참조 데이터를 전부 넘겨 답변을 생성하는 초기 모델을 테스트해봤다. GPT-3.5는 Token Limit에 걸려버렸고, GPT-4.1은 실행은 됐지만... 한번 질문할 때마다 $0.68라는 어마어마한 비용이 발생했다. 데이터를 추려봤지만 비용 문제는 해결되지 않았다. 이대로는 수십 번만 테스트해도 지갑이 거덜 나겠다는 위기감이 몰려왔다.더보기참조 데이터를 다 넘겨서 받은 답변 참조 데이터 항목.. 2025. 8. 6. n234 Interpreting ML Model( X-AI ) 부분의존도그림(Partial dependence plot, PDP)을 시각화하고 해석할 수 있습니다. 개별 예측 사례를 Shap value plots을 사용해 설명할 수 있습니다. black box model이란? * X-AI - 모델이 어떻게 이런 예측을 했는지를 확인하기 위한 ( 예측모델 설명 ) *Partial Dependence Plots( PDP ) - ICE곡선들의 평균(= ICE 곡선은 하나의 관측치에 대해 관심 특성을 변화 시킴에 따른 타겟값 변화 곡선 ) 복잡한 모델 -> 이해하기 어렵지만 성능이 좋다. ( 특성중요도가 긍정인지 부정인지 파악 어려움 ) ==> so, PDP사용 = feature 가 target의 어떻게 영향을 미치는지 파악 가능 단순한 모델 -> 이해하기 쉽지만 성능이 .. 2021. 6. 26. 이전 1 다음
