본문 바로가기
728x90

데이터 엔지니어링(DE)11

bootstrap 부트스트랩은 프론트엔드에 대한 최소한의 지식으로 다양하고 예쁘게 꾸밀 수 있도록 도와주는 도구 참고문서 : https://getbootstrap.com/docs/5.0/components/accordion/ 설치 부트스트랩의 장점 중 하나는 설치를 하지 않아도 된다는 점입니다. HTML 헤더 부분에 자바스크립트와 CSS 링크만 넣어줘도 동작을 합니다. 예를 들어 다음과 같이 HTML 파일에 ### 여기에 해당 컴포넌트 라고 적힌 부분은 부트스트랩의 스타일만 가지고 올 때에만 사용하게 됩니다. 즉, 모양새만 부트스트랩에서부터 가지고 올 수 있는 링크입니다. 만약에 드롭다운 메뉴나 펼쳐지는 메뉴 등 동작이 필요한 컴포넌트가 있어야 한다면 그 아래에 있는 링크도 삽입해주시면 됩니다. 컴포넌트 component.. 2021. 7. 24.
Jinja template Flask 에서는 render_template 이라는 메소드로 html 파일들을 불러올 수 있는 방법 해당 함수는 기본적으로 프로젝트 폴더 내에 'templates' 라는 이름의 폴더를 기본 경로로 설정 따라서 먼저 templates 폴더를 만들고 내부에 html 파일들을 모아두면 손쉽게 사용 flask_app ├── __init__.py └── routes └── user_routes.py └── templates └── index.html # templates 폴더에 다음과 같은 index.html 파일 I am in templates folder ==> from flask import Flask, render_template app = Flask(__name__) @app.route('/') def.. 2021. 7. 24.
Flask Flask 에 대해서 설명할 수 있어야 합니다. Flask 서버를 띄울 수 있어야 합니다. Jinja 템플렛을 사용할 수 있어야 합니다. Bootstrap 을 사용할 수 있어야 합니다. Flask = Micro Web Framework 파이썬을 사용해 웹 어플리케이션을 작성할 수 있도록 도와준다 Web Framework는 웹 어플리케이션을 개발할 수 있도록 웹 서비스 (Web Service) 나 웹 API (Web API) 등을 제공하고 웹 개발과 배포를 할 수 있는 특정 방법을 제공 Micro - Flask는 정말 최소한의 도구들을 모아놓은 것 기본적으로 프레임워크에 따라 패키지와 라이브러리 등 모듈들의 콜렉션이 있어 개발이 수월할 수 있도록 도와줍니다. Jinja, Werkzeug, Flask-SQL.. 2021. 7. 24.
API / HTTP API 를 이해하고 사용할 수 있어야 합니다. RESTful API 에 대해서 설명할 수 있어야 합니다. API 의 데이터를 받아와 데이터베이스에 저장할 수 있어야 합니다. HTTP 는 크게 요청 (HTTP Request)과 응답 (HTTP Response) HyperText Transfer Protocol 이라는 약어로 컴퓨터들의 통신 규약 중 하나 하나의 컴퓨터가 다른 컴퓨터와 소통을 하고 싶을 때에 (파일을 받거나 전달하거나 등) 정해진 규칙과 틀을 준수해야 원활한 소통이 가능 ==> 이렇게 정해진 규칙들을 하나의 규약 (protocol) HTTP는 HTML 문서와 같은 리소스들을 가져올 수 있도록 해주는 프로토콜 프로토콜 - 용어 사전 | MDN 프로토콜은 컴퓨터 내부에서, 또는 컴퓨터 사이에서 .. 2021. 7. 24.
DataBase / ORM SQLalchemy / session 학습 목표 ORM 에 대해서 설명할 수 있어야 합니다. ORM 의 장단점 및 특징들을 이해할 수 있어야 합니다. ORM 을 통해 데이터베이스에 저장할 수 있어야 합니다. sqlalchemy 라이브러리를 사용할 수 있어야 합니다. 파이썬 DBAPI 에 대해서 설명할 수 있어야 합니다. 파이썬으로 데이터베이스와 연결할 수 있어야 합니다. 파이썬에서 데이터베이스와 상호작용 할 수 있어야 합니다. PEP 249 파이썬에서는 데이터베이스와 연결하는 파이썬 모듈들은 권장되는 가이드라인을 따라 제작되도록 안내합니다. 실제로 문서를 보시면 어떤 함수들, 메소드, 파라미터, 키워드 등을 어떻게 해야 하는지도 나와있습니다. 이러한 명시적인 가이드라인 덕분에 파이썬에서 데이터베이스와 연결하는 작업은 다양한 데이터베이스라도 .. 2021. 7. 24.
DOM( Document Object Model ) DOM 은 웹 페이지에서 매우 중요한 역할을 하고 문서 객체 모델 - 프로그래밍 언어를 통해서 HTML 문서 등에 접근할 수 있도록 해준다. DOM 의 역할 덕분에 프로그래밍 언어에서도 웹 페이지의 요소나 스타일 등을 추가하거나 수정하는 등 다양한 작업을 진행할 수가 있다. 문서를 하나의 구조화된 형식으로 표현을 하기 때문에 이러한 구조를 통해서 원하는 동작을 할 수가 있다. - 특히 DOM 은 객체 (object) 로 표현을 하는데 이 때 object 란 자바스크립트에서 사용되는 데이터 구조 중 하나 파이썬에서는 자바스크립트의 object 와 비슷한 dictionary 가 존재 즉, DOM 을 통해서 프로그래밍 언어에서 사용할 수 있는 데이터 구조 형태로 작업을 수행할 수 있어 크롤링 등 웹 페이지와 .. 2021. 7. 21.
HTML / CSS / J.S Web Scraping, Web crawling * 학습목표 * 크롤링을 이해하고 설명할 수 있다. 파이썬을 통해서 크롤링을 할 수 있다. HTML 혹은 CSS 를 읽을 수 있다. DOM 에 대해서 설명할 수 있다. requests 라이브러리를 사용할 수 있다. beautifulsoup 라이브러리를 사용할 수 있다. ## code ## 경로를 병합하여 새 경로 생성 os.path.join('C:\Tmp', 'a', 'b') # "C:\Tmp\a\b" 현재 작업 폴더 얻기 os.getcwd() # "C:\Temp" 크롤링 (crawling) 혹은 스크레이핑 (scraping) 은 웹 페이지에 있는 데이터를 모으는 작업 scraping - 특정 정보를 가져오는 것이 목적 crawling - 인터넷에 있는 사이트들을 인덱싱하는 목적 == > 자동화에 초점이.. 2021. 7. 21.
SQL과 NoSQL 차이점 관계형 데이터베이스에서는 데이터를 쓸 때 스키마에 맞춘다면, 반면에 NoSQL에서는 데이터를 읽어올 때 스키마에 따라 읽어옵니다 =schema on read 데이터 저장(Storage) 관계형 데이터베이스는 SQL을 이용해서 데이터를 테이블에 저장합니다. 미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터를 저장해야 합니다. SQL NoSQL은 위에서 설명된 것처럼, key-value, document, graph, wide-column 형식등의 방식으로 데이터를 저장할 수 있습니다. NoSQL 문서들은 BSON(Binary json JSON형태의 문서를 바이너리 형태로 인코딩한 바이트 문자열) 형태로 저장이 되고 정해진 틀이나 데이터 타입이 없습니다. 따라서 자유롭게 문자, 숫자, 객체, 배열 등.. 2021. 7. 14.