[파이썬] XIRR 구하기, 일괄 업데이트

투자회수 내역의 XIRR 값들을 일괄 업데이트 해야 하는 이슈가 있었는데 간결하고 심플한 파이썬으로 작업을 하게 되었습니다.이미 Spring 웹서버에 단건의 투자건에 대해 XIRR을 구하는 로직은 구현이 되어 있었고 포팅만 하면 되는 상황이었는데 생산성을 높이고자 파이썬으로 작업을 하게 됩니다 XIRR 일괄 업데이트는 FAST API 를 발행해서 스케줄러를 통해 새벽 시간대에 업데이트를 하도록 설정하고 XIRR 산식은 채찍피티를 갈궈서 빠르게 클래스 객체로 만들어 내게 됩니다.생산성은 기가 막히는데 딜레마에 빠지기도 하지만 MSDN 찾아보고 구글링 하던 시절 생각하면 별반 차이는 없다고 생각이 드네요   CashFlow 는 현금흐름 정보를 가지는 객체입니다class CashFlow: def __in..

• format_list_bulleted python
• · 2024. 11. 7.
• textsms

유효하지 않은 문자, RFC 7230과 RFC 3986 오류 처리

기존 apache 웹서버를 nginx 로 교체하는 작업 진행후 몇가지 버그사항이 발생했던 부분은 nginx 서버 셋팅으로 잡을 수 있었는데이번 유효하지 않은 문자 오류는 서버 셋팅으로는 해결이 안되었어요  파일 다운로드 실패  파일 다운로드 링크 클릭 시 아래처럼 유효하지 않은 문자가 발견되었다고 합니다get 방식으로 호출하는 부분인데 한글 파일명의 경우 처리실패로 나타나는 부분이었어요  요청 타겟에서 유효하지 않은 문자가 발견되었습니다. 유효한 문자들은 RFC 7230과 RFC 3986에 정의되어 있습니다.  아래 처럼 URIEncoding는 "UTF-8" 로 설정하고,  relaxedQueryChars 는 "[]()^|"" 설정해서Query String에 한글 또는 특수문자가 있을 시 제대로..

• format_list_bulleted 코딩
• · 2024. 9. 23.
• textsms

[nginx] 413 request entity too large 에러 처리

413 request entity too large 오류 기존 윈도우 서버에서 구동중이던 웹서버를 apache에서 nginx 로 교체하는 작업을 진행 후 몇가지 테스트를 진행하다 아래와 같은 오류를 맞이하게 됩니다. 413 request entity too large413 요청 엔터티가 너무 큽니다 2개의 서버에 같은 nginx 를 설치했는데 2개의 서버가 넘겨주는 메시지도 하나는 영어, 하나는 한글인데 왜인지 파악해보아야 겠습니다. 해당 오류를 찾아보니 클라이언트의 요청 사이즈가 제한에 걸려서 발생하는 문제인데 주로 첨부파일 업로드시 발생하는 부분이었습니다.아래와 같이 nginx  공식문서에서 해당 오류가 발생하는 경우를 설명해두었는데요 client_max_body_size 값일 수정해 클라이언트 요청..

• format_list_bulleted 미분류
• · 2024. 8. 26.
• textsms

웹소켓을 이용한 주가정보 실시간 반영하기(html, python)

WebSocket 을 활용한 주가정보 실시간 조회 작업 대쉬보드에서 주식 종목 정보를 보여주는 부분이 존재하는데 주가정보는 전일 오후 3시 30분, 장이 마감되고 난 뒤에 일괄 업데이트 된 정보만을 보여주다보니 당일 실시간으로 변하고 있는 주가정보를 반영해주지 못하고 있었습니다.20분 지연시세도 아닌 전일 종가라서 당일 변동에 따른 수익률의 변화를 실시간으로 반영하지 못하고 있는 부분으로 인해 이 부분을 개선해주기로 하였습니다.  주가정보는 서버에서 가져오게 하고, 뷰단에서는 수신된 주가정보를 업데이트 하도록 했습니다.웹페이지 접속 시 웹소켓을 이용해 서버로 접속 요청 이후 접속 성공 시 주가정보를 내려받을 종목 코드 리스트를 넘겨주도록 합니다. 서버는 python 으로 작성되었으며 주가정보는 Finan..

• format_list_bulleted python
• · 2024. 8. 7.
• textsms

[Lightsail] react 배포 과정 트러블슈팅(feat. EPIPE, out of memory)

생짜로 프로젝트를 만들고 디자인을 입혀가며 기능을 만들기에는 시간이 많이 걸리기에 디자인 템플릿을 활용해보기로 합니다. react dashboard 형태의 무료 템플릿도 많이 볼 수 있었으나 좀 더 다양한 기능을 제공해주는 유료 템플릿을 사용해보기로 합니다. themeforest.net 사이트를 통해 velzon dashboard를 구매하게 됩니다. 잘 짜여진 디자인 템플릿이었지만 내부를 보니 복잡도가 상당합니다. 좀 더 간소화 시킨 라이트한 버전이 필요했지만 따로 제공되지는 않았습니다. 결국 소스를 분석하며 필요한 기능만 남기고 나머지는 쳐 내는 과정을 거쳐야 할수 밖에 없습니다. 일단 내려받은 소스를 yarn install & build & yarn start 를 통해 로컬에서 정상적으로 도는 것을 ..

• format_list_bulleted 코딩
• · 2023. 12. 28.
• textsms

PM2 모니터링 웹기반 서비스

nodejs express 서버를 AWS에서 무중단 서비스로 구동하기 위해 PM2를 사용중에 있습니다. https://pm2.keymetrics.io/ npm install pm2 -g 명령어로 손쉽게 설치가 가능하며 pm2 list 로 현재 리스트업된 목록을 확인가능하고 pm2 monit 명령어로 구동중인 서버 로그를 확인도 가능합니다. 다만 로그를 하나씩 확인하는게 너무 불편하고 모니터링 하기엔 부적절하다는 판단하에 모니터링 툴을 알아보던 중 pm2 자체에서 제공해주는 모니터링 웹서비스가 있음을 확인해서 설치하게 되었습니다. 기존 스프링에서 진행했었던 프로메테우스와 Grafana를 그대로 차용해서 활용해보고 싶었으나 일단 빠르게 시작할 수 있는 PM2를 먼저 건드려 보게 되었습니다. https://i..

• format_list_bulleted 코딩
• · 2023. 12. 20.
• textsms

mysql 쿼리 select 결과 JSON 형태로 내보내기 - GROUP_CONCAT

들어가며 mysql에서 select 쿼리 결과를 JSON형태로 뽑아주는 함수가 있습니다. JSON_ARRAY, JSON_OBJECT, JSON_QUOTE 사용법은 공식 문서를 통해 확인할 수 있으며 MYSQL 5.7 버전 이상에서만 지원되는 함수입니다. https://dev.mysql.com/doc/refman/8.0/en/json-creation-functions.html MySQL :: MySQL 8.0 Reference Manual :: 12.17.2 Functions That Create JSON Values 12.17.2 Functions That Create JSON Values The functions listed in this section compose JSON values from co..

• format_list_bulleted 미분류
• · 2023. 11. 2.
• textsms

[express] nginx 웹서버에 https ssl 적용(feat. Let's encrypt)

certbot 을 이용해 Let's encrypt SSL 인증서 발급받기 nodejs + express 로 구성된 API 서버앞단에 nginx 웹서버를 올려두었습니다. 멀티 서버 구성을 위해 포트 포워딩 방식을 적용해서 LightSail AWS 서버 하나에서 모든 웹 서버들을 구동시키고자 이 구성을 도입했습니다. 기존에 운영하던 서버에서는 아파치와 톰캣으로 멀티 서버를 구성했었는데 이미 한번 해본 경험이 있다보니 어렵지 않게 구성을 완료하였습니다. nginx 웹서버는 이미 셋업이 되어 있다는 가정하에 인증서 발급을 위한 절차를 진행해줍니다. 아래 명령어를 통해 certbot 을 설치해줍니다.letsencrypt를 설치해주면 certbot도 자동으로 설치가 된다고 하는데 certbot만 따로 설치해줘도 됩..

• format_list_bulleted 코딩
• · 2023. 10. 11.
• textsms

nextjs 에서 구글 oAuth 인증으로 로그인하기(react-oauth/google)

react-oauth/google 라이브러리를 이용해 구글 oAuth 인증하기 소셜로그인 기능을 구현해두기 위한 초석으로 구글 auth 인증 기능을 구현중에 있습니다. 토이 프로젝트 개념으로 서버단과의 통신은 배제한 프론트 단에서 처리를 위한 베이스를 깔아두려고 프로젝트를 하나 만들었습니다. 아주 간단하게 구글 oAuth 인증을 통해 액세스 토큰을 발급받고 서버로 보내 로그인 여부를 체크하는 기능을 구현할건데 백엔드는 생략하고 프론트 부분에서 할 수있는 처리까지만 구현해보았습니다. 최종 결과물은 아래와 같이 Google 계정으로 로그인 버튼과 커스텀 로그인 버튼을 만들고 버튼 클릭 시 구글 계정으로 로그인을 진행하는 팝업 윈도우를 오픈하고 계정이 선택 될 시 인증성공과 함께 리턴되는 결과를 콘솔에 뿌리도..

• format_list_bulleted 코딩
• · 2023. 9. 18.
• textsms

VSCode에서 LightSail SSH 연결 설정하는 방법

아마존 LightSail 서버를 운영하면서 브라우저 방식의 ssh 콘솔을 이용해왔었는데 라이트한 작업만 했었다보니 로컬에 따로 접속 환경을 설정해두지 않았으나 이번에 mysql 설치 작업을 진행하면서 VSCode 환경에 ssh 접속 환경을 셋팅하게 되었습니다. 제게 있어서도 VSCode 가 개발IDE 로써 점점 사용빈도가 높아지고 있다보니 더욱 이쪽 환경을 더 많이 셋업하게 되네요 Remote SSH 확장팩 설치 => SSH Key 다운로드 => SSH Config 파일 수정 => SSH 접속 먼저 확장팩 탭으로 이동해 Remote-SSH 를 검색해서 설치를 진행해줍니다. 설치가 완료되면 검색바에 >Open SSH Configuration FIle 을 찾아서 열어줍니다. 풀 경로는 >Remote-SSH ..

• format_list_bulleted IDE
• · 2023. 9. 17.
• textsms

AWS SSH 접속 실패 - Permissions for 'ssh key 파일경로' are too open

윈도우 환경에서 개발을 진행하며 VSCODE 에 SSH 확장팩을 설치 후 SSH 접근 환경을 설정하던 중 맞딱드린 오류를 남겨봅니다. 클라이언트 개발 환경은 윈도우 11 이며, VSCode 툴에서 진행했습니다. 사전에 진행한 과정은 다음과 같습니다. VS Code Remote SSH 확장팩 설치 => default SSH Key 다운로드 => SSH Host Config 작성 => AWS LightSail SSH 접속 위와 같이 진행 시 아래와 같은 오류를 만나면서 더 이상 진행이 되지 않았습니다. 핵심은 Permissions for ~ are too open. ssh 키 파일에 많은 권한이 설정되어 있어서라는 내용입니다. [11:02:07.332] > Bad permissions. Try removin..

• format_list_bulleted 코딩
• · 2023. 9. 17.
• textsms

AWS 액세스 키 유출 - Risk IAM quarantine

AWS Access Key 유출 지난 주 AWS Health 에 열린 문제 1이 표기된 걸 확인하게 되었습니다. 방금 전까지만 해도 없던 사항이어서 이게 무슨일지..? 하며 살펴보니 Access Key 가 노출되었다는 것을 확인하게 되었습니다. 순간 아마존 액세스키 해킹으로 인해 수천만원 과금 사례가 떠올라 IAM 사용자의 Access Key를 만료시켜주고 github 에 매칭된 액세스키는 새로이 발급해주었습니다. ACTION REQUIRED: Your AWS Access Key is Exposed for AWS Account 25XXXXXXXXXX5 왜 액세스키가 유출되었는가? 사실 Github Workflow 구성을 만들면서 소스 파일들을 커밋하는 과정이 있었는데 .env 파일 안에 Access Ke..

• format_list_bulleted 코딩
• · 2023. 9. 11.
• textsms

Github 아이디/token 입력없이 사용하기(아마존 AWS LightSail CLI 환경에서..)

아마존 라이트세일에 인스턴스를 만들어서 CI/CD 환경을 구축중에 있습니다. Github Actions 를 통해 workflow 구성을 통해 자동빌드/배포 환경을 구성중인데 다양한 방법으로 구성을 할 수 있는 것 같습니다. S3 환경을 이용하시는 분들도 계시고 빌드 파일 자체를 바로 ssh 를 통해 AWS 서버로 보내서 구현하는 등 방법은 많은 듯 한데 아직 제가 원하는 깔끔한 구성은 못찾았고 빌드 과정에서 오류에 부딪혀서 헤매고 있습니다. 그런 와중에 라이트세일에서 제공해주는 브라우저 CLI 환경에서 git pull 명령어 입력 때마다 아아디와 토큰을 입력해야 하는 불편함으로 인해 서칭을 좀 진행했고 간단한 방법이 있어서 글을 남기고자 합니다. git credential helper를 통해 아이디와 토..

• format_list_bulleted 미분류
• · 2023. 9. 6.
• textsms

[nextjs] bootstrap modal 사용 시 'modal is not a function' 오류 처리

react + nextjs 로 frontend 화면 개발을 진행중에 있는데 삽질의 연속이네요. 스프링 개발환경에 있던 시스템을 react 로 포팅하는 과정중에 있는데 이번엔 modal 이 안먹혀서 삽질을 했습니다. $('#modalDiv').modal('show'); 코드로 모달 화면이 떠야 하지만 modal is not a function 오류만 뱉어내고 있습니다. npm run dev 명령어로 프론트엔드 화면을 구동시켜보면 아래와 같은 런타임에러가 발생하고 있습니다. 크롬 개발자도구 콘솔에 드는 풀 에러 메시지는 다음과 같은데 Uncaught (in promise) TypeError: jquery__WEBPACK_IMPORTED_MODULE_4___default(...)(...).modal is no..

• format_list_bulleted 미분류
• · 2023. 8. 24.
• textsms

[node.js] express api 서버 - AWS Lightsail에 배포하기

https://quantrader.tistory.com/176 [Node.js] Express 프레임워크로 Rest API 서버 만들기 node.js 와 express를 통해 API 서버를 만들어 기존 레거시 서버와 연동 개발을 진행했던 부분을 기록으로 남기려 합니다. SpringFramework Server Node.js + express API 서버, 두 서버 사이에 rest api 통신을 위한 quantrader.tistory.com https://quantrader.tistory.com/177 [Node.js] Express Rest API 서버 - mysql2 sequelize 연동 기존 Express 프레임워크로 API 서버 뼈대를 구축했었는데 이번에는 mysql DB 연동을 진행해보려 합니다..

• format_list_bulleted 미분류
• · 2023. 8. 11.
• textsms