AWS (Amazon Web Service) 질문

한국에서 일할때 AWS 및 각종 클라우드 사용현황을 레포트로 발송하는 부서를 제가 관리했었는데, 저희도 비슷한 툴을 찾다가 안되서 결국엔 개발자들이 직접 다 만들었던걸로 기억합니다. 저도 오오~래전에 컴공을 나왔으나 소스를 안까봐서 잘 모르겠습니다. 저희쪽에서 모니터링을 위한 인스턴스를 하나 만들어서 거기다 툴을 심어놓고 배치 돌려서 레포팅 나가게 했습니다. 레포팅 전용 인스턴스가 있었던거였죠. 사용량이 얼마나 되시는지는 모르겠지만, 저희는 연간 AWS에 수십억을 지불하다보니 사용량 레포팅에 상당히 민감해서 여러가지 방법을 고민했는데요. 

보안이 민감한 서비스라면 저런 외부툴이나 외주업체를 통한 레포팅이 제약이 있을겁니다. 저희도 보안이슈 때문에 위의 방법으로 진행했었습니다. 적어놓고 보니 큰 도움은 안되실거 같지만, 참고라도 되셨으면 좋겠습니다^^

저희가 데이터베이스 status를 모니터링 하려면 레포팅용 인스턴스를 사용하면 되는거 같은데, 매순간 발생하는 데이터를 summary해서 hourly와 daily 리포트를 만드려니 AWS에서 제공하는 레포팅 인스턴스가 아닌거 같아서요. (제가 못찾아서 이럴수도 있구요). 

업무관련 DB다 보니 보안은 해야하는데 이걸 무료로 해보자니 쉽지가 안네요. 그래도 같은 고민하셨다니... 반갑다 친구야!습니다.

제가 당시에 개발에 참여했거나 관심이 있어서 소스를 까봤으면 도움을 더 자세히 드릴수 있었을텐데 아쉽네요. 지금은 변했는지 모르겠지만 당시엔 AWS에서 제공하는 기능으로는 불가능했습니다. AWS에서도 외부 서비스 업체를 추천했었고, 정말 이것때문에 엄청 많이 회의하고 그랬는데...결론은 우리가 직접 만들자...였습니다.

레포팅용 인스턴스가 아닌 일반 인스턴스 작은거 하나 만들고 거기에 모니터링툴 넣어놓는거죠. 가져온 데이터는  csv형태로 인스턴스에 저장되고 일별, 주간, 월별로 이메일 자동 발송 되게 구현했었습니다. 구현 자체는 어렵지 않았던걸로 기억합니다. shell script수준이었던걸로 알고있습니다. 다만 보안이슈 때문에 구조를 고민하는데 더 많은 시간이 들어갔던거 같네요.

비용은 인스턴스 추가로 만든거 이외에는 추가되지 않았습니다. 쉽게 생각하시면 답이 더 쉽게 나올수도 있을거 같습니다..

그래도 정보 나누어 주셔서 대략적인 AWS의 한계를 좀 더 빨리 파악할 수 있어서 많은 도움이 되었습니다. 다른 분들이 달아주신 댓글과 Coffee님이 주신 정보를 종합해서 진행해야 할 거 같아요. 회사가 나빠요... ㅠㅠ

데이터가 이미 MySQL에 들어가고있다면

직접만드시면 일주일정도면 가능할듯한데요..

얼마나 디테일하고 얼마나 이쁜 이메일을 발송하냐에 따라서 다르겠지만요...

사실 아직 DB를 mysql연결은 안한게 DB Duplicate을 만들어 mysql에서 사용하려구요. 근데 mysql에서 schedule reporting이 가능한가요? 찾아보니 PHP를 사용하거나 거의 유료 서비스는 있는거 같은데요. 혹시 가능하다는 말씀이 어떤 방식으로 가능한지요?

php, js, python중 사내에서 잘하는 직원하나 골라서

코딩을 시켜서 서비스올리는게 나을거같아요.

보통 비지니스의 경우 디비를 다른 서비스에 연동시키기는 데이터를 통으로 넘겨주는격이라 싫어하고

또 정확히 원하는 데이터를 지원안하는경우도 많습니다.

큭... 문제는 제가 그 잘하는 직원이라는거에요. 저희 (작은) 팀이 기존 회사와 분리되면서 이런거 할 사람이 전에 SAS를 좀 만진 저 밖에 없어서요. 안그래도 python은 온라인으로 배우고는 있는데 이걸로 되면 다행일거 같구요. 여러가지 조언 감사합니다. (혹시 도움 될 만한 조언은 계속 부탁드립니다.)

꽤 흔한 use case 이긴한데, 무슨 리포트죠...? tableau로 만들던 리포트면 차트만드는게 귀찮을껀데............ 그래프차트 없으면, lambda로 몇번 만져보시면 감이 오지 않을까 싶습니다... (csv export 느낌으로.... 좀 별로죠..ㅜ)

타블루를 사용했지만 그래프-차트 정도도 아닙니다. 아주 단순히 지난 8일간 국가별 마진, Top 10 client별 마진, 지난 Monday to monday 나라 혹은 client 변동사항 정도니 정말 간단한 테이블을 볼 수 있으면 되서 정말 csv정도 수준입니다. 이걸 그냥 이메일로 매일 발송해서 출장중이나 아침 출근길에 비지니스 파악이 가능할 수 있게 할 정도... 전에 SAS는 고급수준으로 했었는데 SAS는 스케줄링 리포트가 불가능 한걸로 알고 있고 AWS에서 지원하는 SAS는 이런 정도의 리포트가 가능하긴 한데 교육버전이라 어떤 limitation이 있는지 좀 확인해 봐야할거 같구요.

lambda는 검색해볼께요. 정보 감사합니다.

꽁짜 리포팅 툴로 쓰실라면 Power BI 도 괜찮습니다.

MSSQL MySQL 다 지원하구요. 예전에 엑셀 쓰셨거나 MS Reporting Service 써보셨다면 더 빠르게 습득하실거에요.

아무래도 오픈소스 freeware써보시다가 다시 Tableau 돌아오실거 같은데요

저도 아무래도 freeware로 버티다 Tableau로 돌아가지 않을까 싶습니다. ㅋㅋㅋ Power BI도 찾아볼께요. 감사해요!

AWS QuickSight 고려해보셨나요? 비슷하 기능이 있는거 같습니다

검색을 해보니 QuickSight와 Power BI가 괜찮네요. QuickSight 데모 신청해놨습니다. 감사합니다. 

Tableau   쓰시다가  다른툴 쓰시려면 많이 불편 하실 텐데요. 예전에  Power BI  하고 evaluate  해봤는데,  Tableau가 월등히 편해요.

Tableau 쓰셨으면  cube 때문에  쓰신거 같은데, 리포트가 얼마나 복잡한지 모르겠지만,  아마 그정도 리포트  나올 만한건  현재 마켓에 tableau 만한게 없다고 봅니다.

저는  aws 를  잘 모르는데,  aws가  db 설치에 제한이 있나요?  기존의  tableau를  왜 더이상 못쓰는지도 좀 이상하긴 합니다. 

그리고  mysql 을 고려 해 보신다니  저는 조금  의아한  기분이 들기도 합니다.  저희쪽에서 db를  mysql 같은걸 쓴다는 생각 조차 못해요.

네 상황이 그렇게 되었습니다. (회사가 문을.... ) 그래서 이 쪽으로 예산이 없습니다. ㅠㅠ