LTS (Logical Thinking Space)

내부 DDOS 공격에 대한 기록 (JVM OOM)

짠백이 — Tue, 5 Sep 2023 11:05:57 +0900

1. 개요

사내 200명을 대상으로 운영중인 서버에서 2개월 간격으로 서버의 오동작을 유발하였던 OOM이슈를 Agent (Client) 의 cURI session 관련기능을 수정하여 해결하였습니다.

해결방법은 비교적 간단하였으나, JVM OOM 이슈를 분석하고 처리하는 과정에서의 배운점을 기록으로 남김으로써 향후에 발생 할 수 있는 이슈에 원활하게 대응하는데 도움이 될 것이라고 생각되어 포스팅을 작성하였습니다.

2. 본론

제가 사내에서 운영중인 서버는 네트워크 접근관리 서버로써 client-side에 Agent 라는 소프트웨어를 설치하여, 서버에 주기적으로 Agent 활성상태와 보안 터널을 Health check 를 하는 방식으로 동작하고 있습니다.

운영을 시작한지 6개월이 넘어가던 시점에 서버에서 JVM OOM 이 최초 발생하였으며, 서버에 heap dump 가 남겨져 있었기에 MAT 로 분석을 하였습니다.

[Server OOM 로그]

캡쳐를 보면 ConcurrentHashMap 을 요소로 갖는 list 가 heap memory의 96%를 사용하여 heap OOM 이 발생한것을 확인하였으며, ConcurrentHashMap 의 용도를 찾아보니 WAS 의 session 정보가 저장되는 메모리로 확인되었습니다.

[memory report]

[List 객체 상세분석]

또한 Thread stack 로그를 분석한 결과 agent request 를 받아 session 을 생성하기위해 배열을 복사하는 과정에서 OOM 에러가 발생한것을 확인 할 수 있었습니다.

[Tread Stack 로그]

위의 로그에서 힌트를 얻어 Agent 에서 전송하는 HTTP request 를 검증하고자 서버에서 Agent 가 전송한 Session ID 모두 출력하여 비교를 해본결과, Heath check 시 request 마다 cookie에 서버에서 발급한 Session ID 를 전송하지 않는것을 확인하였고, Agent (C++) 의 소스를 확인해보니 cURI 모듈에서 session 유지처리를 하지않는것이 확인 되었습니다.

이후 원인의 정확한 검증을 위해 jmeter script (100개 thread, 1s 간격) 로 WAS 서버에 부하를 발생시켜서 에러를 재현하였으며, HTTP session 을 유지했을 때, 그렇지 않은경우보다 heap memory 가 6배 감소하는것을 확인 할 수 있었습니다

[수정 전 Heap memory 모니터링]

[수정 전 GC 모니터링 : Session 유지 설정]

[수정 후 Heap memory 모니터링]

[수정 후 GC 모니터링 : Session 유지 설정]

이후 수정된 Agent 로 충분한 테스트를 거쳐 운영에 반영을 하였으며, 이후부터 지금까지 해당 heap memory 이슈가 발생하지 않고 있습니다.

3. 결론

WAS 서버가 Agent 로부터 의도하지않은 DDOS 공격을 받게되어서 분석,모니터링,테스트,코딩 등으로 2개월 정도 메인 업무 이외의 시간을 할애하여 분석하고 해결하였습니다.

그로 인해 JVM OOM 이 발생하였을때 활용 할 수 있는 방법들 (MAT, Jmeter, Vitual VM 등) 관련한 기본기술을 습득 할 수 있었습니다.

또한 2개월 간격으로 발생하는 OOM으로 인해 서버가 다운되어 사용자가 내부 네트워크에 접근하지 못하고 업무에 제약을 받는것을 보고 안정적인 서버운영의 중요성도 깨달을 수 있었습니다.

SSH 개념 및 사용자 인증흐름 - AWS docs 추가

짠백이 — Wed, 6 Jan 2021 00:18:45 +0900

이번 포스팅은 SSH의 개념, 사용자 인증흐름, AWS 사용 예시까지 확인해보려합니다.

참고로 해당 포스팅에서 ssh 사용예시로 AWS EC2와 MobaXterm 을 사용하였으며, 해당 서비스와 프로그램에 대한 구체적인 사용방법이 아닌 개념을 이해하기위한 맥락관점에서 설명 할 예정입니다.

* AWS EC2 : 아마존 웹 서비스에서 제공하는 클라우드 서비스 (PaaS)

* MobaXterm : SSH, SFTP 등의 원격 접속을 할 수 있는 프로그램

1. 개념

- SSH는 secure shell 의 약자로써 원격지 PC에 보안접속을 할 수 있는 CLI 기반 프로그램 또는 암호화 프로토콜을 의미합니다.

* CLI (Command Line Interface) : 명령줄 인터페이스 (<=> GUI )

2. 특징

2.1 원격접속 프로그램 telnet 이 평문으로 전송하기 때문에 발생하는 보안 이슈를 해결하기 위해서 등장

2.2 보안 통신을 위해 공개키 (=비대칭키) 암호화 방식으로 사용자를 인증

(* 중요 : 전자서명과 동일한 방식의 인증)

3. 사용자 인증 흐름

3.1 client 가 server 에 ssh 연결 요청

3.2 server 는 data(hash value) 를 클라이언트에게 전송

3.3 client 는 server 로 부터 받은 data를 private key 로 암호화해서 server 에게 전송

3.4 server 는 암호화된 data를 public key 로 복호화하여 자신이 보낸 hash value 인지 비교하고 일치할 경우 사용자 (client)를 인증함

* 이유 : server 가 가지고있는 public key로 복호화 된 것은 해당 data를 보낸 client 가 private key를 가지고 있다는 의미이기 때문임

SSH 인증 흐름

4. AWS 사용 예시

* 참고

- client = ssh 접속을 시도하는 주체 (local PC)

- server = AWS EC2 (원격지 PC)

4.1 [server] AWS EC2 인스턴스 정보

- IP는 임의의 고정 IP 인 123.456.789.11 설정하였다고 가정하였습니다.

- AWS EC2 생성 시 발급되는 private key 를 local PC에 저장합니다. (아래 캡처에는 해당 내용은 생략됨)

4.2 [client] SSH 설정

- SSH 접속을 위해 원격지 PC (AWS EC2)의 IP 123.456.789.11 을 입력하고 port는 22를 입력합니다.

- AWS EC2 생성 시 발급받은 private key의 경로를 등록합니다.

(* port number 는 다른 번호도 사용 할 수 있으나 일반적으로는 22를 사용합니다.)

4.3 [client] SSH 접속 완료

- 위의 설정으로 원격지에 접속을 시도하면 원격지 PC(AWS EC2)는 local PC에서 priavte key 로 암호화한 패킷을 public key로 복호하하여 데이터를 비교함으로써 local PC (사용자)를 인증합니다.

- 사용자 인증이 완료되면 정상적으로 AWS EC2에 접속 할 수 있습니다.

5. key pair 참고

* 생활코딩 SSH key : https://opentutorials.org/module/432/3742

* AWS EC2 key pair : https://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/create-key-pairs.html

[보안] PKI 개념과 구조

짠백이 — Tue, 29 Sep 2020 00:29:35 +0900

1. 개념

- PKI (public key infrastructure) 는 공인인증서 발급/사용을 위한 인프라

2. PKI 구성요소별 설명
2.1 USER (사용자)

- 인증서 발급을 요청하는 사용자

2.2 RA (Registration Authority : 등록 권한)

- 인증서를 신청하는 사용자의 신원을 확인하고 사용자정보를 CA로 전송

- CA발급한 인증서를 사용자에게 발행

- ex) 은행, 증권사

2.3 CA (Certificate Authority : 인증 권한)

- 인증서를 발급하는 솔루션 또는 기관

- 인증서를 이용한 전자서명을 통해 데이터 무결성, 기밀성 등 제공

- ex) 한국정보인증(KICA), 금융결제원 등

2.4 VA (Validation Authority : 검증 권한)

- 인증서의 유효성을 검증

3. PKI 구조와 인증 프로세스

3.1 사용자가 RA(등록대행기관)에 인증서 발급요청

3.2 RA는 사용자 신원확인 후 CA(인증기관)에 인증서 발행 요청

3.3 CA는 VA(검증기관) 에 유효성확인하여 인증서 발행하고

3.4 사용자에게 인증서 발급

3.5 사용자는 인증서와 전자서명으로 서비스 서버 접속요청

3.6 서비스 서버는 검증기관에 인증서의 유효성검사 요청 후 서비스 제공

4. key 사용방식

Cloud Service 개념 및 모델

짠백이 — Sun, 26 Jul 2020 23:01:57 +0900

1. 클라우드 개념

1.1 정의 : cloud 는 사전적인 정의로 구름이라는 의미이며, 구름에 싸여 보이지않는 컴퓨팅 자원을 원하는대로 활용 할 수 있다는 의미입니다.

- 예시 : 구글 드라이브(SaaS) ,

1.2 장점

- 높은 확장성

- 하드웨어 관리로부터의 자유로움

- 다양한 편의 기능 (자동백업, 로드밸런싱 등)

1.3 단점

- 민감한 데이터

- 클라우드 종속성

1.4 On-premise VS Cloud

* On-premise : 자체적으로 보유한 서버로 서비스를 운영하는 환경

	On-premise	Cloud
초기도입비용	일회성 비용으로 구매시 많은 비용예산이 소요됨	월정액기반으로 사용한만큼 요금을 지불
인력운영비	시스템 엔지니어의 업무 증대 ( 서버 운영 및 관리/ 전산실 유지관리 등)	시스템 엔지니어의 업무 감소
활용성/ 효율성	최대용량을 산정하여 시스템설계가 이루어져 자원낭비요소가 있음	시스템 설계시 서버사양이 과도하게 설정할 필요없이 운영상에 맞게 시스템 증설이 가능함
구축	장비의 수급과 기타 인프라조건에 의해 구축기간이 최소 2주이상 소요	늦어도 1일 만에 시스템 변경 및 구축이 가능
확장성 / 민첩성	클라우드에 비해 많이 느림	원하는 만큼 예산상황에 맞게 쉽게 시스템 증설이 가능
트래픽 비용	인터넷 전용회선 요금기준으로 적용하며 트래픽 증가시 별도 요금 발생하지 않음	기본적으로 클라우드기준으로 outbound 트래픽에 기준이상 초과시 트래픽 요금 부과

2. 클라우드 서비스 모델

2.1 IaaS (Infrastructure as a Service : 아이아스)

- 시스템 자원(Infrastructure )을 클라우드로 제공하는 서비스

2.2 PaaS (Platform as a Service : 파스)
- Application 을 개발하기위한 기반 (platform) 을 제공하는 서비스

- 예 ) MS Azure, Google App Engine

2.3 SaaS (Software as a Service : 사스)
- Software application 을 배포하기 위한 서비스

- 예) 네이버 클라우드, 구글 드라이브 등

* model : java에서 특정한 목적을 가진 class를 정의하고 필요에 따라 instance 를 생성하는것 처럼 특정 목적을 위해 정의된 개념 (class = 서비스 = instance )

VPN과 SDP의 이해

짠백이 — Sat, 6 Jun 2020 23:10:05 +0900

1 VPN

1.1 VPN 개념

- 정의 : Virtual Private Network 의 약자로 직역하면 가상의 사설 네트워크입니다. public network (=internet) 에서 사설네트워크를 사용하는것처럼 구현하는 기술 또는 장비를 말합니다.

- 장점 : network 관리 및 운영비용 절감, 기업 network 의 유동성확보
- 단점 : 서비스를 제공하는 web server 에서 사용자를 인증하기 때문에 보안이 취약함, 표준화가 되어있지않음, QoS (Quality of Service)가 보장되지않음 등

- 사용예시 : 본사와 지사간의 네트워크 연결, 재택근무자가 회사의 네트워크에 접속 등

1.2 VPN 프로토콜

1.2.1 PPTP

- 장점 : 속도가 빠름, 거의 모든 플랫폼에 클라이언트가 내장됨 (window 등), 설치가 간편

- 단점 : 보안위협이 존재함, 128비트의 암호화로 제한된 프로토콜

1.2.2 L2PT 및 IPSec

- 장점 : 모든 현대 운영체제에서 사용이 가능함

- 단점 : 속도가 느리며 NSA위협이 존재함

1.2.3 OpenVPN

- 장점 : 대부분의 방화벽을 우회 할 수 있음, 현재까지 가장 안전한 프로토콜,

- 단점 : 설정이 까다로움, 클라이언트 프로그램 필수

1.2.4 SSTP

- 장점 : 대부분의 방화벽을 우회 할 수 있음

- 단점 : MS 독점소유로 백도어 검사 불가능

1.3 VPN 구성도

- 일반적인 public network

public network

- VPN으로 구성한 private network (1)

private network 1

- VPN으로 구성한 private network (2)

private network 2

* 참고 : VPN server의 위치는 client 가 접속 할 수 있는 환경이라면 제약이 없습니다.

2. SDP

2.1 SDP 개념

2.1.1 정의 : Sotfware Defined Perimeter 의 약자로 직역하면 소프트웨어 정의 경계입니다. 이를 조금 말랑하게 이해를 해보면 SDP의 설정에 따라서 사용자가 사용 할 수 있는 소프트웨어의 경계가 정해진다는 느낌입니다.

2.1.2 특징

1) Zero-Trust 보안 : 신원을 기반으로 화이트리스트에 따라 인증 (사람,장비)

2) data chanel 필요 : SDP는 client (사용자)를 인증해주는 역활을 담당하기 때문에 client 와 web server 간에 data를

전송하는 역활을 하는 server와 연동하여 사용해야 합니다. (VPN server , web proxy server 등)

2.2 SDP 구성도

SDP 구성도 (with VPN)

2.3 VPN과 SDP 의 차이점

- VPN은 실제 서비스를 운영하는 web server 에서 사용자를 인증을 하기 때문에 보안에 취약하고, SDP는 인증서버(=SDP contoller) 에서 사용자를 인증 하기 때문에 web server 가 block 상태가 되어 보안에 강합니다.

	VPN	SDP
신뢰	누구나 다 믿는다	아무도 믿지 않는다
관리	black list 관리	white list 관리
사용 대상	일반인 대상	특정 사용자 (군관계자, 회사직원 등)

Computer Network 구성 (with VM)

짠백이 — Sun, 26 Apr 2020 14:54:34 +0900

이번 포스팅은 VM (Vitual Machine : 가상머신) 를 통해서 computer network의 구성을 파악하는것에 목적이있습니다. 그렇기 때문에 구체적인 VM의 설정방법에 대해서는 설명하지 않습니다.

다만 용어와 네트워크 구성에 대해서는 초심자도 이해 할 수 있도록 서술하려고 노력하였으니 도움이 되길 바라겠습니다.

host PC 는 window7 이며 guest PC는 linux (centOS) 로 2개의 가상머신이 VM ware 에 설치되어있다는 전재하에 진행 할 것이며, 2개의 가상머신을 각각 guest A/B 로 칭하겠습니다.

[환경]

VM ware : VM ware workstation 16 pro 15.0.2 build-10952284

host PC : window 7

guest PC : linux (centOS 6.6)

[참고]

해당 포스팅에 명시된 ip 또는 ip 대역은 고정된 값이아니기 때문에 편의에 따라 설정하시면 됩니다.

1. 기초 용어

- computer : '계산을 하는 사람' 에서 유래되었으며 '0과 1을 사용해서 계산을 하는 장비' 을 지칭하게 되었습니다. 특정 입력이 주어지면 프로그램에 의해 정해진 출력이 발생하는 특징이 있습니다.

(ex) desktop PC , tablet PC, smart phone, smart watch, AI speaker ...)

- PC : Personal Computer 의 약자로 개인용 컴퓨터를 의미합니다.

- computer network : computer간에 데이터를 송/수신하기 위해 사용하는 통신망 (network)입니다.

(ex) internet, intranet )

* 참고 : computer 라는 단어는 생략하는 경우가 많으나 정확한 명칭은 computer network입니다.

- VM : Virsual Masine 의 약자로써 직역하면 가상 머신이라는 의미이며, host PC에 가상으로 머신 (=PC) 를 구축하여 사용 할 수 있는 software tool 입니다. (ex) VM ware , visual box 등)

- host PC : VM이 동작하기 위한 환경을 제공하는 주체자 입장의 PC (= local PC) 입니다.

- guest PC : VM에서 host PC의 자원을 할당받아 사용하는 손님 입장의 PC 입니다.

- DHCP : Dynamic Host Configuration Protocol 의 약자로써 직역하면 동적 호스트 설정 통신 규약입니다. 이는 DHCP server에서 보유하고있는 IP를 client에 유동적으로 할당하고 분배 할 수 있습니다.

* VM ware에서는 DHCP server를 자체적으로 운용하면서 VM (=client) 에 IP를 할당해줄 수 있습니다.)

- NAT : network Address Translation 의 약자로써 사설 IP주소를 공인 IP주소로 바꿔주는데 사용하는 통신망의 주소 변환기 또는 기술입니다. [사전적 정의 : 네트워크의 접근을 변환함]

* 네트워크 기본 참고용 링크 : https://solt.tistory.com/69

2. VM Network 종류

2.1 Bridged Network : host와 guest를 연결하여 guest PC가 네트워킹하는 방식입니다. host PC와 guest PC 사이에 다리(bridge)를 놓은것처럼 하나로 연결하여 두 개의 네트워크를 마치 하나의 네트워크처럼 사용합니다.

2.2 NAT Network : host network 아래에 가상의 사설망을 구축하고 해당 망에 가상 머신들을 두는 구조를 가지고 있습니다. NAT 가 연결되어 있기 때문에 사설망 내부의 guest PC가 인터넷에 연결 할 수 있습니다.

2.3 Host-only Network : host network 아래에 사설망을 구축하고 해당망에 가상 머신들을 두는 구조를 가지고 있는 방식입니다. NAT networking과는 달리 NAT 가 연결되어 있지 않기 때문에 guest PC에서는 host PC를 제외한 외부로의 연결은 불가능(=host-only)합니다.

2.4 Custom Network : NAT 나 Bridged 를 구성하기 위해서가 아닌 Host-only networking을 추가로 구성하고자 할 때 주로 사용됩니다.

*초록 : host only

*파랑 : NAT

*주황 : Bridged

VM network

3. VM ware 이용한 네트워크 구성

(NAT networking과 Host-only networking)

3.1 Virtual Network Editor 설정

[VM ware : Edit tab -> virtual network editor]

- VMnet2 SW에 Host-only networking 대역을 192.168.192.0 으로 설정하였으며,

VMnet8 SW에 NAT networking 대역을 192.168.64.0이며 gateway는192.168.64.2로 설정하였습니다.

Network switch

Gateway

3.2 guest 하드웨어 설정 (in VM ware)

guest A

guest B

3.3 guest network 설정 (in linux)

- 설정 : guest 별로 linux의 network adapter 설정 ( ifcfg-eth0, ifcfg-eth1 ) 을 하고 네트워크 서비스를 재시작하면 route table에 적용된것을 확인 할 수 있습니다.

[shell script 명령어]

/etc/sysconfig/network-script/ifcfg-eth1

/etc/sysconfig/network-script/ifcfg-eth2

/etc/udev/rules.d/70-persistent-net.rules

service network restart

- route table 확인

A device

B device

3.4 network 구성도

- VM ware 관점의 구성

4. network 구성예시 (망연계 솔루션)

- 2개의 window 가상머신을 만들고 각각 VM3와 VM4 네트워크에 연결했을 때의 네트워크 관점의 구성도입니다.

- VM3 와 VM4에 연결된 각각의 네트워크는 논리적으로 분리되어 있으며 A,B device 가 VM2 네트워크를 사용하여 중계 할 수 있습니다.

- VM8 네트워크로 A, B device 를 관리 할 수 있고 host 장비를 통해서 internet 으로도 통신이 가능합니다

망연계 솔루션 구성

5. reference link

5.1 VMware의 네트워크 구성과 연결의 이해 : https://unabated.tistory.com/entry/VMware-%EC%9D%98-%EB%84%A4%ED%8A%B8%EC%9B%8C%ED%81%AC-%EA%B5%AC%EC%84%B1%EA%B3%BC-%EC%97%B0%EA%B2%B0%EC%9D%98-%EC%9D%B4%ED%95%B4

5.2 VM ware 네트워스 설정 방법 : http://blog.daum.net/_blog/BlogTypeView.do?blogid=0gub1&articleno=14&_bloghome_menu=recenttext

-------------------------------------------------------------------------------------------------------------

항상 정확한 정보를 공유하고자 노력하고있지만 내용에 개선이 필요한 부분이 있을 수 도 있습니다.

개선이 필요하다고 판단되는 부분이 있을 경우 댓글로 조언해주시면 감사하겠습니다.

* 해당 포스팅이 도움이되셨다면 공감과 댓글 부탁드릴께요 ㅎㅎ

------------------------------------------------------------------------------------------------------------

[Thread] 동기화 이슈 처리방법 (java)

짠백이 — Thu, 23 Apr 2020 19:34:14 +0900

다수의 thread가 동작하는 muti thread는 자원의 충돌을 방지하기위해 '동기화' 에 대응해줘야하는 숙명을 갖고있습니다. 이번 포스팅에서는 java의 synchronized keyword 로 동기화한 소스코드에 대해 살펴보고 메모리 구조 (stack, heap) 까지 확인해보겠습니다.

1. 동기화

1.1 동기화 정의

- 동기화의 사전적 정의는 작업들(task)사이에 수행시기를 맞추는것이며, thread는 데이터의 충돌이 발생하지 않도록 하기 위해 하나의 thread가 자원을 사용하고 있을 경우 해당 자원을 lock 하여 다른 thread의 접근을 막는것을 의미합니다.

1.2 muti thread 자원의 충돌 원인

- 하나의 자원 (=instance)를 다수의 thread가 사용하는 동작 환경으로 인해 발생

1.3 동기화 종류

- function 동기화 (함수)

- variable 동기화 (변수)

2. function 동기화

2.1 소스코드

// 계좌관리 클래스
class Account{
	int balance = 1000;		// 계좌 잔액 (DB 역활)
	
	// 잔액을 차감하는 함수 [lock 대상]
	 public synchronized void withdraw(int money) {		
		 
		 if(balance >= money) {
			balance -= money;	// 누적 차감 
			 try {
				 Thread.sleep(1000);	// 1000ms=1s		
			 }catch(Exception e) {
				e.printStackTrace(); 
			 }
		 }
	 }
}


// thread 구현체
class RealAccount implements Runnable{
	
	Account acc = new Account();			// 계좌관리 객체 생성 [공통 자원]
	
    // Thread의 멤버 함수 start() 호출 시 해당 함수가 호출됨
	@Override
	public void run() {
		
		while(acc.balance > 0) {
			int money = (int)(Math.random()*3+1)  * 100;	// 100,200,300  중 렌덤
			acc.withdraw(money);
			
			System.out.println("-------------------------------");
			System.out.println("["+Thread.currentThread().getName() + "] 잔액 : "+acc.balance);		

		}
	}
}


class ThreadTest {
	public static void main(String arg[]) {
		Runnable run = new RealAccount();
		
		Thread t1 = new Thread(run, "thread 1");	// RealAccount 구현체 사용
		Thread t2 = new Thread(run, "thread 2");	// RealAccount 구현체 사용
		
		t1.start();
		t2.start();

	}
}

위의 소스는 2개의 thread 가 하나의 자원 (=Account 객체)을 동시에 사용하는 경우입니다. thread 1가 Account 객체의 멤버 함수 (=withdraw함수)를 사용 중 일 때 thread 2가 해당 멤버 함수에 접근하지 못하도록 막아줍니다.

thread 2 는 실행 대기중으로 전환되고 thread 1의 실행이 종료되면 이후 해당 멤버 함수 (=withdraw함수) 를 사용 할 수 있습니다.

* 참고 : 해당 소스에서는 사용한 두개의 thread는 같은 기능을 하는 목적이 있기 때문에, 동일한 구현체 (RealAccount 객체) 를 사용하였으나 별도의 구현체를 정의하여 사용 할 수 도 있습니다.

2.2 실행결과

2.3 논리적 구조

2.4 메모리 구조 (stack, heap)

3. variable 동기화

3.1 소스코드

// thread 구현체 
public class RealAccount implements Runnable {
	// 다른 위치에서 현재 thread의 상태를 확인하기위한  flag (false : 종료상태, true : 실행상태 )
	private static Boolean isExecuting = false;
    
    Account acc = new Account();	// 계좌관리 객체 생성  [공통자원]
    
    @Override
    public void run() {
    	while(true){
        	int curTime = 0; 
            Calendar m_Calendar = Calendar.getInstance(); 
            if(!jobCheckin()) return;
            
            curTime = m_Calendar.get(Calendar.HOUR_OF_DAY);		//현재 시간 (1, 2, ... )
            
            if( ( curTime == configTime) ){ 	// 현재시간 == 설정된 시간
            try{
            	int money = (int)(Math.random()*3+1)  * 100;	// 100,200,300  중 랜덤
                acc.withdraw(money);
                System.out.println("-------------------------------");
                System.out.println("["+Thread.currentThread().getName() + "] 잔액 : "+acc.balance);		
                }catch(Exception e){
                e.printStackTrace();
                }
            } // if() END
            try {
            jobCheckout();					// thread 종료상태 전환
            Thread.sleep(60 * 60 * 1000 );	// thread state : 1Hour 일시정지
            } catch (Exception e) {}
        } // while(true) END
    } // run() END 
    
    private static boolean jobCheckin() {
    	synchronized (isExecuting) {
    	if (!isExecuting) {
        	isExecuting = true;
        	return true;
        } else {
        	return false;
        }
        }
    }
    private static void jobCheckout() {
    	synchronized (isExecuting) {
        	isExecuting = false;
        }
    }
}

위의 소스코드는 thread 구현체 부분이며 해당 구현체를 호출하여 사용하기전에 jobCheckin() 함수로 flag 변수 (=isExecuting)를 확인 후 사용하는 소스코드입니다.

flag 변수를 업데이트 (ture or false) 시 synchronized 키워드로 변수를 lock하여 동기화처리를 해주었습니다.

-------------------------------------------------------------------------------------------------------------

항상 정확한 정보를 공유하고자 노력하고있지만 내용에 개선이 필요한 부분이 있을 수 도 있습니다.

개선이 필요하다고 판단되는 부분이 있을 경우 댓글로 조언해주시면 감사하겠습니다.

* 해당 포스팅이 도움이되셨다면 공감과 댓글 부탁드릴께요 ㅎㅎ

------------------------------------------------------------------------------------------------------------

ElasticSearch 개념 및 구조

짠백이 — Tue, 21 Apr 2020 21:08:55 +0900

1. elasticsearch 개념

1.1 정의

- 대용량 데이터를 '실시간에 가깝게' 처리하는 java 기반의 검색 엔진

- 예를들면 하루에 300만 row의 트래픽 데이터가 수집되는 솔루션이라면 RDB가 감당하지 못하기 때문에 elasticsearch을 사용합니다.

1.2 ELK 구성

- ELK : Elastic사 에서 제공하는 Elasticsearch, Logstash, Kibana의 세 가지 오픈 소스 프로젝트

- Logstash : 실시간 로그를 수집/집계/파싱하여 elasticSearch로 전달

- ElasticSearch : db역활

- Kibana : ElasticSearch를 제어하고 데이터를 시작화하는 node.js 기반의 웹 브라우징 프로그램

1.3 elasticSearch 구성

2. 기본용어 (RDB와 비교)

3. 대용량 데이터 처리

3.1 색인 (index) : 하나의 키워드가 하나의 id 를 갖는것

- keyword : id = 1 : 1

- ex) 요리도서 예시

= 가지튀김 : 24 page

= 냉채족발 : 51 page

= 도토리묵 : 78 page

3.2 역색인 (inverted index) : 하나의 키워드가 여러개의 id를 갖는것

- keyword : id = 1 : N

- ex) 요리도서 예시

= 가지튀김 : 24 , 28 , 31 page

= 냉채족발 : 51 , 62 page

= 도토리묵 : 78 , 80 , 93 page

3.3 RDB 보다 검색속도가 빠른이유 : 역색인

4. reference link

-엘라스틱 서치 개념 : https://12bme.tistory.com/171

-역색인 : https://esbook.kimjmin.net/06-text-analysis/6.1-indexing-data

-------------------------------------------------------------------------------------------------------------

항상 정확한 정보를 공유하고자 노력하고있지만 내용에 개선이 필요한 부분이 있을 수 도 있습니다.

개선이 필요하다고 판단되는 부분이 있을 경우 댓글로 조언해주시면 감사하겠습니다.

* 해당 포스팅이 도움이되셨다면 공감과 댓글 부탁드릴께요 ㅎㅎ

------------------------------------------------------------------------------------------------------------

[Thread] muti Process VS muti Thread

짠백이 — Sat, 18 Apr 2020 18:22:42 +0900

지난 포스팅에서 thread에 대해 간단하게 확인해보았으며, 이번 포스팅에서는 muti process, muti thread 의 장단점에대해 확인해보겠습니다.

1. 공통점

- 동시에 두 가지 이상의 루틴을 실행 할 수 있는 역활

2. muti process (멀티 프로세스)

2.1 장점

- 여러 process 중 하나가 죽어도 다른 process에 전이되지 않음

- 현재 수행되고 있는 프로세스를 확인 할 수 있다 (linux 일 경우 ps명령어)

2.2 단점

- 프로세스간에 메모리 공유가 비효율적

- 프로세스간 통신을 위해 IPC를 사용해야함

3. muti thread (멀티 쓰레드)

3.1 장점

- 하나의 프로세스가 다수 개의 작업을 쓰레드로 동시에 동작 할 수 있음

- 스레드간에 메모리 공유가 효율적 (heap영역 공유)

3.2 단점

- 하나의 thread가 죽을 경우 다른 thread에 전이되어 같이 죽음

3.3 실사용 예시

- 게임 프로그램상에서 동작하는 캐릭터들은 thread 단위로 동작함

(process : 메이플 스토리 , thread 1 : 아델, thread 2 : 패스파인더 )

4. muti thread가 효율적인 이유

4.1 centext Switching 시 공유 메모리만큼 자원(시간) 손실이 적기 때문에 부하관리에 효율적

4.2 stack을 제외한 모든 메모리를 공유 할 수 있어서 효율적임

4.3 실사용 예시 (메이플 스토리 process)

- 개별 영역

= [thread 1] stack 영역 : 아델 아이템 리스트

= [thread 2] stack 영역 : 패스파인더 아이템 리스트

- 공유 영역

= [process] heap 영역 : 길드/친구 리스트

-------------------------------------------------------------------------------------------------------------

항상 정확한 정보를 공유하고자 노력하고있지만 내용에 개선이 필요한 부분이 있을 수 도 있습니다.

개선이 필요하다고 판단되는 부분이 있을 경우 댓글로 조언해주시면 감사하겠습니다.

* 해당 포스팅이 도움이되셨다면 공감과 댓글 부탁드릴께요 ㅎㅎ

------------------------------------------------------------------------------------------------------------

[Thread] 기초

짠백이 — Sat, 18 Apr 2020 17:43:53 +0900

이번 포스팅은 OS관련 기초개념부터 thread 개념까지 확인해보겠습니다.

1. OS (Operating System)

1.1 정의 : Operating은 '운영/가동' 의 의미를 가지고 있으며 IT적으로 해석하면 자원과 프로세스를 운영하는 시스템(=운영체제)을 말합니다.

1.2 용도에 따른 분류

- 개인용 : window

- 서버용 : linux (centOS, ubuntu ...)

* 참고 : 일반적으로 사용하는 용도에 따른 분류로 절대적이지는 않습니다.

* 자원 : data와 유사한 의미

2. program (프로그램)

2.1 정의 : 사전적 정의로는 진행계획이나 순서를 의미하며, IT관점에서의 computer program 은 특정 작업 (task)의 처리 방법과 순서를 기술한 명령어의 집합입니다.

프로그램 예시 (teamViewer 실행 전)

3. deamon (데몬)

3.1 정의 : 백그라운드에서 process 단위로 실행되는 프로그램
3.2 실행모드

- standalone : 독립적으로 실행하며 OS 메모리에 상주하기 때문에 응답속도가 빠름

- xineted : 슈퍼데몬이 다른 데몬을 관리하기 때문에 응답속도가 느림

3.3 예시 (standalone)
- batch program : 업무의 효율성과 시스템의 부하를 줄이기위해 특정시간에 일괄적으로 대량의 데이터를 처리하는 프로그램 (batch : 일괄)

- Cron : linux 스케줄러

- 메일서버 데몬 : 메일 서버에서 메일의 송/수신 체크하는 데몬

- 부팅 데몬 : linux 부팅 시 네트워크/하드웨어 설정을 위한 autobot

4. process (프로세스)

4.1 정의 : 사전적인 정의로는 '진행/과정'의 의미가 있으며, IT적인 관점에서는 OS가 특정 작업(task)를 수행하기 위해 자원(memory)를 부여하고 관리하는 프로그램

( 즉, 실행 중인 프로그램)

프로세스 예시 (팀뷰어 실행 후)

4.2 OS 구조 (메모리관점)

5. thread (쓰레드)

5.1 정의 : 사전적인 정의로는 '가닥/줄기'의 의미가 있으며, IT적인 관점에서는 process의 가닥(=작업=task)을 의미합니다.

5.2 OS 구조 (메모리관점)

6. thread 동기화 이슈

6.1 원인

- 하나의 자원에 다수의 thread가 접근 할 수 있는 환경으로 인해 데이터 처리의 충돌이 발생

- data 안전성과 신뢰성 보장을위해 반드시 필요함

6.2 해결방법 (java)

- synchronized 키워드

= 동작방식 : 현재 데이터를 사용하고있는 thread를 제외한 나머지 thread는 데이터에 접근 할 수 없도록 block

* 참고 : 동기화 이외에도 교착상태, 기아상태 이슈가 있음

7. refenrence

프로세스와 스레드의 차이 : https://gmlwjd9405.github.io/2018/09/14/process-vs-thread.html

-------------------------------------------------------------------------------------------------------------

정확한 정보를 공유하고자 항상 신중하게 포스팅을 하고 있지만,

내용에 개선이 필요한 부분이 있을 수 도 있습니다.

추가적인 보완이 필요하다고 판단되는 부분이 있을 경우 댓글로 조언해주시면 감사하겠습니다.

* 해당 포스팅이 도움이되셨다면 공감과 댓글 부탁드릴께요 ㅎㅎ

------------------------------------------------------------------------------------------------------------