[최신기술] 빅데이터 & 클라우드컴퓨팅

빅데이터란?

 

IT뉴스를 보면은 클라우드로 사업에 많이 참여를 하고 있는 기업들을 많이 보실 수가 있으실 것입니다. 국내기업으로는 효성인포, 앤에프랩이 MOU를 체결한다든지 아니면 MS사가 윈도우 전용 클라우드인 윈도 애저를 출시하든지의 여부를 보면은 클라우드를 활용을 하는 것은 거의 IT기업에서의 공통적인 현상일 것입니다. I

 

기업에서 많이 클라우드를 참여를 하는 이유는 기술적인 발전도 있지만 수많은 빅데이터를 확보를 하기 위한 것이라고 보셔도 무관하십니다.

 

여기서 빅데이터는 기존의 분석도구 및 관리체계로는 감당이 어려운 엄청난 양의 데이터를 지칭하는 말입니다. 현재는 가상과 현실이 공존을 하면서 페이스북을 통하여 과거에는 저장되지 않았던 데이터들이 실시간으로 디지털 데이터로 기록이 되는 등 모바일과 인터넷에서 실시간으로 생성되는 정보의 양이 엄청나게 많아진 것이 가장 큰 원인입니다.

 

그런 이유로 기술적 가능성, 결정적 타당성, 분석 성능 등의 여러 이유로 과거에 버려지던 데이터가 저장이 되면서부터 아무련 관계가 없어 보이는 정보를 연관관계를 분석하는데 여러가지 통계 기법, 기계학습과 같은 인공 지능 프로그램을 사용하여 하나의 정보가 담고있는 복합적인 의미를 분석, 추론하여 내부적인 경쟁력 확보 및 강화, 기업의 수익 확대, 소비자의 성향 및 니즈를 파악하여 잠재 소비자를 끌어들이는 것입니다.

 

그렇기 때문에 빅데이터 처리를 할 수가 있는 방안에는 여러가지가 있지만 클라우드와 빅데이터를 인프라도입, 빅데이터를 효과적으로 관리 하여 클라우드 환경은 다양한 데이터를 폭발적으로 증가해도 효율적으로 수집, 처리, 통계를 통한 능동적인 비즈니스 혜택을 창출하도록 하나의 대안으로 잡아가고 있는 것입니다.

클라우드 컴퓨팅과 가상화

 

클라우드 컴퓨팅(Cloud Computing)의 클라우드(Cloud)는 컴퓨터 네트워크상에 숨겨진 복잡한 인프라구조, 즉 인터넷을 말합니다.

  

즉,  클라우드(Cloud) 사용자가 필요한 소프트웨어를 자신의 컴퓨터에 설치하지 않고도 인터넷 접속을 통해 언제든지 사용할 수 있고, 동시에 각종 IT기기로 데이터를 손쉽게 공유할 수 있는 사용환경을 말합니다.

  

그래서 클라우드 컴퓨팅(Cloud Computing)은 구름과 같은 무형의 형태로 존재하는 하드웨어, 소프트웨어 등의 컴퓨팅 자원을 자신이 필요한 만큼 빌려쓰고 이에 대한 사용요금을 지급하는 컴퓨팅 서비스입니다. 서로 다른 물리적 위치에 존재하는 컴퓨팅 자원을 가상화 기술로 통합해 제공하는 기술을 말하는 거죠.

 

우리 주변에 쉽게 접할 수 있는 E-mail, ATM기기, 항공기나 열차의 실시간 좌석 예약 시스템이 클라우드 시스템을 기반으로 한 것이죠

 

 

그렇다면 가상화는 어떤 기술일까요?

 

우리가 흔히 '가상'이라는 단어를 생각하면 어떤 대상이 진짜가 아닌 가짜라는 의미로, 가짜와 진짜의 구분을 무의미하게 만드는 통합의 측면을 강조합니다. IT업계에서 말하는 '가상화'도 하드웨어와 소프트웨어라는 물리적인 존재를 분할하고 통합해서 효율성을 극대화하는 전략을 말합니다. 물리적인 장비에서 논리적인 영역을 분리해 냄으로써 컴퓨팅 자원을 기존의 복잡하게 얽힌 장치에서 해방시켜 가장 효율적인 방식으로 하는 활용 및 관리 시스템을 말하는 것.

 

이렇게 가상화는 많은 기업, 학교, 병원 등에서 사용 중이고 점점 사용하는 추세가 늘고 있는데요.

 

 가상화의 장점을 정리하자면

우선, 하나의 서버에 여러 개의 가상화 서버를 올려서 더 높은 효율성과 안정성을 보장합니다.

또한 컴퓨팅 컴포넌트들을 설정 변화, 혹은 새로운 패치, 업그레이드 등 사용자나 애플리케이션 측면의 변화에 관계 없이 역동적으로 결합하고 최상의 딜리버리 경험을 보장할 수 있도록 조합할 수 있습니다. 때문에 관리 효율이 증가하고 보안에서도 효과를 볼 수 있습니다.

또한 물리적 인프라를 줄이고 서버 관리 비율을 높여 데이터 센터 비용을 절감하고, 단순히 서버에서만 가능한게 아니라 IT 인프라 전체에서 가능하다는 장점이 있습니다. 

  

가상화는 크게 두 분류로 나뉩니다. 플랫폼 가상화와 리소스 가상화로 나눌 수 있습니다.

 

 플랫폼 가상화

하드웨어랑 소프트웨어를 결합하는 가상 머신을 만들어 내는 것으로 Vmware, virtualbox, Virtual PC 등이 있습니다.

 리소스 가상화

리소스의 집합, 측정, 연결의 구성요소를 더 큰 리소스나 리소스 더미로 결합하는 것으로 가상메모리, RAID와 논리볼륨관리, 저장 장치 가상화, 채널결합, 가상 사설 네트워크(VPN), 가상 주소 번역(NAT)등이 있습니다.

  

이제 마지막으로 적용분야와 이점에 대해 알아보도록 하겠습니다.

  

서버 가상화

- 가장 일반적인 가상화 기술로 꼽히는 영역. - 서버 가상화는 하나의 시스템 상에 각기 다른 운영체제의 다양한 서버 어플리케이션을 사용할 수 있도록 하는 기술. - 즉, 하나의 물리적인 서버를 여러 개의 나눠 다양한 운영체제를 구동.   VM웨어 와 IBM, 마이크로 소프트웨어, 썬 등이 서버 가상화와 관련된 솔루션을 제공.

 

 

 

스토리지 가상화

- 서버 가상화와 함께 인프라 차원의 가상화를 의미 - 스토리지 시스템의 복잡성을 해결하면서 스토리지 통합을  지원하는 기술. - 물리적인 저장 공간을 논리적인 저장 공간으로 재분배하여   물리적인 장치의 구성과 용량 배분을 서버와 어플리케이션에   관계없이 할당하도록 지원.

<이점> - 가용성과 관리 용이성이 향상 - 용량 대비 비용이나 I/O 성능이 개선.

 

 

 

애플리케이션/데스크톱 가상화

애플리케이션 - 중앙의 서버가 모든 윈도우 애플리케이션을 중앙의 데이터 센터에 따로 저장해 두고, 이를 이용자의 요청이 있을 때 스트리밍 형태로 전달하는 것. - 즉 애플리케이션의 저장 위치는 서버가 되고, 사용자에게는 보여지는 부분만 전달되는 것.

데스크톱 - 범위가 넓은 개념으로 하나의 애플리케이션 수준이 아니라 운영체제 환경 자체를 서버에서 지원하는 형태. - 데스크톱 가상화와 같은 경우에는 이미 웹2.0이 발전하면서 웹 상에서 가상의 데스크톱 환경을 만들어주는 서비스들이 많이 생겨나고 발전하고 있다.

 

 

빅데이터를 활용한 클라우드

 

클라우드는 다양한 클라이언트 장치에서 돌아가는 기술로 인터넷상의 유틸리티 데이터 서버를 두고 필요할 때마다 PC, 스마트폰 등으로 사용을 하는 웹 기반 소프트웨어 서비스라고 생각할 수 있지만, 실시간으로 데이터 처리를 하면서 가상화를 시켜주는 것이 기업에서 많이 사용하는 클라우드 서비스 입니다.

 

실시간으로 처리를 하면서 동시에 대용량을 운영할 수 있기 때문에 많은 기업이 클라우드화를 진행하고 있는 이유가 되기도 합니다. 그래서 나온 것이 소셜이라고 보셔도 무관하실 것입니다.

 

예전에는 버렸던 데이터가 남겨지게 되면서 그러한 데이터까지 분석을 하여 새로운 정보와 매출창출을 위한 형태로 활용을 하기 위하여 빅데이터 처리를 위한 클라우드에 대한 수요가 생겨나게 된 것입니다.

 

클라우드의 장점인 확장성/ 안전성/ 유연성이 빅데이터 분석에 활용될 수 있는 장점으로 작용.

 

1.     빅데이터 분석에 클라우드가 사용되는 이유는 H/W 적인 비용 측면입니다. 데이터 분석을 위해서는 실시간 분산 병렬 처리가 가능한 서버가 필요한데, 이를 위해 클라우드 서비스를 사용하게 됩니다.

2.     클라우드 서비스의 확장성과 유연성은 실시간으로 무정형의 정보가 생겨나는 빅데이터 분석에 있어서 효율적입니다. 처리량이 증가하거나 감소할 때, 클라우드 서비스의 확장성과 유연성은 효율적인 답을 제시해줍니다. 클라우드 서비스 이용자는 H/W 사용량의 최대,최소치를 알 수 없기 때문에 자동으로 H/W 사용의 증감을 통해 효율적으로 자원을 사용하는 클라우드 서비스가 적합하게 됩니다.

3.     클라우드 컴퓨팅은 모든 정보가 중앙 컴퓨터나 제 3자가 제공하는 인프라를 통해 이용하도록 되어 있어 저렴하고 쉽게 컴퓨터 자원을 관리, 사용할 수 있다.

4.     이러한 자원은 제공업체가 항상 자원 풀을 관리하고 있기 때문에 언제나 활용할 수 있을 뿐 아니라 용량의 확대 등이 자유롭다

5.     이처럼 높은 활용성은 기업의 특성에 맞게 유연하게 활용할 수 있다. 예를 들어 벤처기업의 경우 자체 확보된 서버 수가 많지 않기 때문에 갑작스럽게 서비스 수요가 증가하거나 신규 서비스를 테스트 하는 데 클라우드 컴퓨팅 서비스는 매우 유용하다.

6.     모든 종류의 애플리케이션을 실행할 수 있다. 기존에 운영되고 있는 애플리케이션은 물론 미래형 애플리케이션까지 어떤 종류의 애플리케이션도 실행할 수 있다.

7.     기업고객에게 인터넷 클라우드 설치, 테스트 랩 전개, 재해 복구, 오픈 프리마이즈의 유연한 운영과 확장성 제공. 중소기업 고객들에게는 재해복구, 인프라 확충, 테스트 및 개발 등의 안전성과 유연성을 가져다 줄 것이다.

 

1. 빅데이터의 분석을 통한 활용 가능성이 최근 기업들에게 화두임

2. 빅데이터 분석을 위해서는 큰 대용량의 자료 분석이 필요함. 또한 빅데이터의 큰 의미 중 하나는 소셜 네트워크 등에서 발생하는 실시간 정보로서 단순한 대용량 정보 분석 뿐만이 아닌 실시간 분석이 가능한 대용량 분석 처리 시스템이 필요함.

3. 분산 처리 시스템과 실시간 개념이 접목된 클라우드 서비스가 적합

4. 클라우드 서비스가 빅데이터 분석에 사용될 수 밖에 없는 것이 말씀해주신 것처럼, 엄청난 H/W 비용 부담

5. 클라우드 서비스를 이용할 경우

- 기업의 특성에 맞게 유연하게 사용할 수 있다-> 벤처기업의 경우 서버 설치에 비용 부담할 수 없으니 이런 서비스를 이용

- 필요한 양에 맞는 자원 풀을 사용하므로 확장성이 용이하다

- 기업고객에게 테스트 실험 전개 또는 재해 복구, 인프라 확충 등 안전성을 가져다 줄 수 있다.