인공지능 인프라 (구성 요소&미래)

 이전 글에서 소개한 각각의 인공지능 인프라 구성요소에 대해 살펴보도록 하겠습니다.

인공지능 인프라

빅데이터 스토리지 (Big Data Storage)

 머신러닝과 인공지능 모델은 엄청난 양의 데이터로 작동해야 합니다. 따라서 AI 프레임워크를 구축할 때는 스토리지를 최우선으로 해야 합니다. 기업은 충분한 스토리지 용량과 신속한 데이터 검색이 가능한 메커니즘을 반드시 설치해야 합니다. 페타바이트(1,024테라바이트) 및 엑사바이트(1,024페타바이트)의 데이터를 지원할 수 있는 하드웨어에 대해 이야기하고 있습니다.

 

 회사가 성장할수록 데이터에 필요한 저장용량도 늘어납니다. 적절한 저장용량을 확보하려면 데이터 소스와 데이터가 있는 위치도 고려해야 합니다. 예를 들어, 데이터를 실시간으로 분석하거나 처리할 것인지 여부를 고려해야 합니다. 데이터셋을 임시로 저장하는 경우 일반적으로 SSD(Solid State Drive)로 충분합니다. 그러나 하드 디스크 드라이브(HDD)는 하드 드라이브에 영구적으로 저장되는 데이터에 더 적합합니다. 다양한 사례들을 통해 보았을 때 저장하려는 메모리의 최소 두 배를 준비하는 것이 권장됩니다.

 

데이터 스크러빙 및 관리 (Data Scrubbing, Management, and Governance)

조직은 데이터를 저장할 위치뿐만 아니라 데이터를 정리하는 방법도 선택해야 합니다. 큰 데이터를 처리할 때 일반적으로 전처리 단계 이전에 제거해야 하는 잘못된 값이나 누락된 값이 많이 존재합니다. 이때 OpenFine, Trifacta Wrangler 및 WinPure와 같은 데이터 클리닝 도구를 사용 할 수 있습니다.

 

 데이터 스크러빙 및 관리에는 다양한 부서의 모든 사용자가 데이터를 쉽게 사용하고 액세스할 수 있도록 보장하는 것이 포함됩니다. 또한 조직에서 설정해야 하는 다양한 프로토콜을 통해 데이터를 암호화하고 보안해야 합니다.

 

네트워킹(Networking)

 조직은 인공지능를 통해 생산적인 출력을 제공하기 위해 네트워크를 업그레이드하고 고성능 연결을 설치해야 합니다. 상위 인공지능 일수록 강력하고 일관된 통신에 크게 의존합니다. 그렇기 때문에 엄격한 AI 인프라를 구축하기 위해서는 고대역폭, 저지연 네트워크를 설치하는 것이 최우선 과제가 되어야 합니다.

 

 또한, 조직 내의 서로 다른 시스템과 부서 간에 정보를 전송하려면 빠르고 지능적인 엔터프라이즈 네트워크가 필요합니다. 또한 데이터 침해 및 유출과 같은 위협을 식별하고 방지하는 데도 도움이 됩니다.

 

인공지능 워크로드(Artificial Intelligence Workloads)

 좋은 인공지능 인프라는 강력한 중앙 처리 장치(CPU)와 그래픽 처리 장치(GPU) 없이는 완성되지 않습니다. 이 두 가지 모두 인공지능에서 처리 능력을 제공하는 구성 요소입니다.

 

 CPU는 데이터 입력, 저장 및 출력을 포함한 다양한 작업을 신속하게 수행할 수 있습니다. 그러나 딥 러닝 프로세스의 경우 CPU를 더 강력한 프로세서인 GPU와 결합하여 더 나은 결과를 제공해야 합니다. GPU와 결합된 CPU는 고품질 이미지와 비디오를 렌더링하고 더 복잡한 알고리즘을 배포할 수 있습니다.

 

 오늘날 AI 작업을 지원하도록 명시적으로 설계된 다양한 종류의 CPU와 GPU를 얻을 수 있습니다. 또한 Nvidia 및 EVGA와 같은 회사는 인공지능 인프라를 구축하는 데 유용할 수 있는 딥 러닝용 GPU를 생산합니다.

 

사물인터넷에서 인공지능(Artificial Intelligence of Things)

 Artificial Intelligence of Things(AIoT)은 인공지능과 사물인터넷(IoT)이 혼합된 것입니다. 사물 인터넷은 자동차, 냉장고, 온도 조절기와 같은 물체를 연결하여 데이터를 전송하는 데 초점을 맞춘 성장하는 산업으로, AIoT는 인간과 기계 간의 보다 효율적인 상호 작용을 만들고 데이터 관리 및 분석을 강화하는 것을 목표로 합니다.

 

전송 가능한 데이터의 양은 인공지능과 사물 인터넷의 협력으로 새로운 수준에 도달할 수 있습니다. 그러나 AIoT를 구현하려면 일반적으로 훨씬 더 지속 가능한 네트워크 연결과 대용량 데이터 저장 용량이 필요하므로 현재 기술이 이를 지원할 수 있는지 확인해야 합니다. AIoT 생태계에는 데이터를 수집하고 전송할 수 있는 여러 프로세서, 센서, 안테나 및 통신 하드웨어뿐만 아니라 IPv6, ZigBee 및 LiteOS와 같은 네트워킹 프레임워크 및 표준이 포함됩니다.

 

인공지능 훈련 및 기술 개발(AI Training and Skills Development)

 마지막으로, 인공지능이 가능한 한 프로세스를 자동화하는 것을 목표로 하지만, 여전히 모든 것을 관리하기 위해서는 인간의 손길이 필요합니다. 데이터 과학자, 소프트웨어 엔지니어, 사이버 보안 전문가 및 기타 IT 전문가로 구성된 팀이 모델을 개발 및 배포하고 인공지능 인프라를 유지 관리해야 합니다. 또한 이 전문가 팀은 인프라가 조직의 목표와 일치하도록 회사 임원들과 긴밀하게 협력해야 합니다.

 

인공지능 인프라의 미래

 인공지능의 힘 덕분에 보험 회사는 위험을 더 잘 평가할 수 있고, 제조업체는 병목 현상을 예방할 수 있으며, 의사는 환자에게 더욱 적절한 처방할 수 있습니다. 이것들은 오늘날의 AI 사용 사례 중 몇 가지에 불과합니다. 그러나 기술은 끊임없이 발전하고 있으며 이를 지원하는 인프라도 마찬가지입니다.

 

 앞으로 몇 년 동안, 우리는 훨씬 더 발전된 기능과 방대한 양의 데이터를 지원할 수 있는 컴퓨터 하드웨어의 추가적인 발전이 있을 것이라 기대합니다. 또한 인공지능 인프라의 다른 구성 요소의 주요 개발도 진행 중입니다. 이와 같이, 일부 인프라 요소는 더욱 발전할 것입니다.

 

 먼저, 데이터 웨어하우스, 레이크하우스 및 기타 데이터 플랫폼은 더 많은 볼륨과 다양한 데이터를 캡처하고,고급 솔루션에서는 원시 데이터의 품질을 평가하고 레이블이 지정된 데이터로 준비합니다. 또한 ML 엔지니어는 더 짧은 시간에 빅 데이터를 처리할 수 있으며, DevOps는 AI를 활용하여 워크스트림의 문제를 조기에 식별하고 제거할 수 있으며, 더 많은 기업이 딥러닝을 채택할 것입니다. 데이터 과학에 대한 지속적인 투자 덕분에 의료 분야의 의료 영상 분석과 제조 분야의 예측 기계 유지보수가 더욱 보편화될 것입니다. 마지막으로 조직은 상호의존적인 플랫폼에서 모듈식 인공지능 인프라로 전환하여 ML 라이프사이클의 구성요소를 특정 요구사항에 맞게 사용자 정의할 수 있게 될 것입니다.