1. Databricks와 Lakehouse Platform 2. Databricks Delta Lake 3. Databricks Unity Catalog 4. Databricks Data Engineering Workload 5. Databricks Data Warehousing Workload 6. Databricks Data Science and ML Workload 이번 장은 Databricks 두번째 소개 시간으로 Databricks Lakehouse의 근간을 차지하고 있는 … 더 보기
최근 NoSQL의 사용이 늘어나고 있습니다. NoSQL은 Not Only SQL의 약자로 기존 RDB(Relational Database)의 ACID(Atomicity, Consistency, Isolation, Durability) 특성보다 BASE(Basically Available, Soft State, Eventually Consistent) 특성을 추구하는 데이터베이스를 말합니다. NoSQL은 비정형의 초고용량 데이터를 빠르게 처리하고자 할 때 기존의 RDB보다 뛰어난 성능을 … 더 보기
레디스(Redis)는 시스템 메모리를 사용하여 Key-Value 형식으로 데이터를 저장하는 오픈소스 NoSQL의 일종이다. 비슷한 기능을 제공하는 Memcached에 비하여 데이터의 영속성(Persistence)을 보장하고 다양한 데이터 구조를 지원하여 최근 많이 사용되고 있다. 레디스의 구조와 활용, 모니터링 솔루션 등에 대해서 알아보자. 1. Redis 소개 (1) 정의 … 더 보기
Databricks 비즈니스를 시작하면서 소개용으로 회사Blog에 시리즈로 연재하여 좀더 많은 사람들에게 알리고자 합니다. Databricks 소개자료는 총 6회로 구성하고자 하며 다음과 같은 목차로 시작하고자 합니다. 1. Databricks와 Lakehouse Platform 2. Databricks Delta Lake 3. Databricks Unity Catalog 4. Databricks Data Engineering Workload … 더 보기
1999년 MIT공대의 Auto-ID센터 연구에서 기원을 찾을 수 있는 IoT(사물 인터넷)는 그 후, 지속적인 발전과 진화를 거듭해오고 있다. 2000년대엔 스마트 홈이, 그리고 2010년대에는 독일에서 시작된 공장 자동화 패러다임인 인더스트리 4.0이 등장하였다. 또한, 2020년대에 들어서 급격히 그 관심과 완성도가 높아지고 있는 AI(인공지능) … 더 보기
AIoT (지능형 IoT) 의 국내외 발전 동향 및 AIoT 품질 구현 1. 배경 2021년 6월 맥킨지&컴퍼니(McKinsey & Company)는 “The Top Trends in Tech”[1] 보고서에서 차세대 프로세스 자동화(Next-level process automation), 프로세스 가상화(Process virtualization), 연결의 미래(Future of connectivity), 분산 인프라(Distributed infrastructure), 차세대 … 더 보기
순환신경망(RNN: Recurrent Neural Networks) 기반 자연어 처리 1. 자연어의 분산 표현 기계 학습을 통해 자연어, 텍스트 데이터를 처리할 때는 단어를 벡터로 변환, 벡터화(vectorization)하여 연산한다. 구체적으로는, 기계가 학습하는 자연어 데이터에서 특정 단어 주변(또는 맥락; context)에서 함께 사용된 단어들을 활용하여 단어를 밀집 … 더 보기
자연어 처리(Natural Language Processing) 와 딥러닝(Deep Learning) 알고리즘 최근 자연어 처리(Natural Language Processing) 분야는 신경망 기반 딥러닝(Deep Learning) 알고리즘을 적용하여 성능이 비약적으로 개선되었다. 문맥 기반(context-based) 시퀀셜 데이터(sequential data) 분석을 지원하는 순환신경망(RNN), LSTM, 나아가 현재 각광받고 있는 Bert, GPT 기계 번역 … 더 보기
1. 자연어 처리 (NLP; Natural Language Processing) 란 자연어 처리 (NLP; Natural Language Processing) [1] 분야는 인공지능의 한 분야로서 사람과 사람 간 지식, 의견, 정보 등을 전달하는 소통 수단인 언어를 컴퓨터가 이해할 수 있도록 변환하여 처리하는 분야이다. 자연어 처리 기술을 … 더 보기
Gartner© 선정 2022년 주요 IT 전략 기술 : Top 9 – 12 성장 가속화(Accelerating Growth) 가트너©는 비즈니스의 성장을 가속화하고 (Accelerating Growth) 조직의 IT 역량과 조직이 창출할 수 있는 가치를 극대화할 주요 툴로써 ▲ 분산 엔터프라이즈(Distributed Enterprise), ▲ 총 경험(Total Experience), … 더 보기