외부 서비스 장애 경험을 통해 본 동기 호출 구조의 한계
최근 시스템 설계를 공부하면서, “이 이론을 지금 프로젝트에 적용해보면 어떨까?”라는 질문에 시작하여 블로그 글을 작성하게되었습니다. 현재 진행중인 프로젝트는 외부 서비스와 통합하여 분석 파이프라인 서비스를 제공하고 있습니다. 이 실무 과정에서 외부 서비스와 관련되어 문제가 발생하였습니다. 자료 업로드 후, 외부 전처리 API를 … 더 보기
IT기술
RDB 한계를 넘기 위해 Redshift Serverless와 이벤트 기반 파이프라인을 도입한 이야기
STT(Speech-to-Text) 및 TA(Text Analysis) AI 데이터를 시각화하는 대시보드를 운영하고 있습니다. 초기 웹 애플리케이션은 대시보드 성격보다는 AI 추론 결과를 검증하고 재학습 데이터를 생성하기 위한 검증 도구로 설계되었습니다. 이후 고객 니즈에 따라 대시보드 화면이 추가되었고, 점차 분석 및 조회 기능이 확장되었습니다. 초기에는 … 더 보기
데이터 품질은 점검이 아니라 설계다.
차세대 프로젝트 경험 기반 재구성 사례 차세대 프로젝트에서 품질대상을 선별해 규칙 세팅과 진단을 수행하며 전반적인 데이터 품질의 개념과 경험을 기반으로 구성한 사례로 품질 진단 방식에 대해서 공유합니다. 제가 경험한 프로젝트는 전환과 초기 적재 대상을 기준으로 품질 진단을 했으며, 일반적으로 일시적 … 더 보기
패키지 기반 빌드·배포 파이프라인: R로 보는 5단계 구조
1. 시작하며: ‘코드를 고쳤는데 왜 반영이 안 되지?’ 오랜만에 R 코드를 수정했을 때의 이야기입니다. 한글 인코딩 오류가 발생했는데 Java 코드 수정만으로는 해결되지 않는 상황이었습니다. 그래서 R 코드도 확인해 보고자 .R 파일을 열어 코드를 일부 수정하고 로그 출력을 추가했습니다. 이후 서비스를 … 더 보기
네트워크 분석 : 데이터 연결 구조로 본 사기 의심 계좌 패턴 분석
1. 네트워크 분석이란? 네트워크는 상호 연결된 개체들, 그룹, 또는 시스템 간 관계 구조를 말합니다. 우리의 현실 세계는 사람, 조직, 사물 등이 끊임없이 연결되며, 이 관계 속 연결망이 하나의 네트워크로 이루어져 있습니다. 우리의 현실 세계는 어떤 네트워크로 대상 간 관계를 이루고 … 더 보기
공공데이터 개방: 개념부터 활용까지
공공데이터는 오늘날 서비스 개발, 데이터 분석, 그리고 AI 프로젝트에서 빠지지 않는 핵심 키워드입니다. 정부·지자체·공공기관이 보유한 다양한 데이터를 적극적으로 개방하면서, 이를 기반으로 새로운 서비스를 만들거나 비즈니스와 정책 분석에 활용하는 사례가 꾸준히 증가하고 있습니다. 이 글에서는 공공데이터의 개념부터 개방 방식, 활용 사례, … 더 보기
시선으로 동작하는 AI: 에고센트릭 비전과 엣지 컴퓨팅의 융합
안녕하세요. 빅데이터&AI사업부의 김강산입니다. 최근 구글 글래스(Google Glass)의 재조명이나 메타 퀘스트(Meta Quest) 같은 디바이스의 발전으로 AI가 세상을 바라보는 시각이 변화하고 있습니다. 과거의 AI가 CCTV처럼 고정된 위치에서 세상을 관찰했다면, 이제는 사람의 1인칭 시점(First-Person View)에서 의도를 이해하고 반응하는 기술이 핵심이 되고 있습니다. 오늘 … 더 보기
Python과 GeoPandas를 활용한 공간 데이터 처리방법(공간 연산, 격자 변환)
1. 기술개요 QGIS를 이용해 공간 데이터를 다루면 시각적으로 편리하지만, 데이터가 크거나 월별·지역별 반복 작업이 많을 경우 처리 속도가 느리고 수동 작업이 늘어납니다 이를 해결하기 위해 Python과 GeoPandas를 활용하면, QGIS 없이도 좌표 변환, 공간 필터링, 격자화 등 전처리를 자동화할 수 있습니다. … 더 보기
제3편, AI과 공공기관 보안체계 전환-데이터관리체계 혁신이 필요한 이유
시스템 중심에서 데이터 중심으로 “업무정보 하나하나를 C/S/O로 분류하고 차등 통제하라?” N2SF 보안가이드라인은 18년간 작동해온 망분리 체계의 설계 철학을 전면 재검토하라는 요구하고있습니다. 기존 방식은 단순했습니다. 인사 DB 서버는 인사팀만, 재정 파일서버는 재정팀만 접근하는 경계 기반 통제였습니다. 그런데 사실, 이미 알고있듯이 단일 … 더 보기
제2편. AI와 공공기관 보안체계 전환 ― 데이터 분류와 통제 전략
지난 글에서 공공기관의 생성형 AI 도입과 함께 국가정보원의 새로운 보안체계전환인 N2SF(National Network Security Framework) 가이드라인과 제로트러스트 정책을 고려해야 한다는 점을 살펴보았습니다. 이번 글에서는 2025년 9월 30일, 국가정보원은 N2SF 보안 가이드라인 정식판(1.0)을 공식 발표하였는데요. 이번 글에서는 데이터 전문가 관점에서 정식 가이드라인에 … 더 보기