AI 개발자, 데이터 엔지니어가 뭘까

대학원을 다닌지 1학기 정도가 되었고 그 동안 대화를 어느정도 해본 사람들은 30명 약간 넘는 것 같다. 일단 대학원에 사람이 꽤 많다는 것도 놀랐고 생각보다 다양한 직무가 있다는 걸 느낀다.

 

대부분 본인의 직무에 대해서 매우매우 쉽게 표현해주지는 않기 때문에 대략 알고 있어야 서로 대화가 편한 부분이 있다. 그래서 두루뭉술하게 AI 개발자, 데이터 엔지니어라고 알고 있던 것들을 정리하려고 한다.

---

백엔드 개발자

주요 업무

• API 설계 및 개발(REST, GraphQL)
• DB 설계 및 최적화
• 서버 아키텍쳐 설계 및 구현
• 마이크로서비스 아키텍처 구현
• 캐싱 시스템 구축(Redis, Memcached)
• 메시징 시스템 연동(Kafka, RabiitMQ)
• 보안 및 인증/인가 시스템 구현
• 성능 최적화 및 모니터링
• CI/CD 파이프라인 구축

요구 역량

• 프로그래밍 언어: Java/Spring, Python/Django 등
• 데이터베이스: MySQL, PostgreSQL, MongoDB 등
• 클라우드: AWS, GCP, Azure
• 컨테이너: Docker, Kubernetes
• 버전 관리: Git
• 시스템 설계 능력

---

AI 개발자

주요 업무

• 머신러닝 모델 개발 및 학습
• 딥러닝 모델 설계(CNN, RNN)
• 자연어처리(NLP) 솔루션 개발
• 컴퓨터 비전 시스템 구축
• MLOps 파이프라인 구축
• 데이터 전처리 및 특성 엔지니어링
• AI 서비스 배포 및 운영
• 추천 시스템 개발

요구 역량

• 프로그래밍 언어: Python, R
• ML/DL 프레임워크: TensorFlow, PyTorch
• 수학/통계: 선형대수, 확률통계, 미적분
• 클라우드 ML 서비스: AWS SageMaker, GCP Vertex AI
• 데이터 처리: Pandas, Numpy
• 논문 리딩 및 최신 기술 트렌드 파악 능력

컴퓨터 비전: 컴퓨터가 영상이나 이미지 등을 이해하고 해석할 수 있도록 하는 기술

---

데이터 엔지니어

주요 업무

• 데이터 파이프라인 설계 및 구축
• ETL/ELT 프로세스 개발
• 빅데이터 플랫폼 구축 (Hadoop, Spark)
• 실시간 데이터 스트리밍 시스템 구축
• 데이터 웨어하우스/레이크 설계
• 데이터 품질 관리 및 모니터링
• 데이터 거버넌스 및 보안
• 분산 시스템 운영

요구 역량

• 프로그래밍 언어: Python, Java, Scala
• 빅데이터 기술: Hadoop, Spark, Kafka
• 클라우드 데이터 서비스: AWS Redshift/EMR, GCP BigQuery
• 데이터베이스: 관계형/NoSQL/시계열 DB
• 오케스트레이션 도구: Airflow, Prefect
• 스트리밍: Kafka, Kinesis, Pub/Sub
• 분산 시스템 이해

하둡(Hadoop): 대용량 데이터를 저장하고 분석하는 프레임워크, 저장은 DFS(Distributed File System)을 통해 분산 저장을 하며, MapReduce가 분석하는데 분석이 느리다는 단점이 존재.

스파크(Spark): 하둡의 문제점을 보완한 프레임워크(메모리 사용으로 대용량 데이터 분석이 더 빠르다)

하둡, 스파크 관련 이해가 쉬운 글

데이터 거버넌스: 데이터 관리 규칙. 어떻게 데이터를 제대로, 안전하고 효율적으로 관리할지에 대한 체계.

---

 

개발자라면 관련된 일에 대해 자연스럽게 안다고 생각했었는데 막상 하는 업무 부분 외에는 자주 듣는 용어들이어도 뜻을 잘 모르고 넘겨짚는 경우가 많은 것 같아 정리해봤다.