AI Data Engineer

Job description

[팀소개] LG AI Research는 EXAONE을 비롯한 대규모 AI 모델 연구·개발을 통해 산업 전반의 AI 전환을 선도하고 있습니다. Product Unit 산하 Data Governance팀은 연구 조직 전반에서 생성·활용되는 데이터에 대한 정책을 수립하고, 일관된 방식으로 수집–정제–버전관리–검색–공유–접근제어 할 수 있는 통합 데이터 플랫폼을 설계·구축, 이를 기반으로 다양한 인더스트리에 최신 AI 기법을 실제 서비스/업무에 적용하는 Practical AI를 구현합니다. 현재 여러 연구 랩이 독립적으로 데이터를 관리하며 발생하는 검색/버전/공유/거버넌스의 한계를 해결하고, 페타바이트(PB) 규모 연구 데이터를 안정적으로 운영하여 연구원이 데이터 고민 없이 연구에 몰입할 수 있는 환경을 만드는 것이 목표입니다. 이 방향성을 데이터 플랫폼 아키텍처 관점에서 주도적으로 설계하고 구현할 분을 찾고 있습니다. [수행 업무] - Data Catalog(검색/분류/품질/소유권) 및 표준 스키마/정책 체계 설계 - 데이터 접근 제어(권한/정책/토큰·IAM 기반), 감사(Audit)·추적 체계 설계 및 구현 - SDK/CLI 개발 및 연구 워크플로우(학습/평가/실험)에 통합 - Kubernetes 기반 Data Pipeline 서비스 배포 및 운영, CI/CD 및 운영 자동화 - Google Cloud Platform 기반 PB급 스토리지·파이프라인 아키텍처 설계 및 운영 - 다수 조직/대규모 데이터 성능·비용·가용성 최적화 및 SLO/SLA 기반 운영 - 시스템 모니터링/관측 환경 설계(메트릭/로그/알림) 및 장애 대응 체계 고도화 [지원자격] - 소프트웨어 엔지니어링 경력 7년 이상, 이 중 데이터 인프라·플랫폼 3년 이상 및 데이터 플랫폼 아키텍처 설계 경험 보유 - Google Cloud Platform 기반 인프라 설계·운영 경험 - Kubernetes 기반 서비스 배포·운영 경험(운영 자동화/장애 대응 포함) - Python 기반 백엔드/플랫폼 개발에 능숙하며, 대규모 시스템 설계·구현 경험 보유 - 분산 시스템 설계 원칙에 대한 이해와 운영 경험 - 정형/비정형 데이터 파이프라인(수집/가공/추출) 설계·개발 경험 - Linux 환경에서의 개발 및 작업에 익숙하며, 다양한 이해관계자와 원활한 기술 커뮤니케이션이 가능한 분 [우대사항] - 기업 내 데이터 거버넌스 체계 수립 또는 데이터 중앙화 프로젝트 수행 경험 - 메타데이터 카탈로그/계보/정책 시스템 운영 경험 (예: Unity Catalog, DataHub, Hive Metastore 등) - 서비스 운영 데이터부터 AI 연구·개발 데이터(학습 데이터셋, 벤치마크, 모델, 사용자로그 등)까지 폭넓은 유형의 데이터를 다뤄본 경험 - LLM / Foundation Model 학습 데이터 파이프라인에 대한 이해 - 데이터 버전 관리 및 레이크하우스 기술 경험 (예: LakeFS, Delta Lake, Apache Iceberg 등) - 대규모 데이터 처리 프레임워크 활용 경험 (예: Apache Spark, Trino, Flink 등) - IaC / GitOps 기반 인프라 관리 경험 (예: Helm, Terraform, ArgoCD 등)