LLM Engineer (Optimization)

Job description

# **About the Team & Mission** LLM Engineer (Optimization)는 대규모 언어 모델(LLM)의 추론 성능(Inference Performance)을 극대화하여 실제 서비스 환경에 최적화된 AI 시스템을 개발합니다. 서버(GPU Cluster)부터 Edge 및 On-device 환경까지 다양한 하드웨어에서 최고의 성능과 효율을 달성할 수 있도록 Inference Engine, Runtime, Compiler 및 Model Optimization 기술을 연구·개발합니다. 최신 LLM Serving 기술과 GPU/Accelerator 최적화를 활용하여 고성능·저지연·저비용 AI 서비스를 구현하는 핵심 역할을 수행합니다. ## **Responsibilities** - **LLM Inference Optimization** - 대규모 언어 모델(LLM)의 추론 성능(Latency, Throughput, Memory Efficiency)을 최적화합니다. - 다양한 모델 구조 및 추론 환경에 맞는 최적화 기법을 연구하고 적용합니다. - Long Context, Multi-turn Conversation 등 실제 서비스 환경에서의 성능을 개선합니다. - **Inference Engine 및 Runtime 개발** - GPU 및 Accelerator 기반 LLM Inference Engine을 개발하고 최적화합니다. - vLLM, TensorRT-LLM, SGLang, llama.cpp, ONNX Runtime, MLX 등 최신 Inference Framework를 활용하거나 개선합니다. - Speculative Decoding, Prefill-Decode Disaggregation 등 최신 Serving 기술을 적용합니다. - **Model Compression 및 Compiler Optimization** - Quantization(MXFP8, NVFP4, AWQ, GPTQ 등) Pruning, Distillation 등 모델 경량화 기법을 연구하고 적용합니다. - CUDA, Triton, TensorRT, TVM, MLIR 등 Compiler 및 Kernel Optimization을 활용하여 추론 성능을 향상합니다. - GPU Memory 및 Kernel 효율을 분석하고 최적화합니다. - **Edge AI 및 On-device Optimization** - Mobile, Embedded, Edge Device 환경에서 LLM을 효율적으로 실행하기 위한 최적화 기술을 개발합니다. - CPU, GPU, NPU 등 다양한 하드웨어 아키텍처에 맞는 최적화 전략을 수립합니다. - 제한된 리소스 환경에서도 높은 성능과 낮은 전력 소비를 달성할 수 있도록 최적화합니다. - **Performance Analysis 및 Benchmark** - 다양한 하드웨어 및 Inference Backend의 성능을 분석하고 Benchmark를 수행합니다. - NVIDIA Nsight Systems, Nsight Compute, py-spy 등의 Profiling Tool을 활용하여 GPU 및 Runtime 병목을 분석하고 지속적으로 추론 성능을 개선합니다. - 주어진 Prompt 및 서비스 요구사항에 맞춰 모델 품질, 추론 성능(Latency/Throughput), 비용 간의 Trade-off를 최적화하고, 이에 적합한 Serving Architecture를 설계합니다. ## **Qualifications** - ILLM, Machine Learning Infrastructure 또는 Inference Optimization 관련 경력 3년 이상 - LLM Inference Engine 또는 AI Runtime 개발 경험 - GPU Architecture, CUDA Programming 또는 병렬 컴퓨팅에 대한 이해 - Quantization, Model Compression, Compiler Optimization 등 모델 최적화 기술에 대한 이해 - PyTorch, ONNX, TensorRT 등 딥러닝 프레임워크 활용 경험 - Python 및 C/C++ 중 하나 이상의 언어에 능숙하며, 소프트웨어 엔지니어링 역량을 보유하신 분 - 성능 분석 및 문제 해결 능력과 협업 역량을 갖추신 분 ## **Preferred Qualifications** - vLLM, TensorRT-LLM, SGLang, llama.cpp, MLX, ONNX Runtime 등 LLM Serving Framework 활용 또는 개발 경험 - CUDA, Triton Kernel 또는 Custom Operator 개발 경험 - Speculative Decoding, Prefill-Decode Disaggregation, KV Cache Compression, Expert Parallelism(MoE) 등 최신 LLM Inference Optimization 및 Serving 기술 경험 - NVIDIA GPU(H100, B200 등), AMD GPU 또는 다양한 AI Accelerator 최적화 경험 - Edge AI 및 On-device LLM 최적화 경험(Orin, Thor, Qualcomm, Apple Silicon 등) - Kubernetes 기반 AI Serving 또는 대규모 GPU Cluster 운영 경험 - LLM Fine-tuning 및 Distributed Training에 대한 이해 - AI Systems, ML Systems 또는 LLM Infrastructure 관련 오픈소스 기여 경험 - AI/ML Systems 분야의 우수 학회(NeurIPS, ICML, ICLR, MLSys, OSDI, NSDI, ASPLOS 등) 논문 발표 또는 이에 준하는 연구 경험 ## **Interview Process** - 서류 전형 - 코딩·과제 테스트 - 1차 면접 (화상, 1시간 내외) - 2차 면접 (대면 혹은 화상, 3시간 내외) - 처우 협의·입사 ## **Additional Information** - 전형 절차는 일정 및 진행 상황에 따라 일부 변경될 수 있으며, 각 전형 결과는 등록하신 이메일로 개별 안내드립니다. - 지원서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다. - 지원서 접수 중 오류가 발생하거나 기타 문의 사항이 있을 경우, recruit@42dot.ai로 문의해 주시기 바랍니다. - 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다. - 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다. - 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다. - 지원서 내용 중 허위 사실이 발견될 경우, 입사가 취소될 수 있습니다. - 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다. - 3개월의 수습기간이 적용될 수 있습니다.