[week 1] 모두를 위한 데이터 엔지니어링
데이터 엔지니어링이란? 데이터 수집 및 분석을 위한 DB를 최적화하고, 데이터의 손상을 관리, 손상된 데이터는 삭제합니다. 그리고 방대한 양의 데이터를 처리하기 위한 아키텍처 개발 및 유지 관리하는 일을 뜻합니다. 위 그림에서 데이터 엔지니어는 데이터를 수집하고 저장하는 첫 번째 단계를 담당합니다. 데이터 분석가, 데이터 과학자 및 머신러닝 엔지니어를 위해 가능한 효율적으로 정확한 데이터를 전달해야 합니다. 데이터 엔지니어는 빅데이터를 다루는데 빅데이터 특징(5V)은 Volume(데이터의 크기), Variety(데이터의 유형: 텍스트, 이미지, 비디오, 오디오), Velocity(데이터 처리 속도), Veracity(데이터의 신뢰성, 얼마나 정확한지), Value(얼마나 유용한지)입니다. 데이터 파이프라..
2022. 4. 22.