Кто работает с большими данными: разбираем проекты и инструменты

Мы позвали в подкаст bigdata-разработчика. Но во время разговора оказалось, что наш герой — дата-инженер. А мы хотели обратиться к нему как к дата-аналитику — это вообще другие ребята. Но за то, как разместить эту «дату» в хранилище, всё равно часто отвечает инженер, и называется это data governance. А ещё там есть свои собственные администраторы. На факультете bigdata-аналитики GeekBrains Артём Гогин ведёт курсы по Hadoop, Spark и Kafka, а ещё он bigdata-разработчик в Сбербанке. Благодаря Артёму мы разберёмся в специальностях и обязанностях, а также в том, что это он вообще преподаёт. 0:59 Сколько данных в Сбербанке? Спойлер: много. 4:31 Почему для больших данных важна оперативная память? 10:01 Что делает дата-инженер в хранилище данных. Разбираемся в ролях: инженеры, аналитики, администраторы и не только. 15:03 Что такое Hadoop? 17:14 Можно ли назвать Windows базой данных? 22:07 А что такое Spark? 26:38 Переходим к Kafka. Становится сложнее. 31:54 Хозяева щеночков и кредиты — раскладываем по полочкам типичную задачу для банковской big data. 39:49 Когда вступает дата-инженер и при чём тут data governance. 47:11 Распространенные ошибки дата-инженеров. Пишите нам на почту: podcast@geekbrains.ru Ведущий: Николай Землянский Звук: Фёдор Пудалов, Подкастерская

You can listen to Кто работает с большими данными: разбираем проекты и инструменты online on Radio and Podcast. Open the player on this page to stream the available audio.

Кто работает с большими данными: разбираем проекты и инструменты is an episode from Выхожу с понедельника by GeekBrains.

This episode is 00:55:22 long.

This episode was published on Dec 28, 2020.

Yes. Use the heart button on the episode page to add it to your favorite episodes list.

Yes. This page shows related episodes from Выхожу с понедельника when more episodes are available from the podcast feed.