Специалист по Big Data / машинному обучению

Сфера деятельности:

• Информационные технологии, интернет, связь

Вид деятельности:

• Анализировать и упорядочивать текстовую информацию
• Делать расчеты
• Программировать
• Исследовать

Компетенции:

• Системное мышление
• Внимание к деталям
• Аналитический склад ума
• Организованность
• Методичность
• Усидчивость
• Многозадачность
• Умение работать с большими объемами информации
• Обучаемость

Специалист по Big Data (аналитик Big Data, инженер Big Data, Data Scientist, специалист по машинному обучению) - это программист, который работает с большими массивами данных разной степени разрозненности и структурированности: банковские счета, запросы пользователей в поисковых системах, поведение пользователей социальных сетей, публикации СМИ, открытые фото- и видеофайлы, данные сейсмической активности планеты, метеорологические сводки и другие данные, которые занимают терабайты памяти, превосходят возможности типичных баз данных и доступны для обработки только компьютером.

Работа с большими данными открывает недоступные ранее возможности в самых разных областях – сейчас анализ Big Data широко используется в IT, маркетинге, банковском секторе, государственном управлении, сельском хозяйстве. Например, крупные банки для предотвращения краж денег с кредитных карт анализируют ежедневные траты клиентов. Если сравнивать активность пользователей, которые имеют сходные "финансовые привычки", то аномальные траты одного пользователя (крупное снятие с кредитной карты, снятие денег в другой стране) сразу говорят о том, что картой могли завладеть мошенники и ее необходимо заблокировать.

Работа с Big Data часто сопровождается внедрением алгоритмов машинного обучения: например, современные технологии городского видеонаблюдения умеют распознавать лица людей в толпе. Чтобы компьютер освоил данную операцию, специалист по машинному обучению подбирает эталонный массив данных, где каждое лицо на видеофайле распознано. Машина анализирует информацию и учится распознавать самостоятельно. Вначале, конечно, она допускает ошибки, которые специалист исправляет, но с каждым новым исправлением компьютер работает все более точно.

Чем занимается специалист по Big Data и специалист по машинному обучению:

• Постановка целей анализа совместно с заказчиком
• Составление технического задания на анализ неструктурированного массива данных
• Сбор и исследование массива данных, выявление существенных признаков, поиск закономерностей
• Компьютерное моделирования процесса анализа / машинного обучения на небольших объемах данных
• Оптимизация процесса анализа, корректировка алгоритмов
• Применение алгоритмов ко всему объему данных
• Оценка результатов
• Составление отчетов с прогнозами и презентацией данных