Модуль 2. Работа с данными
Введение
Что такое данные
Работа с данными — это процесс обработки и анализа данных для получения полезной информации и принятия важных бизнес-решений.
Данные — это набор фактической информации. Ими могут быть:
цифры
текст
изображения
аудио
видео
таблицы и т.д.
Компании анализируют данные своих заказчиков и клиентов, чтобы понимать их поведение. Google и Facebook, к примеру, получают из них информацию о наших потребностях, жизненных ситуациях, настроении, образе жизни и исходя из этого делают рекомендательные системы и модели машинного обучения.
Давайте посмотрим, на какие группы делятся данные.
Давайте посмотрим, на какие группы делятся данные.
Виды данных
В зависимости от формата данные можно разделить на две группы:
Также выделяют следующие виды данных.
Табличные данные
Описание
Структурированные данные, представленные в виде таблицы (это удобно для моделей машинного обучения). Значения ячеек таблицы могут быть как качественными (пол человека, тип кузова автомобиля и т. д.), так и количественными (количество дверей, рост человека и т. д.).
Примеры
Таблицы реляционных баз данных, аналитические отчеты в виде таблиц, журналы учета.
Структурированные данные, представленные в виде таблицы (это удобно для моделей машинного обучения). Значения ячеек таблицы могут быть как качественными (пол человека, тип кузова автомобиля и т. д.), так и количественными (количество дверей, рост человека и т. д.).
Примеры
Таблицы реляционных баз данных, аналитические отчеты в виде таблиц, журналы учета.
Тексты
Описание
Все, что можно считать связной письменной информацией. С нею работают технологии больших языковых моделей, в частности, GPT.
Примеры
Художественные книги, тексты законов, сообщения из мессенджеров, письма, отчеты программ о работе.
Все, что можно считать связной письменной информацией. С нею работают технологии больших языковых моделей, в частности, GPT.
Примеры
Художественные книги, тексты законов, сообщения из мессенджеров, письма, отчеты программ о работе.
Изображения, видео
Описание
Могут быть как двумерными, так и трехмерными. Количество каналов и разрешения в них могут отличаться. Видео имеют различную частоту кадров.
Примеры
Фото с телефона или камеры контроля дорожного движения. Многоканальное изображение — снимок с космического телескопа. Трехмерное изображение — магнитно-резонансная томография (МРТ) или компьютерная томография (КТ) человеческого тела. Видео с концерта в соцсети, видео с камеры робота, работающего на большой глубине.
Могут быть как двумерными, так и трехмерными. Количество каналов и разрешения в них могут отличаться. Видео имеют различную частоту кадров.
Примеры
Фото с телефона или камеры контроля дорожного движения. Многоканальное изображение — снимок с космического телескопа. Трехмерное изображение — магнитно-резонансная томография (МРТ) или компьютерная томография (КТ) человеческого тела. Видео с концерта в соцсети, видео с камеры робота, работающего на большой глубине.
Музыка, голос и другие звуки
Описание
Речь, музыка и другие звуки. Они содержат информацию, соответствуют определенному настроению и могут, например, помогать распознавать поломки и неполадки в системе.
Примеры
Звуковые записи в мессенджерах, музыкальные композиции и различные виды звуковых шумов, эффектов: двигатели автомобилей или самолетов, стук камнедробильной машины.
Речь, музыка и другие звуки. Они содержат информацию, соответствуют определенному настроению и могут, например, помогать распознавать поломки и неполадки в системе.
Примеры
Звуковые записи в мессенджерах, музыкальные композиции и различные виды звуковых шумов, эффектов: двигатели автомобилей или самолетов, стук камнедробильной машины.
Геоданные
Описание
Данные, которые относятся к геоинформационным системам (ГИС).
Примеры
Карты и различные слои на них (рельеф, карты осадков, залегания полезных ископаемых и т. д.), объекты на картах (дома, дороги, реки и т. д.), точки на картах (трек путешествия на автомобиле, достопримечательности, закладки и т. д.).
Данные, которые относятся к геоинформационным системам (ГИС).
Примеры
Карты и различные слои на них (рельеф, карты осадков, залегания полезных ископаемых и т. д.), объекты на картах (дома, дороги, реки и т. д.), точки на картах (трек путешествия на автомобиле, достопримечательности, закладки и т. д.).
Графы
Описание
Структура данных, которая представляет собой взаимосвязь узлов (вершин) с помощью ребер. Ребро может указывать на вес/стоимость прохождения по пути между двумя вершинами.
Примеры
Информация о друзьях в социальных сетях, банковских транзакциях, схема метро или дорог.
Структура данных, которая представляет собой взаимосвязь узлов (вершин) с помощью ребер. Ребро может указывать на вес/стоимость прохождения по пути между двумя вершинами.
Примеры
Информация о друзьях в социальных сетях, банковских транзакциях, схема метро или дорог.
На протяжении десятилетий управление данными означало, по сути, сбор, хранение и периодический доступ к ним. В последние годы все изменилось. Давайте рассмотрим, какие тенденции наблюдаются в сфере данных сегодня.
Мировые тенденции в сфере данных
Сегодня, в век развития интернет-технологий, прислать данные на сервер не составит трудностей — на это способны каждый смартфон и компьютер. При этом самый значительный пласт данных получают от пользователей, что возможно благодаря:
веб-сайтам
мобильным приложениям
десктопным приложениям
Давайте рассмотрим примеры того, как вы в повседневной жизни взаимодействуете с данными.
Вы ставите лайк фильму на видеосервисе, подписываетесь на канал или оставляете комментарий.
Вы совершаете транзакцию: оплачиваете товары и услуги, снимаете наличные, переводите денежные средства.
Вы устанавливаете датчик температуры снаружи и внутри дома или составляете карту помещения для робота-пылесоса с помощью системы Internet of Things (IoT).
Данные также можно получить с производств выплавки стали, беспилотных автомобилей, GPS-трекеров и многого другого.
Качественный скачок данных произошел в 1990—2000 гг. — сейчас их количество огромно. Взгляните на схему: она иллюстрирует мировой объем хранилища информации.
Качественный скачок данных произошел в 1990—2000 гг. — сейчас их количество огромно. Взгляните на схему: она иллюстрирует мировой объем хранилища информации.
Человечество ежедневно генерирует более 2,5 квинтиллионов байт данных — но еще никогда процесс сбора, анализа и интерпретации данных не был таким простым и эффективным.