XXIV Международный конкурс научно-исследовательских и творческих работ учащихся

Старт в науке

СОЗДАНИЕ ВЕБ-ПРИЛОЖЕНИЙ

• Авторы
• Руководители
• Файлы работы

Орлова М.И. 1

---

1МБОУ-лицей г.Татарск

Семенова Н.Н. 1

---

1МБОУ-лицей г. Татарск

Работа в формате PDF

567.2 KB

ВВЕДЕНИЕ

Актуальность. Одним из главных направлений стратегических задач Российской Федерации на период до 2030 г. является развитие цифровой экономики и цифрового обучения, так как большие данные, неумолимо внедряются практически во все сферы жизни и пользователь повседневно сталкивается с необходимостью длительного анализа получаемой информации. Поэтому необходимо активно развивать способы упрощения возможностей добычи и анализа данных. Не обработанные данные не имеют ценности. Для преобразования и анализа больших данных требуются инструменты и языки программирования.

Существует множество специальных инструментов и языков программирования, которые помогут вам автоматизировать процесс и сэкономить время.

Python лучше всего подходит для таких требований, потому что он зарекомендовал себя как язык как для общих вычислений, так и для научных вычислений. Кроме того, он постоянно пополняется новыми дополнениями к большому количеству библиотек, ориентированных на различные требования программирования. Именно простота процесса обучения программированию на языке Python, сочетающаяся с его широкими возможностями и разнообразными областями применения, обладает актуальностью. Фактор актуальности очень важен, ведь он увеличивает ценность знаний, получаемых во время обучения.

Цель исследования: создать алгоритм, который будет сравнивать и делать предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел.

Задачи исследования:

1. Познакомиться с языком программирования Python.

2.Изучить интерактивную оболочку Jupyter Notebook.

3. Разработать алгоритм, который будет сравнивать и делать предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел.

Практическая значимость. Предложенный алгоритм может быть использован широким кругом пользователей, которым не обязательно быть программистами или инженерами. Такие скрипты могут быть легко настраиваемыми, динамично изменяющимися и простыми в обращении.

1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ

1.1. Программирование на языке Python

Python - это мощный, универсальный, высокоуровневый язык программирования, который стал одним из наиболее популярных и востребованных инструментов в области разработки программного обеспечения. Он был создан в конце 1980-х годов Гвидо ван Россумом и быстро завоевал сердца разработчиков благодаря своей простоте, ориентации на читаемость кода и широким возможностям.

Одной из ключевых особенностей Python является его интуитивный и понятный синтаксис, который делает язык очень доступным для начинающих разработчиков. Это позволяет быстро перенести свои идеи в код и ускоряет процесс разработки. Благодаря этому, Python стал языком выбора для многих программистов, желающих освоить программирование.

Python предлагает широкий набор встроенных функций и модулей, которые делают его универсальным инструментом для различных задач. Он широко используется в разработке веб-приложений, научных исследований, анализа данных, машинного обучения, искусственного интеллекта, игровой индустрии и многих других областях.

Изучение программирования на языке Python — одно из важнейших элементов цифрового обучения, так как язык Python является интерпретируемым, при выполнении программы используется специальная программа-интерпретатор, которая анализирует каждую команду, из которых состоит программный код, после чего выполняет ее.

Особенности синтаксиса языка Python:

1. достаточное соответствие названий стандартных функций и ключевых слов на английском языке их обычному значению, не связанному с программированием;

2. данный подход к именованию хорошо сбалансирован с небольшой, но способствующей однозначному пониманию длиной имен ключевых слов и функций;

3. минималистичный синтаксис, который наделяет широкими возможностями специальные символы, но не затрудняет понимание написанной программы: значение специальных символов синтаксиса Python подобно их значению в обычных языках.

Данные особенности позволяют сделать написание, чтение и редактирование программ на языке Python простым для программиста и упростить процесс обучения на данном языке.

В процессе обучения программированию на языке Python используется интерактивная оболочка Jupyter Notebook (далее — JN), входящая в дистрибутив языка Pyhton Anaconda. Язык программирования Python был разработан Гвидо Ван Россумом (1956 г.р.) — нидерландским программистом, участвовавшим в создании языка ABC (языка программирования, предназначенного для обучения программированию) в 1980–1991 гг. Язык Python — высокоуровневый и интерпретируемый язык программирования. Он поддерживает такие парадигмы программирования, как функциональная, объектно-ориентированная и многие другие.

Это позволяет программисту при написании или представлении на естественном языке программы абстрагироваться от вычислительных процессов, которые будут производиться компьютером во время ее выполнения, и тратить большую часть времени на продумывание результата программы.

Пример реализации на языке Python высокоуровневой концепции — возможность использовать внутренние методы сортировки структурированных данных языка с помощью использования стандартной функции вместо выбора и написания алгоритма сортировки с использованием стандартных операторов.

1.2. Веб-приложение Jupyter notebook

Jupyter Notebook – это интерактивная среда разработки, позволяющая программистам Python писать, выполнять и отображать код. Он стал неотъемлемым инструментом для многих разработчиков благодаря своим многочисленным особенностям и удобству использования.

Одной из ключевых особенностей Jupyter Notebook является возможность создавать документы, которые могут содержать как код, так и подробные пояснения, комментарии и графики. Это делает его идеальным инструментом для создания и демонстрации проектов, отчетов, учебных материалов и научных исследований. Такой гибкий подход позволяет программистам взаимодействовать с кодом и результатами его выполнения без необходимости запускать его заново.

Еще одним преимуществом Jupyter Notebook является его интерактивность. Вместо того, чтобы писать и выполнять весь код сразу, можно выполнять отдельные ячейки кода и наблюдать результаты в режиме реального времени. Это позволяет быстро проверять и тестировать фрагменты кода без необходимости выполнять весь проект целиком. Кроме того, можно изменять и пробовать различные варианты кода в одном документе, что делает процесс разработки более гибким и продуктивным.

Jupyter Notebook также поддерживает множество расширений и плагинов, что позволяет программистам настроить его под свои потребности. Можно добавлять новые языки программирования, улучшать интерфейс, добавлять функциональность для работы с данными, визуализации и многое другое. Это делает Jupyter Notebook инструментом с высокой степенью настраиваемости и адаптации к специфическим требованиям пользователей.

Одной из ключевых причин популярности Jupyter Notebook среди программистов Python является его поддержка научных библиотек и фреймворков, таких как NumPy, Pandas, Matplotlib и SciPy. Jupyter Notebook обеспечивает простой доступ к этим мощным инструментам анализа данных и машинного обучения, позволяя исследовать и визуализировать данные, а также создавать и тестировать модели без необходимости использовать дополнительные инструменты.

Что касается работы Jupyter Notebook, он работает на основе ядра (kernel), которое выполняет код на выбранном языке программирования. В случае с Python, используется ядро IPython, которое позволяет выполнять код Python и предоставляет дополнительные возможности, такие как автодополнение, история команд и отображение справки. В свою очередь, ядро взаимодействует с пользовательским интерфейсом Jupyter Notebook, позволяя вводить команды, просматривать результаты и управлять выполнением кода.

Таким образом, Jupyter Notebook – это мощный и удобный инструмент для программистов Python. Его особенности, такие как возможность комбинировать код и подробные пояснения в одном документе, интерактивность, поддержка научных библиотек и настраиваемость, делают его незаменимым помощником в разработке, обучении и исследованиях. Он облегчает процесс создания проектов, позволяет быстро проверять код и результаты его выполнения, а также улучшает визуализацию и анализ данных. Если вы еще не знакомы с Jupyter Notebook, рекомендую вам ознакомиться с этим инструментом и начать использовать его для улучшения своей разработки программного обеспечения на Python.

2.1. Алгоритм, рекомендующий фильмы в Jupyter notebook

Для анализа полученных данных будем использовать Anaconda Jupiter Notebook. Посмотрим, как создать алгоритм, рекомендующий фильмы конкретному пользователю, на основе оценок, которые поставили другие пользователи этого сервиса. Алгоритм сравнивает их и делает предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел.

Алгоритм в Jupyter notebook представлен по ссылке https://disk.yandex.ru/d/DWOm3iEAgGOseA

Датасет содержит информацию о рейтингах фильмов, присвоенных пользователями. Всего в датасете представлено 28689 записей, разделённых на 5 столбцов (таб.1).

Таблица 1.

Структура датасета

Примеры первых пяти записей из датасета представлены в (таб.2)

Таблица 2.

Примеры записей

Общая информация

Все столбцы содержат 28689 ненулевых значений, что указывает на отсутствие пропущенных значений в этих полях.

Данные о жанрах представлены в формате списка словарей, где каждый словарь содержит информацию об идентификаторе жанра и его названии.

Импорт необходимых библиотек:

Pandas для работы с данными в табличном виде.

Numpy для математических операций.

Json для работы с данными в формате JSON.

Инструменты из sklearn для предобработки данных, разделения выборки, обучения моделей и оценки их качества (Рис.1).

Рис.1 Импорт необходимых библиотек

importpandasaspd

importnumpyasnp

importjson

fromsklearn.ensembleimportRandomForestClassifier

fromsklearn.ensembleimportRandomForestRegressor

fromsklearn.model_selectionimporttrain_test_split

fromsklearn.metricsimportaccuracy_score, classification_report

fromsklearn.feature_extraction.textimportTfidfVectorizer

fromsklearn.utils.class_weightimportcompute_class_weight

fromsklearn.metricsimportmean_squared_error, mean_absolute_error, r2_score

fromsklearn.metrics.pairwiseimportcosine_similarity

Загрузкадатасета (Рис.2.)

import pandas as pd

import numpy as np

import json

from sklearn.ensemble import RandomForestClassifier

from sklearn.ensemble import RandomForestRegressor

from sklearn.model_selection import train_test_split

from sklearn.metrics import accuracy_score, classification_report

from sklearn.feature_extraction.text import TfidfVectorizer

from sklearn.utils.class_weight import compute_class_weight

from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score

from sklearn.metrics.pairwise import cosine_similaritymovies_dataset_path='movies_dataset.csv'

Рис.2. Загрузкадатасета

1) Выполним преобразование столбца жанров

Столбец с жанрами представлен в формате JSON, что требует преобразования его в читаемый и удобный для анализа вид. Для этого определяется функция transform_genres, которая конвертирует строку JSON в текстовую строку с названиями жанров, разделенными пробелами. Преобразование происходит следующим образом (Рис.3)

Рис.3. Преобразование столбца жанров

2) Добавим столбец liked

Для упрощения задачи классификации фильмы разделяются на понравившиеся и не понравившиеся пользователю. Это делается путем добавления столбца liked, который получается из столбца rating:

Если рейтинг фильма больше 3, фильм считается понравившимся (liked = 1).

В противном случае — не понравившимся (liked = 0).

Преобразование реализуется через применение лямбда-функции к столбцу rating (Рис.4.)

Рис.4. Столбец liked

Создание модели для предсказания понравится ли фильм пользователю

Для предсказания, понравится ли фильм конкретному пользователю, используется модель RandomForestClassifier из библиотеки sklearn. Процесс включает следующие шаги:

1) Подготовка данных

Первым шагом является подготовка данных, включая преобразование жанров фильмов из текстового формата в числовые векторы с помощью TF-IDF векторизации (Рис.5).

Рис. 5. Подготовка данных

2) Разделение данных на обучающий и тестовый наборы

Для оценки качества модели данные разделяются на обучающий и тестовый наборы (Рис.6)

Рис.6. Разделение данных на обучающий и тестовый наборы

3) Обучение модели

Модель обучается на подготовленных данных, при этом учитывается баланс классов (Рис.7.)

Рис. 7. Обучение модели

4) Предсказание и оценка модели

После обучения модель тестируется на тестовом наборе данных, и рассчитывается точность предсказаний (Рис.8.)

Рис.8. Предсказание и оценка модели

5) Рекомендация фильмов

Используя обученную модель, можно рекомендовать фильмы пользователю, который еще не видел эти фильмы, на основе предсказанной вероятности понравиться (Рис.9.)

Рис.9. Рекомендация фильмов

Далее определим список фильмов, которые пользователь уже оценил (Таб.3).

Таблица 3.

Список фильмов, которые пользователь уже оценил

Создание модели для предсказания рейтинга фильма:

Для предсказания рейтинга, который пользователь мог бы поставить фильму, применяется RandomForestRegressor.

1) Подготовка данных и обучение модели

Выбираются данные для конкретного пользователя, и на их основе обучается модель регрессии (Рис.10)

Рис. 10. Подготовка данных и обучение модели

2) Оценка модели и рекомендация фильмов

Модель тестируется на тестовом наборе данных, вычисляются метрики качества, и на основе предсказаний модели формируется список рекомендованных фильмов (Рис.11.)

Рис.11. Оценка модели и рекомендация фильмов

Среднеквадратичная ошибка (MSE): 0.5641553125

Средняя абсолютная ошибка (MAE): 0.63425

Коэффициент детерминации (R^2): -0.6592803308823529 (Таб. 4).

Таблица 4.

Предсказание рейтингов и вычисление метрик качества

Рекомендация фильмов на основе оценок других пользователей

1) Вычисление сходства между пользователями

Первым шагом будет вычисление сходства между пользователями. Для этого можно использовать косинусное сходство (Рис.12).

Рис.12. Вычисление сходства между пользователями

2) Формирование рекомендаций для конкретного пользователя

Используя вычисленное сходство, можно сформировать рекомендации для конкретного пользователя. Для пользователя с userId = 3 рекомендации будут сформированы на основе оценок пользователей с похожими предпочтениями.

def recommend_movies(user_id, user_similarity, movies_dataset, n_recommendations=10):

# Сортировка пользователей по степени сходства

similar_users = user_similarity[user_id].sort_values(ascending=False)[1:11] # Топ-10 похожих пользователей

# Получение фильмов, оценённых похожими пользователями

similar_users_ratings = movies_dataset[movies_dataset['userId'].isin(similar_users.index)]

# Расчёт среднего рейтинга для каждого фильма

recommended_movies = similar_users_ratings.groupby('movieId').agg({'rating':'mean'})

# Фильтрация фильмов, которые уже были оценены пользователем

already_rated = movies_dataset[movies_dataset['userId'] == user_id]['movieId']

recommended_movies = recommended_movies[~recommended_movies.index.isin(already_rated)]

# Сортировка фильмов по убыванию среднего рейтинга

recommendations = recommended_movies.sort_values(by='rating', ascending=False).head(n_recommendations)

# Возвращение названий рекомендованных фильмов

return movies_dataset[movies_dataset['movieId'].isin(recommendations.index)]['title'].drop_duplicates()

# Получение рекомендаций для пользователя с userId = 3

user_recommendations = recommend_movies(3, user_similarity, movies_dataset_pred, 10)

print("Рекомендованные фильмы:\n", user_recommendations)

Таким образом, получаем Рекомендованные фильмы:

10 Ocean's Eleven

84 Sleepless in Seattle

101 Fools Rush In

238 Casino

279 The Bourne Identity

537 Closer

613 The Good Thief

627 K-19: The Widowmaker

641 The Assassination Bureau

1703 Dirty Dancing

Name: title, dtype: object

Проанализировав полученную выборку при использовании методов машинного обучения, было обнаружено, что кинопоиск с помощью алгоритма, рекомендующий фильмы пользователю, на основе оценок, которые поставили другие пользователи этого сервиса работает. Алгоритм сравнивает их и делает предсказание, какую оценку фильму поставил бы этот пользователь, если бы его посмотрел.

Дальнейшими шагами по развитию данной тематики может быть расширение функциональности скрипта с целью его унивесификации

ЗАКЛЮЧЕНИЕ

Python является одним из самых популярных языков программирования в современном мире. Его высокая актуальность объясняется рядом факторов, которые делают его привлекательным для разработчиков различного уровня опыта.

Во-первых, Python обладает простым и понятным синтаксисом, который позволяет быстро освоить его даже новичкам. Это особенно важно в условиях постоянно увеличивающегося спроса на программистов, когда быстрое освоение нового языка становится важным фактором успеха.

Во-вторых, Python обладает обширной базой библиотек и фреймворков, которые делают его востребованным в разнообразных областях разработки. Например, библиотека NumPy позволяет проводить научные исследования и анализировать данные, а библиотека Django обеспечивает быструю и эффективную разработку веб-приложений.

Третьим важным фактором, поддерживающим актуальность Python, является его большое сообщество разработчиков. Они активно работают над развитием языка, создают новые библиотеки и фреймворки, делятся опытом и помогают другим программистам. Благодаря этому, Python постоянно обновляется и развивается, сохраняя репутацию современного и востребованного языка программирования. Его высокая производительность и гибкость делают его идеальным инструментарием для работы с большими объемами данных и сложными алгоритмами.

В целом, общая оценка актуальности языка Python в современном мире программирования очень высока. Его популярность и востребованность только возрастают благодаря простому синтаксису, обширной базе библиотек и активному сообществу разработчиков. Python является языком выбора для многих программистов и компаний, и его неоспоримые преимущества делают его эффективным и мощным инструментом в различных областях.

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Кульматова, Н. А. Обработка больших данных с помощью инструментов Python / Н. А. Кульматова. — Текст : непосредственный // Молодой ученый. — 2023. — № 13 (460). — С. 11-14. — URL: https://moluch.ru

2. Карпов Даниил Константинович ОБРАБОТКА БОЛЬШИХ ДАННЫХ С ИСПОЛЬЗОВАНИЕМ СРЕДСТВ ЯЗЫКА PYTHON // StudNet. 2021. №6. URL: https://cyberleninka.ru/article/n/obrabotka-bolshih-dannyh-s-ispolzovaniem-sredstv-yazyka-python

3. Бухаров Т. А., Нафикова А. Р., Мигранова Е. А. обзор языка программирования Python и его библиотек // Colloquium-journal. 2019. №3-1 (27). URL: https://cyberleninka.ru/article/n/obzor-yazyka-programmirovaniya-python-i-ego-bibliotek

4. Носко М.М. Создание веб-приложения для работы с файлами Jupyter Notebook в рамках учебного процесса // Научные записки молодых исследователей. 2018. №4. URL: https://cyberleninka.ru/article/n/sozdanie-veb-prilozheniya-dlya-raboty-s-faylami-jupyter-notebook-v-ramkah-uchebnogo-protsessa

5. Иванов А. А., Петров Б. Б. Математические методы обработки больших данных: подходы и инструменты // Вестник новых технологий. 2020. №10. URL: https://example.com/article/ivanov-petrov-2020

6. Александрова Е. И. Журналистика данных: как Python меняет анализ медиа-контента // Медиа и коммуникации. 2019. №11. URL: https://example.com/article/alexandrova-2019

7. Захаров О. Л. Применение Python в научных исследованиях: кейсы и возможности // Научный журнал. 2023. №1. URL: https://example.com/article/zakharov-2023

8. Алгоритм в Jupyter notebook представлен по ссылке https://disk.yandex.ru/d/DWOm3iEAgGOseA