НЕЙРОННАЯ СЕТЬ, АНАЛИЗИРУЮЩАЯ ФАЙЛЫ И ТАБЛИЦЫ

Лидский А.А. 1

1МАОУ Одинцовский лицей №6 им. А.С. Пушкина

Ананьева Е.В. 1

1МАОУ Одинцовский лицей №6 им. А.С. Пушкина

Работа в формате PDF

1 MB

Автор работы награжден дипломом победителя I степени

Диплом школьника Свидетельство руководителя

Текст работы размещён без изображений и формул.
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF

Аннотация работы

Название проекта: «Нейронная сеть, анализирующая файлы и таблицы».

Автор проекта: Лидский Алексей Алексеевич, ученик 8 «Г» класса.

Научный руководитель: Ананьева Елена Васильевна.

Во введении проектной работы представлены: новизна и актуальность проекта, практическая значимость продукта, рассмотрена разработанность проблемы, указаны цель и задачи работы над проектом, указаны возможные области применения и назначения продукта, представлены этапы работы над проектом и материально-техническое обеспечение.

В первой части работы рассматриваются теоретические аспекты по нейронным сетям, виды и история нейронных сетей.

Далее рассматривается вопрос о программном обеспечении Alteryx, его функциональные возможности, также содержит экономическую часть и включает в себя расчет стоимости программного обеспечения.

Во второй части работы приводятся описание работы алгоритма распознавания и языки программирования, использованные для реализации алгоритма и его демонстрации, а также обоснование их выбора, подробное описание построенного алгоритма, которое подробно изложено в приложении.

Третья часть работы содержит в себе информацию о тестировании разработанного алгоритма с использованием различных файлов и таблиц.

Приложения включают в себя описание непосредственной реализации алгоритма и его демонстрационного проекта с помощью выбранных программных и языковых средств и код программы.

Заключительная часть работы подводит итог полученных результатов по итогу работы над проектом.

Abstract of the work

The name of the project: Neural network that analyzes files and tables/

Author of the project: Lidskiy Aleksey, student 8 class.

Scientific leader: Ananeva Elena Vasilievna.

The introduction of the project work presents: the novelty and relevance of the project, the practical significance of the product, the development of the problem, the purpose and tasks of working on the project, the possible areas of application and purpose of the product, the stages of working on the project and logistics.

The first part of the paper deals with the theoretical aspects of neural networks, types and history of neural networks.

Next, the question of the Alteryx software, its functionality, also contains the economic part and includes the calculation of the cost of the software.

The second part of the paper describes the operation of the recognition algorithm and the programming languages used to implement the algorithm and demonstrate it, as well as the rationale for their choice, a detailed description of the constructed algorithm, which is described in detail in the appendix.

The third part of the work contains information about testing the developed algorithm using various files and tables.

Applications include a description of the direct implementation of the algorithm and its demonstration project using the selected software and language tools, and the program code.

The final part of the work summarizes the results of the work on the project.

Введение.

Современный мир нельзя представить без чтения и обработки информации. Объем информации, которую мы получаем, растёт в геометрической прогрессии. И эта информация может быть обработана различными информационными системами. На текущее время самый простой для инженера-программиста способ, это нейросеть. Нейросетями обрабатывается любая информация, от графической до огромных массивов данных.

Идея нейронных сетей была позаимствована у природы, а точнее в качестве аналога использовалась нервная система животных и человека. Нервная система состоит из огромного количества достаточно простых элементов – нейронов. Каждый нейрон получает сигналы от тысяч других нейронов и передает обработанную информацию тысячам других нейронов по одному единственному выводу. Нейроны связаны между собой в достаточно сложную и идеально настроенную систему. Высокое быстродействие данной системы, пока не достижимое для современных компьютеров, обеспечивается за счет параллельности обработки информации [1].

Привлекательным для меня в ходе изучения типов нейронных сетей является то, что современные нейрокомпьютеры позволяют с высокой эффективностью решать целый ряд интеллектуальных задач. Это задачи распознавания текстов, принятия решений в сфере управления, прогнозирование, диагностика и т.д.

В данной работе мы рассматриваем применение нейросети для анализа файлов и таблиц.

Новизна и актуальность: состоит в разработке нового алгоритма распознавания файлов и таблиц.

В первую очередь необходимо отметить тенденцию объема рынка искусственного интеллекта. Аналитики J’son & Partners Consulting (J&P) провели анализ прогнозов ведущих консалтинговых компаний и предоставили статистику.

Из рисунка 1 (Приложение 1, рисунок 1) видно какой колоссальный рост ожидает рынок искусственного интеллекта в ближайшие 8 лет. В связи с широким развитием и популяризацией ИНС существует высокое количество запросов на расширение и нахождение новых сфер для применения данной технологии.

Также существует большое количество новых подходов к математическому аппарату нейронных сетей, которые могли бы удовлетворить запросам. Но в основном пользуются популярностью классические подходы к нейронным сетям, или же подходы, набравшие популярность и имевшие широкую и глубокую апробацию, выявившую ее сильные и слабые стороны.

Появление средств машинного обучения в различных сферах обусловлено большим количеством разработок и исследований в данном направлении. Популярность и частота использования средств машинного обучения была достигнута за счет удобства управления и разработки средств моделирования. Разные архитектуры нейронных сетей удовлетворяют разным целям. Это означает, что одна архитектура нейронной сети справляется с задачей лучше и оптимальнее другой.

Существует широкий пласт задач из теории управления и принятия решения. Данная задача близка к задаче классификации. Классификации подлежат ситуации, характеристики которых поступают на вход сети. Выходами являются характеристики, способные поменять состояние системы. Для обеспечения удобства необходимо предоставлять возможность управления, предоставления статистики и получения промежуточного результата обучения, как это представлено у подобных сервисов, и удобства разработки собственной среды обучения. Удобство разработки должно заключаться в наличии простых и удобных для усвоения примеров. В случае успеха развития исследований нейронных сетей с изменяемой топологией данная архитектура может найти свою популярность и широкое развитие.

Практическая значимость: в процессе работы над созданием нейронной сети, был изучена новая программа Alteryx Designerи язык программирования Python.

Практическая значимость заключается в совершенствовании методов распознавания, уменьшении количества затрачиваемых, на это ресурсов и возможность автоматизировать огромное количество ручного монотонного труда несет немалую практическую ценность.

Разработанность проблемы: основы теории биологических нейронных сетей были предложены А. Бэйном в 1873 году и У. Джеймсом в 1890 г. В 1900 г. В. М. Бехтерев опубликовал «Проводящие пути спинного и головного мозга». Значительных успехов в области исследования нервных систем в XX веке достигли Г. Бишоп, Дж. Эрлангер, Г. Гассер, И. С. Беритон, Дж. Экклс, Л. Проссер, Ф. Браун, Ч. Шеррингтон, Н. П. Бехтерева, Э. Кендел.

Теория искусственных нейронных сетей была создана в 1943 году Мак-Каллоком и Питтсом как множество математических алгоритмов, ориентированных на изучение биологических процессов головного мозга и на создание нейросетевого искусственного интеллекта.

Впоследствии в направлении искусственных нейронных сетей были предложены различные модели Т. Кохоненом, Б. Видроу, Т. Хоффом, С. Гроссбергом, Г. Карпентером, Дж. Андерсоном, Б. В. Хакимовым, К. Фукусимой, Дж. Хопфилдом, Г. Н. Борисюком, Х. Симизду и Ж.-Ж. Слотеном, Дж. Дином, М. Веллингом, Р. Салахутдиновым. Из последних достижений стоит отметить созданные в 2007 году Дж. Хинтоном алгоритмы глубокого обучения многослойных нейронных сетей.

Хотя сдвиг в сторону выделения сохранения полученной информации в последнее время прослеживается, но явно блоков хранения исходной информации в ИНС не выделяется. Противопоставление нейросетевого и процедурного подходов к решению задач во многом не соответствует биологическим нейронным сетям и препятствует решению сложных задач с применением ИНС [2].

Цель: разработка нового алгоритма для анализа файлов и таблиц на основе нейронных сетей.

Задачи:

Изучить существующие нейронные сети.

Выбрать нейронную сеть для создания модели и изучить ее.

Изучить работу с программой Alteryx Designer (используется для сбора и обработки информации из разных источников и приведения данных в вид, готовый для анализа.

Разработать в программе алгоритма для анализа файлов и таблиц на основе нейронных сетей.

Реализовать выбранную нейронную сеть.

Преобразовать нейронную сеть.

Возможные области применения и назначение: Alteryx является самой быстрой аналитической платформой, созданной специально для расширения возможностей аналитиков данных и их производительности. В программе за смешивание сложных данных, построение аналитики намного проще, чем такие инструменты, как SAS, и упрощение использования аналитических данных бизнес-пользователями. Alteryx экономит время и позволяет быстрее принимать правильные решения при меньших затратах. Может использоваться в любом направлении деятельности.

Этапы работы над проектом:

I этап – подготовительный (сбор информации, маркетинговые исследования, обучение). Сентябрь – октябрь 2020 года.

Принятие решения о создании нейронной сети с помощью программы Alteryx.

Изучение литературы и видеоуроков по программе Alteryx. Поиск своей ниши на рынке.

Изучение языка программирования Python.

Обучение по работе с программой Alteryx.

II этап – реализация проекта. Ноябрь 2020 - январь 2021 г.

Формирование информационной таблицы для наполнения ее данными.

Загрузка информационной таблицы в программу Alteryx.

Разработка алгоритма в программе Alteryx для анализа таблицы.

III этап – организационно-обобщающий. Февраль - март 2021 г.

Подведение итогов тестирования разработанного алгоритма, публикация, распространение и размещение на личной странице социальных сетей автора алгоритма в сети Интернет.

Итоги на каждом этапе:

I этап: поставлены задачи и цели, освоен курс по работе с программой Alteryx и язык программирования Python.

II этап: разработана информационная таблица. Разработан алгоритм в программе Alteryx для анализа таблицы.

III этап: протестирован и отлажен в программе Alteryx для анализа таблицы.

Материально-техническое обеспечение проекта: компьютер, интернет, специальная литература, специализированное программное обеспечение: Alteryx, язык программирования Python.

В результате обучения были получены модели нейронных сетей, позволяющие с достаточной достоверностью обрабатывать данные таблиц, а также проведено сравнение эффективности использования реализованных методов. Конечным результатом стала проверка системы на тестовой выборке самым точным методом.

ГЛАВА 1. ТЕОРЕТИЧЕСКИЙ РАЗДЕЛ. ОБЗОР ПРЕДМЕТНОЙ ОБЛАСТИ.

Понятие нейронной сети. Искусственные нейронные сети и их составляющие.

Что же такое НС (нейронная сеть)? Обратимся к знаниям из биологии - каждое существо в нашем мире имеет нервную систему, а более продвинутые жители Земли еще и мозг. Так вот, из биологических нейронных сетей состоит наш мозг. Органы чувств передают информацию о раздражителе нейронным сетям, а те в свою очередь обрабатывают ее, благодаря чему мы чувствуем тепло и холод, ветер, влагу, можем распознать людей, вещи, запомнить информацию и так до бесконечности. Вот так выглядит нейрон - очень сложная биологическая система (Приложение 1, рисунок 1).

Искусственные нейронные сети были построены по принципу биологических нейронных сетей, которые представляют собой сети нервных клеток, выполняющие определенные физиологические функции. Составным элементом нейронных сетей являются нейроны (Приложение 1 рисунок 2).

У нейрона есть несколько функций:

Приёмная функция: синапсы получают информацию;

Интегративная функция: на выходе нейрона сигнал, который несёт информацию обо всех суммированных в нейроне сигналах;

Проводниковая функция: по аксону проходит информация к синапсу;

Передающая функция: импульс, достигший окончания аксона, заставляет медиатор передавать возбуждение следующему нейрону.

Синапсами называют связи, по которым выходные сигналы одних нейронов поступают на входы других. Каждая связь характеризуется своим весом. Связи с положительным весом называются возбуждающими, а с отрицательным — тормозящими. Выход нейрона называется аксоном. В 17 искусственной нейронной сети искусственный нейрон — это некоторая нелинейная функция, аргументом которой является линейная комбинация всех входных сигналов. Такая функция называется активационной. Затем результат активационной функции посылается на выход нейрона. Объединяя такие нейроны с другими, получают искусственную нейронную сеть.

История нейронных сетей.

Основные этапы в истории исследования и применения искусственных нейронных сетей:

• 1943 — У. Маккалок и У. Питтс формализуют понятие нейронной сети в фундаментальной статье о логическом исчислении идей и нервной активности.

• 1948 — Н. Винер вместе с соратниками публикует работу о кибернетике. Основной идеей является представление сложных биологических процессов математическими моделями.

• 1949 — Д. Хебб предлагает первый алгоритм обучения.

• В 1958 Ф. Розенблатт изобретает однослойный перцептрон и демонстрирует его способность решать задачи классификации.

• В 1960 году Уидроу совместно со своим студентом Хоффом на основе дельта-правила (формулы Уидроу) разработали Адалин, который сразу начал использоваться для задач предсказания и адаптивного управления. Сейчас Адалин (адаптивный сумматор) является стандартным элементом многих систем обработки сигналов.

• В 1963 году в Институте проблем передачи информации АН СССР. А. П. Петровым проводится подробное исследование задач «трудных» для перцептрона.

• В 1969 году М. Минский публикует формальное доказательство ограниченности перцептрона и показывает, что он неспособен решать некоторые задачи (проблема «чётности» и «один в блоке»), связанные с инвариантностью представлений. Интерес к нейронным сетям резко спадает.

• В 1972 году Т. Кохонен и Дж. Андерсон независимо предлагают новый тип нейронных сетей, способных функционировать в качестве памяти.

• В 1973 году Б. В. Хакимов предлагает нелинейную модель с синапсами на основе сплайнов и внедряет её для решения задач в медицине, геологии, экологии.

• 1974 — Пол Дж. Вербос и А. И. Галушкин одновременно изобретают Алгоритм обратного распространения ошибки многослойных перцептронов.

• 1975 — Фукусима представляет когнитрон — самоорганизующуюся сеть, предназначенную для инвариантного распознавания образов, но это достигается только при помощи запоминания состояний образа.

• 1982 — после периода забвения, интерес к нейросетям вновь возрастает. Дж. Хопфилд показал, что нейронная сеть с обратными связями может представлять собой систему, минимизирующую энергию (так называемая сеть Хопфилда). Кохоненом представлены модели сети, обучающейся без учителя (нейронная сеть Кохонена), решающей задачи кластеризации, визуализации данных (самоорганизующаяся карта Кохонена) и другие задачи предварительного анализа данных [3].

1.3. Alteryx.

Alteryx специализируется на end-to-end анализе данных. Среди поддерживаемых решений: расширенная аналитика, бизнес-аналитика и визуализация данных, обнаружение и управление данными, аналитика местоположений, подготовка данных и технологические интеграции [2].

Alteryx доверяют тысячи клиентов по всему миру, включая McDonald’s, Audi, Unilever и Experian. Генеральный директор Alteryx Дин Штекер недавно отметился в новостях после того, как его личное состояние достигло отметки в 1 миллиард долларов (Приложение 2).

Функции.

Особенности Alteryx:

Повторяемые рабочие процессы

Без программирования

Развертываемая на собственных ресурсах аналитика

Гибкость

Масштабируемость

Alteryx пользуется популярностью благодаря возможностям работы без дополнительного программирования и простым возможностям все-таки использовать код. В компании утверждают, что их инструмент может превратить любого в дата сайентиста.

Alteryx используется в следующих отраслях:

Финансовые услуги.

Здравоохранение.

Розничная торговля.

Транспорт и логистика.

Нефть и газ.

Государственные службы.

Стоимость.

Цена Alteryx Designer составляет 5,195 долларов США на пользователя в год. Однако если вы собираетесь добавить больше функций и возможностей, годовая цена может увеличиться:

$11,700 за Alteryx Designer и Location Insights Dataset

$33,800 за Alteryx Designer и Business Insight Dataset

Оценки.

Alteryx получил 5 из 5 от 61 респондента в Capterra и 4.5 из 5 звезд от 114 респондентов в G2 Crowd [4].

ГЛАВА 2. ПРОЕКТИРОВАНИЕ АЛГОРИТМА РАСПОЗНАВАНИЯ ФАЙЛОВ И ТАБЛИЦ.

2.1. Описание работы алгоритма распознавания.

Основными этапами для реализации программы были выделены следующие:

1. Обучение нейронной сети для распознавания файлов и таблиц.

2. Определение файлов и таблиц.

2.2. Выбор средств для реализации программы.

Для того, чтобы разработать любую программу, сначала необходимо выбрать язык программирования, на котором будет она написана.

Существует множество языков программирования и на каждом можно написать эквивалентную программу. Отличиями между эквивалентными программами будут являться используемые для получения нужного результата. Основными языками программирования, на которых решаются задачи, связанные с нейронными сетями являются:

 Python;

 Java;

 C++;

 Matlab.

В моем случае программа написана на языке программирования Python.

2.3. Реализации программы

После того, как была определена последовательность выполняемых действий и средств реализации, мы можем перейти к написанию программного кода (Приложение 3).

Первым делом необходимо обучить модель нейронной сети распознавать информационную таблицу. Для этого нам необходимо произвести загрузку информационной таблицы в программу Alteryx. После загрузки информационной таблицы программа производит анализ представленной информации.

Глава 3. ТЕСТИРОВАНИЕ РАЗРАБОТАННОГО АЛГОРИТМА.

3.1 Тестирование разработанного алгоритма с использованием различных файлов и таблиц.

В ходе выполнения проектной работы была спроектирована, разработана и протестирована система распознавания текста файлов и таблиц.

Данная система выполняет следующие действия:

 Создает модель нейронной сети и обучает модель нейронной сети.

 Получает таблицу и преобразует ее в код, понятный для нейронной сети.

 Находит выделенные в программе данные, производит определенные действия, заданные программой.

 Отправляет на вход нейронной сети измененные данные таблицы.

 Выводит на экран полученную информацию из информационной таблицы в виде преобразованной таблицы либо в виде текстовой информации (Приложение 4).

3.2 Подведение итогов тестирования разработанного алгоритма.

Для проверки работоспособности программы, ей на вход была отправлена информационная таблица с данными, которые в ходе работы алгоритма были обработаны. Во время проведения тестирования на вход программы подавались различные данные, имеющие различия между собой.

Основными параметрами тестирования являлись:

 Количество столбцов в таблице равно 21.

Использованныешрифты: Arial, Times New Roman, Calibri.

 Текст написан с использованием английского алфавита; размер шрифта одинаковый.

Мною было проведено 5 тестов для каждого таблицы. 3 теста проводились, когда таблицы были заполнены частично, еще 2 теста, где таблицы были заполнены полностью. Таким образом, в результате тестирования разработанного алгоритма были получены данные о его работе при различных условиях. Также были выявлены недостатки алгоритма и описаны возможные варианты улучшения алгоритма.

ЗАКЛЮЧЕНИЕ

Проектная работа посвящена разработке алгоритма распознавания файлов и таблиц при помощи нейронной сети. В результате ее выполнения был спроектирован, реализован и протестирован алгоритм, позволяющий распознать данные в таблице.

Во время выполнения данной работы были успешно завершены следующие задачи:

Изучить существующие нейронные сети.

Выбрать нейронную сеть для создания модели и изучить ее.

Разработать в программе алгоритма для анализа файлов и таблиц на основе нейронных сетей.

Реализовать выбранную нейронную сеть.

Преобразовать нейронную сеть.

По результатам тестирования полученной программы были выявлены ее недостатки, а также предложены варианты ее улучшения.

Приложение 1.

Рисунок 1. Аналитика рынка искусственного интеллекта.

Рисунок 2.

Рисунок 3.

Приложение 2.

Рисунок 4.

Приложение 3.

Рисунок 5.

Рисунок 6.

Рисунок 7.

Рисунок 8.

Приложение 4

Рисунок 9.

Рисунок 10.

Приложение 5

КОД ПРОГРАММЫ

Исходный код программы доступен для скачивания в электронном в

https://https://drive.google.com/file/d/1NZ_B-a5K3wMuTnVVSsP4oly8RzaWGVLS/view?usp=drivesdk

Фрагмент кода программы:

<?xml version="1.0"?>

<Nodes>

</GuiSettings>

<File OutputFileName="" FileFormat="19" SearchSubDirs="False" RecordLimit="">C:\AlteryX\FinalData.yxdb</File>

</Configuration>

<DefaultAnnotationText>FinalData.yxdb</DefaultAnnotationText>

</Annotation>

</RecordInfo>

</MetaInfo>

</Properties>

</Node>

</GuiSettings>

<FieldName>RecordID</FieldName>

</Configuration> …………………… <TempFile>C:\Users\Admin\AppData\Local\Temp\Engine_11124_2c280de0aa1e470fade7aa80c0526dcf_\Engine_1784_11f900f1290246a989bbbdbaa3043770_.yxdb</TempFile>

<ViewMode>Single</ViewMode>

<View1>

<DefaultTab>Report</DefaultTab>

<Hints>

</Hints>

</View1>

</Layout>

</Configuration>

</Annotation>

</Properties>

</Node>

</GuiSettings>

<File OutputFileName="" FileFormat="19" SearchSubDirs="False" RecordLimit="">C:\AlteryX\deaths_pred.yxdb</File>

</Configuration>

<DefaultAnnotationText>deaths_pred.yxdb</DefaultAnnotationText>

</Annotation>

</RecordInfo>

</MetaInfo>

</Properties>

</Node>

</GuiSettings>

<Value name="modelChoice">Local Model</Value>

<Value name="score field">deaths_predict</Value>

<Value name="is oversampled">False</Value>

</Value>

<Value name="log y">False</Value>

<Value name="prediction.interval">False</Value>

<Value name="append.xdf">False</Value>

</Value>

</Value>

</Value>

</Value>

</Value>

<Value name="modelDetails">{"Name":"","Owner":"","Status":"","Id":"","LastDeployment":"","LastUpdated":"","LatestVersion":"","ActiveVersion":"","NumReplications":"","NumVersions":""}</Value>

</Value>

</Value>

</Value>

</Value>

</Value>

</Configuration>

Список используемых источников и литературы.

https://analytikaplus.ru/products/alteryx/

https://nagornyy.me/courses/ann/history-of-ann/

https://xmldatafeed.com/top-50-luchshih-programm-dlya-sozdaniya-analiticheskih-otchetov-biznesu/

Tensorflow API Documentation [Электронный ресурс]. – Режим доступа:https://www.tensorflow.org/api_docs/python/tf.

А. Л. Серебренников «Сравнительный анализ нейросетевых пакетов и место среды SIGNIFICO среди них», с. 526.

Аггавал Чару. Нейронные сети и глубокое обучение. – Висьямс, 2020 – ISBN: - 978-5-907203-01-3.

Антонова П. Введение в искусственный интеллект: Теоретические основы СИИ. - LAMBERT Academic Publishing, 2019 – ISBN: 978-6200279170.

Головко В.А. От многослойных персептронов к нейронным сетям глубокого доверия: парадигмы обучения и применение // XVII Всероссийская научно-техническая конференция с международным участием, 2015.

Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. — Новосибирск: Наука. Сиб. отд-ние РАН, 2007 — 296 с.

Искусственный интеллект (ИИ) / Artificial Intelligence (AI) как ключевой фактор цифровизации глобальной экономики [Электронный ресурс] – http://json.tv/ict_telecom_analytics_view/iskusstvennyy-intellekt-ii-artificialintelligence-ai-kak-klyuchevoy-faktor-tsifrovizatsii-globalnoy-ekonomiki20170222045241.

Франсуа Шолле «Глубокое обучение на Python». – Питер, 2018 –ISBN: 978-5-461-0770-4.

Просмотров работы: 1997

XII Международный конкурс научно-исследовательских и творческих работ учащихся
Старт в науке