XXII Международный конкурс научно-исследовательских и творческих работ учащихся
Старт в науке
Камера с компьютерным зрением
Автор работы награжден дипломом победителя I степени
Полная версия работы доступна во вкладке "Файлы работы" в формате PDF
Введение
Различные фотоаппараты начали появляться в XIX веке. Эта промышленность активно развивается и сейчас. Фоторегистрация также используется и на различных производствах. В ГК «Эрис» такая технология нужна для фотографирования собранных сделок. На телефон устанавливается специальное приложение. Сначала создается папка с номером сделки в названии. Далее сотрудник предприятия фотографирует коробку сделки и ее содержимое, поочередно нажимая на кнопку в приложении.
Такой процесс требует слишком много действий от человека. Поэтому специально по заказу «Эрис» решили создать камеру, фотографирование которой будет основываться на компьютерном зрении.
Фотографирование будет начинаться после обнаружения программой определенных жестов. Сохранение фотографии будет происходить на компьютере. Название файлов берется от данных с отсканированного ранее QR-кода.
Актуальность: автоматизация производственных процессов.
Цель: создание модуля камеры и программы на сохранение файлов с трансляции камеры.
Задачи:
-
Обсудить актуальность и идею проекта со специалистами «Эрис»;
-
Загрузить ПО для камеры на Arduino IDE в плату ESP32 cam;
-
Создать программу для фотографирования и сканирования QR-кодов на Python с использованием библиотек;
-
Собрать камеру;
-
Протестировать камеру;
-
Составить рекомендации по работе с камерой.
Глава 1. Теоретическая часть
1.1 . История появления камер
Точкой отсчета в истории фотографии можно считать 1826 год, когда французский изобретатель Жозеф Нисефор Ньепс смог впервые химическим способом зафиксировать световое изображение на оловянной пластине, покрытой битумом (сирийским асфальтом), которую он поместил в камеру-обскуру и на которую в течение восьми часов проецировал вид из окна. На фото — «Вид из окна в Ле Гра», Жозеф Нисефор Ньепс, 1826 год. Это изображение принято считать первой в мире дошедшей до нас фотографией.
А знаменитая оптическая схема «Планар», по которой вплоть до сегодняшнего дня производят объективы, была запатентована в 1897 году компанией Carl Zeiss. Схема «Планар» позволяет создавать объективы с минимальными искажениями и при этом сравнительно простые. Очень многие популярные объективы созданы именно на ее основе. Например, объектив Sony Carl Zeiss Planar T* FE 50 mm f/1.4 ZA (SEL-50F14Z) был анонсирован в 2016 году, спустя почти 120 лет с момента изобретения оригинальной оптической схемы.
Современные камеры отличаются высоким качеством съемки и использованием нейросетей для улучшения изображения.
1.2. Применение компьютерного зрения в производстве
Термин «компьютерное зрение» (computer vision, CV) подразумевает использование вычислительной машины - компьютера как основного элемента таких систем. Системы компьютерного зрения находят применение не только в промышленности (технике), но и в медицине (подсчет эритроцитов, иридодиагностика и др.), в задачах охраны и безопасности (распознавание номеров, лиц) и других. Основной упор в компьютерном зрении делается скорее на алгоритмическую часть, математику, нежели на области его практического применения.
Преимущества использования компьютерного зрения в производстве:
-
Повышение эффективности производства;
-
Управление качеством продукции;
-
Сокращение человеческих ресурсов;
-
Увеличение точности измерений;
-
Увеличение объема выпуска изделий.
Основные направления:
-
Нахождение дефектов;
-
Контроль формы и геометрии;
-
Сортировка продукции;
-
Логистика, укладка;
-
Считывание маркировки;
-
Выходной контроль.
Глава 2. Практическая часть
2.1. Используемое оборудование и ПО
2.1.1. Используемое ПО и обоснование выбора
-
Python в среде разработки PyCharm – многозадачность языка.
-
Официальное ПО для ESP32 cam, разработанное в среде разработки Arduino IDE – совместимость с платой ESP32 cam.
-
КОМПАС-3D – простота изучения.
2.1.2. Электрическая цепь
2.1.3. Используемые библиотеки для Python
|
Название библиотеки |
Назначение библиотеки |
|
OpenCV2 (при установке opencv-python) |
Получение и обработка изображений |
|
mediapipe |
Распознавание рук с помощью создания 21 точки на кистях |
|
time |
Работа со временем |
|
pyzbar |
Распознавание и расшифровка QR-кодов |
|
urllib.request |
Получение данных с сайта по URL-адресу |
|
numpy |
Поддержка больших многомерных массивов |
2.1.4. Используемое оборудование
|
Часть камеры |
Назначение |
Фотография |
Количество |
Цена |
|
Плата ESP32-cam-mb с модулем камеры OV2640 – причина выбора – небольшой размер и возможность использовать без Arduino UNO |
ESP32-cam -управление системой, OV2640 - фото и видеосъемка, mb модуль – загрузка ПО на плату |
1 шт. |
1000 руб. за шт. |
|
|
LP502035, Аккумулятор литий-полимерный (Li-Pol) 300мАч 3.7В, с защитой |
Питание системы |
1шт. |
400 руб. за шт. |
|
|
Антенна для ESP32 cam |
Повышение качества соединения ESP32-cam с WIFI сетью |
1 шт. |
259 руб. за шт. |
|
|
TP4056, плата зарядки microUSBLiIon и LiPol аккумуляторов |
Зарядка аккумуляторов |
1 шт. |
190 руб. за шт. |
|
|
SS-8, Переключатель мини с 3 контактами |
Замыкание и размыкание электрической цепи |
1 шт. |
18 руб. за шт. |
|
|
Кабель для пайки печатных плат 24AWG 5 см черный и красный |
Соединение компонентов электрической схемы |
3 шт. |
32 руб. за 10 шт |
|
|
Корпус, крышка и отсек для АКБ, напечатанные на 3D принтере |
Защита системы камеры от внешних воздействий |
3 шт. |
500 руб. за катушку |
|
|
Браслет на руку Vira |
Крепление на руку |
1 шт. |
350 руб. за шт. |
Итого: 2749 рублей.
2.2. Технологическая карта
2.2.1. Загрузка ПО для камеры
-
№
Действие
1.
Установить ArduinoIDE по ссылке https://www.arduino.cc/en/software
2.
Загрузить прошивку для ESP32-cam, как показано по ссылке https://microtechnics.ru/bystryj-start-s-esp32-i-ov2640-modul-esp32-cam/
2.2.2. Создание программы для определения рук
-
Создать программы выполняющие действия: выведения изображения с web-сервера камеры в python, сканирование QR-кодов, определения жестов рук, фотографирования;
-
Объединить все подпрограммы в одну программу.
2.2.3. Создание 3D моделей
-
Создание 3D моделей АКБ, корпуса и крышки в КОМПАС-3D.
2.2.4. Сборка камеры
|
№ |
Действие |
Фотография |
|
1. |
Вставить под шлейф ESP32-cam (далее по тексту – Плата) камеру OV2640 |
|
|
2. |
Распечатать корпус, крышку и отсек для АКБ (далее по тексту - Отсек) по сделанным 3D моделям |
|
|
3. |
Припаять Плату к TP4056, переключателю и АКБ |
|
|
4. |
Вставить Плату корпус, чтобы объектив ровно зашел в отверстие |
|
|
5. |
Подключить к Плате антенну и вывести ее через отверстие в корпусе |
|
|
6. |
Поставить Отсек на Плату так, чтобы они совпали по размеру (провода АКБ должны быть направлены в противоположную сторону от Платы) |
|
|
7. |
Приклеить TP4056 к крышке так, чтобы microUSB-порт выходил в вырез крышки |
|
|
8. |
Приклеить крышку к корпусу так, чтобы microUSB-порт выходил в вырез корпуса |
|
|
9. |
Приклеить к крышке браслет, чтобы длинная сторона корпуса была перпендикулярна ремешку |
Глава 3.
Экологическая оценка проекта
Оценив весь технологический процесс изготовления изделия, нами не было выявлено ни одного фактора, который мог бы повлечь за собой изменения в окружающей среде и нарушений жизнедеятельности человека. Никаких химических, вредных веществ в процессе изготовления выявлено не было.
Заключение
Во время производства камеры мы научились моделировать в КОМПАС-3D, подтянули навыки пайки и программирования на Python.
При изготовлении проекта у нас были проблемы с написанием программы для фотографирования и с 3D-моделированием. Однако у нас получилось преодолеть эти трудности и сделать рабочую модель камеры, которая также была одобрена «Эрис».
Используемая литература
-
Кто сделал первую фотографию в мире: уникальные снимки Жозефа Ньепса - https://dzen.ru/a/XLa-VWKLVACzKcgf?experiment=942707
-
Зачем нужны системы машинного зрения? - https://visionmachines.ru/articles/s_chego_nachat/zachem_nuzhny_sistemy_mashinnogo_zreniya/
Приложение
Отзыв ООО «ЭРИС» о реализации проекта