Zaloguj się
Wszystkie
13 października 2021
1827
W projekie użyto drona z ramą F450 z wykorzystaniem silnika 1000 kv.
Przede wszystkim trzeba zebrać następujące komponenty do wykonania drona.
Dodatkowo będzie potrzebne złącza Xt60 lub podobne, zależnie od posiadanej baterii.
Budowa i montaż
W innym artykule opisane zostało jak można wykonać drona F450 z kontrolerem lotu KK.2.2.
Zakładając, że zbudowałeś drona używając naszego poprzedniego artykułu teraz przejdźmy do części związanej ze sztuczną inteligencją drona.
Tworzenie inteligentnego drona przy użyciu AI i rozpoznawania twarzy
Na początku próbowano zamontować drona z modułem obliczeniowym RPi i płytką balenaFin posiadającą 1 GB pamięci ram i 16 GB pamięci masowej, a ponieważ balenaFin pobiera 12 V prądu stałego łatwo jest ją zasilić baterią Lipo, ale problem jaki napotkano to fakt, że jest trochę ciężka i zbyt duża do zamontowania na dronie. Wtedy zdano sobie sprawę że RP4 pobiera prąd 2 A i 5 V, który może być również zasilany przez jeden z liniowych ESC, które użyto z silnikiem.
Tak więc ostatecznie zamieniono balenaFin na małe RPi 4.
Montaż RPi 4 i kamery na ramie F450
Do rozpoznawania twarzy należy zamontować kamerę Rpi na ramie drona za pomocą np. taśmy izolacyjnej. Następnie odciąć przewód +ve i -Ve jednego z ESC, który jest podłączony do kontrolera lotu ponieważ kontroler lotu wykorzystuje tylko pierwsze piny ESC do zasilania. Resztę wolnych pinów ESC użyto do zasilania Raspberry Pi.
Następnie należy zamontować kamerę RPi na dronie jak na zdjęciu poniżej.
Kodowanie drona do rozpoznawania twarzy
Ma to na celu rozpoznawanie osoby stojącej przed robotem (znanej lub nieznanej). W kodzie trzeba zaimportować 3 moduły: face recognition, cv2 oraz numpy. Trzeba utworzyć różne tablice do rozpoznawania twarzy i nazwisk. Upewnij się, że zapisałeś nazwę pliku obrazu dla właściwej osoby w celu poprawnego rozpoznawania twarzy (rysunki 4 i 5).
W następnej części kodu, trzeba dopasować twarz, która została uchwycona przez kamerę do tablicy znanych twarzy. Jeżeli twarz będzie pasować, wtedy kod uruchomi syntezator espeak i używając składni 'espeak.synth()' wypowie imię tej osoby wraz z dodatkowym komunikatem jeśli tego chcemy.
Następnie podłącz wzmacniacz PAM jak na poniższym schemacie połączeń i podłącz zasilanie za pomocą GPIO pin 5 V i GND Rpi 4.
Wykrywanie osób, które utknęły w obszarze objętym powodzią lub trzęsieniem ziemi
W następnym kroku napisz kod do wykrywania osób tak, aby kamera drona mogła robić nagrania na żywo w czasie powodzi lub trzęsienia ziemu i wykrywać ludzi, którzy potrzebują pomocy.
Po pierwsze, zainstaluj następujące biblioteki w Pythonie:
- Espeak
- Numpy
- Scipy
- Opencv
- Dlib
- Keras
- TensorFlow/TensorFlow Lite
Aby zainstalować powyższe biblioteki, należy otworzyć terminal LX, a następnie wpisać następujące polecenia:
sudo apt-get update
sudo apt-get upgrade
sudo nano /etc/dphys-swapfileNastępnie zmień linię CONF_SWAPSIZE=100 na CONF_SWAPSIZE=1024 i wykonaj komendy:
sudo /etc/init.d/dphys-swapfile stop
sudo /etc/init.d/dphys-swapfile start
sudo pip3 install opencv
sudo pip3 install numpy
wget https://bootstrap.pypa.io/get-pip.py
pip3 install dlib
pip3 install tensorflowPo zakończeniu instalacji można przystąpić do klonowania modułów TF oraz przykładów i plików za pomocą poniższej komendy:
git clone https://github.com/tensorflow/tensorflow.gitPo udanym klonowaniu należy przejść do katalogu → folder research → utworzyć nowy plik Pythona i wkleić do niego kod dołączony do artykułu.
Kodowanie
Dla wykrywania tłumu i monitorowania ruchu trzeba wpierw przygotować kilka rzeczy przed rozpoczęciem kodowania. Należy utworzyć specjalny plik .pbtxt, który zawiera nazwę rzeczy do wykrycia. Chcemy, aby dron wykrywał ludzi, więc otwórz folder Tensorflow → models → research → object detection → data a następnie utwórz jeden plik o nazwie crowd.pbtxt, do którego wstaw tylko ludzi, a potem jeszcze jeden plik traffic.pbtxt z listą obiektów do wykrycia w ruchu ulicznym, takich jak samochody, autobusy, ludzie, tablice informacyjne, ciężarówki itp. jak na rysunkach 8, 9, 10.
W pierwszej części kodu, trzeba zainicjalizować wymaganą bibliotekę. Następnie utworzyć kod, który używa modułu kamery do robienia obrazu na żywo, a następnie przetwarzania go klatka po klatce w celu wykrycia ludzi. Tak więc tutaj, jak widać na wycinku kodu, zaimportowano wymagane biblioteki.
Następnie trzeba zdefiniować nazwę pliku .pbtxt, który utworzyliśmy wcześniej i który zawiera listę obiektów do wykrycia. Potem utworzyć kod, który sprawdza liczbę wykrytych na obrazie osób i informuje o tym. Podobnie można zrobić dla monitorowania ruchu drogowego. Wystarczy zmienić plik .pbtxt użyty w kodzie na plik traffic.pbtxt, aby wykrywać samochód, autobus itp. na drodze i policzyć je.
Uwaga: Można również zrobić badanie lasu i wykrywanie zwierząt posługując się tym samym kodem. Trzeba tylko utworzyć plik z listą zwierząt do wykrycia i użyć go w kodzie.
Testowanie
Należy uruchomić każdy kod (drone- code1.py, dronecrowd.py i dron- etraffic.py) osobno w różnym czasie dla różnych zastosowań. Na przykład, gdy droncode1.py jest gotowy i uruchomiony, zamontuj go na dronie. Na ekranie komputera można zobaczyć obrazy na żywo przechwytywane przez kamerę. Można wysłać drona z kamerą na wyznaczony obszar w celu wykrywania i monitorowania. Odległość, na jaką może polecieć dron, zależy od zasięgu sieci Wi-Fi.
Inteligentny dron z rozpoznawaniem twarzy i monitorowaniem ruchu drogowego w czasie rzeczywistym - kod źródłowy
NAPISZ DO AUTORA
Facebook
Twitter
Linkedin
Kup teraz
