Translate

2020年2月27日木曜日

Raspberry Pi 4B(Raspbean buster lite) へ pyrealsense2 をインストールする

DonkeycarでIntel RealSense T265 トラッキングカメラを使おうと思ったのだけど、ドキュメントにUSB3.0推奨とある記述をみつけだ。

どうもUSB2.0でも動作するのだけど、イメージストリームを使う場合などは3.0のほうが良いのだろう。白黒の800X848イメージ2個を200MHzで送信するくらい2.0でもできそうだとは思うのだけど..

で Donkeycar のベースコンピュータは Raspberry Pi 3B+ を使うのが一般的なのだけど、librealsenseのGitHub Issueに4Bサポートしましたとの記述も発見した。

ただ..4BはRaspbean Liteイメージをstreachではなくbusterを使うように書かれている。ということで、busterでlibrealsenseとpython3ベースのpyrealsense2(librealsenseのpythonラッパ、Donkeycar上のT265用パーツクラスが使用している)をインストールしてみた。

以下、その手順(参照の際はAT YOUR OWN RISKでお願いします)。



  • 最新版のRaspbean Lite buster をSDカードへ書き込む
  • SDカードに対してSSH有効・WiFiを設定し、Raspberry Pi4Bへ刺して起動
  • sudo vi /etc/dphys-swapfile を実行しCONF_SWAPSIZE=2048と書き換え保存
  • sudo /etc/init.d/dphys-swapfile restart swapon -s
  • sudo raspi-config を実行
  • "7.Advanced Options" > "A7 GL Driver" > "Y" > "G2 GL (Fake KMS)" を選択
  • "7.Advanced Options" > "A1 Expand Filesystem"
  • 終了時rebootを選択し、リブート実行
  • sudo apt update && sudo apt upgrade -y
  • sudo apt install -y libdrm-amdgpu1 libdrm-dev libdrm-exynos1 libdrm-freedreno1 libdrm-nouveau2 libdrm-omap1 libdrm-radeon1 libdrm-tegra0 libdrm2 libglu1-mesa libglu1-mesa-dev glusterfs-common libglu1-mesa libglu1-mesa-dev libglui-dev libglui2c2 mesa-utils mesa-utils-extra xorg-dev libgtk-3-dev libusb-1.0-0-dev cmake libprotobuf-dev libtbb-dev build-essential i2c-tools avahi-utils joystick libopenjp2-7-dev libtiff5-dev gfortran libatlas-base-dev libopenblas-dev libhdf5-serial-dev git ntp libilmbase-dev libopenexr-dev libgstreamer1.0-dev libjasper-dev libwebp-dev libatlas-base-dev libavcodec-dev libavformat-dev libswscale-dev libqtgui4 libqt4-test
  • (python3 を使う場合) sudo apt install -y python3 python3-dev python3-opencv python3-pip python3-protobuf python3-opengl python3-virtualenv python3-numpy python3-picamera python3-pandas python3-rpi.gpio
  • sudo -H pip3 install pyopengl
  • sudo -H pip3 install pyopengl_accelerate
  • cd ~/ && mkdir -p projects && cd projects
  • git clone https://github.com/IntelRealSense/librealsense.git
  • cd librealsense
  • sudo cp config/99-realsense-libusb.rules /etc/udev/rules.d/
  • sudo udevadm control --reload-rules && sudo udevadm trigger
  • sudo reboot
  • vi ~/.bashrc を実行し以下の2行を末尾に追加、保存する
  • export LD_LIBRARY_PATH=/usr/local/lib:$LD_LIBRARY_PATH
  • export PYTHONPATH=$PYTHONPATH:/usr/local/lib
  • source ~/.bashrc
  • cd ~/projects/librealsense
  • mkdir build && cd build
  • (python3を使う場合) cmake .. -DBUILD_EXAMPLES=bool:true -DCMAKE_BUILD_TYPE=Release -DFORCE_LIBUVC=bool:true -DBUILD_PYTHON_BINDINGS=bool:true -DPYTHON_EXECUTABLE=$(which python3)
  • make -j4
  • sudo make install
  • sudo ldconfig


librealsense2 の Radspberry Pi 3へのインストールドキュメントをそのまま実行するとインストールできない。(執筆時点で)以下の点に注意が必要である。

  • busterパッケージリポジトリにはデバッガオプション付きライブラリ(末尾-dbg)がない
  • udevadm triggersudo をつけて実行(リブートすれば大丈夫?)
  • cmake、TBB、protobuf、OpenCV はbusterパッケージリポジトリのものを使っても動作する
  • make は時間がかかるので一度にpythonラッパpyrealsense2のインストールまで一気に行う

あと私の場合は make -j4 でも大丈夫だった。落ちた場合は、make cleanしてやりなおしになる。3B+よりは早いが時間がむちゃくちゃかかる



次にT265の動作確認をするのだけど、realsense-viewerが使えない(liteを使ってるのでそもそもXサーバが別途必要になる、あればDISPLAY環境変数を設定すれば動くはず)。なので、pythonのサンプルコード t265_example.py で行う。


  • lsusb ※接続前の状態を確認(接続後との比較用)
  • dmesg |grep -i usb ※接続前の状態を確認(接続後との比較用)
  • Raspberry Pi 4B の青い USB3.0 コネクタにT265を接続し、電源を接続して起動
  • lsusb
※私の環境の場合、接続後以下のメッセージが追加
Bus 001 Device 003: ID 03e7:21XX Intel Myriad VPU [Movidius Neural Compute Stick]
  • dmesg |grep -i usb
※私の環境の場合、接続後以下のメッセージが追加
[  133.058275] usb 1-1.2: new high-speed USB device number 3 using xhci_hcd
[  133.189229] usb 1-1.2: New USB device found, idVendor=03e7, idProduct=21XXX, bcdDevice= 0.01
[  133.189245] usb 1-1.2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[  133.189258] usb 1-1.2: Product: Movidius MA2X5X
[  133.189271] usb 1-1.2: Manufacturer: Movidius Ltd.
[  133.189283] usb 1-1.2: SerialNumber: 03e72XXX
  • cd ~/projects/librealsense/wrapper/python/example
  • python3 t265_example.py を実行しエラーがないことを確認


上記手順では/usr/bin/python3を使用している。Donkeycar用python3のvirtualenv環境は上記手順の後に作成すれば、再度env環境上でpyrealsense2をインストールしなくても使用可能になる。donkeycar及び関連パッケージとTensorFlowはenv環境下でインストールされるので、deactivateすればインストール前の状態の環境に戻ることができる。


  • cd ~/
  • python3 -m virtualenv -p python3 env --system-site-packages
  • echo "source ~/env/bin/activate" >> ~/.bashrc
  • source ~/.bashrc
  • cd ~/projects
  • git clone https://github.com/autorope/donkeycar
  • cd donkeycar
  • git checkout master
  • git pull
  • pip install -e .[pi]
  • pip install tensorflow==1.14.0
  • sudo shutdown -h now

この記事執筆時点ではまだPyPIに登録されていなかった。ので上記手順ではlibrealsenseからソースコードビルドしている。
PyPI登録されているかもしれないので pip3 search pyrealsense2 して確認のこと。



ちなみに4BをUSBハブ経由で動かすと電力不足のメッセージが頻出した。PC直付けにしたらエラーが無くなったので、4Bって結構電源にシビアなのかもしれない..

..これまでRaspberry Pi3B+環境でつかっていたモバイルバッテリが、4B&T265の電力消費に対応できるか..だけど、これは実際に繋いで試してみるしか無いか..


2020年2月17日月曜日

Jetson Nano 上で RealSense T265 用 Donkeycar パーツを試す

Donekycar (v3.1.1マスタブランチ)コードには
RealSense T265用パーツクラス
donkeycar.parts.realsense2.pyRS_T265という名前のクラス)
がすでに用意されている。

realsense2.py は、pythonパッケージ pyrealsense2 を先に導入しておかなくてはならない。

通常のUbuntuなら pip install pyrealsense2 でインストールするのだが、Jetson Nano用のJetpack (v43)アーキテクチャ用whlモジュールがPyPIに登録されていないので、シェアードライブラリ含めてソースコードビルドを選択せざるを得ない。

Donkeycar環境を構築済みのJetson Nanoへ

GitHub: IntelRealSense/librealsense
https://github.com/IntelRealSense/librealsense

上記のリポジトリからソースコードビルドした。
#ビルド方法の概要は前記事のps以下を参照のこと

python -c "import pyrealsense2" を実行してエラーが出なければ、python ラッパパッケージ pyrealsense2 のインストールが成功しているかがわかる。

また、librealsense/wrapper/python/examplesにある t265_example.py を実行(JetsonにUSBケーブル経由でT265をつないで起動し、python t265_example.pyを実行)することで、実際に値が取れているかどうか疎通確認テストができる。

以下のコードは、Veichleフレームワークを使ってRS_T265パーツを動かすサンプルである。

    import donkeycar as dk
    V = dk.vehicle.Vehicle()

    from donkeycar.parts.realsense2 import RS_T265
    rs = RS_T265(image_output=False)
    V.add(rs, outputs=['pos', 'vel', 'acc', 'image_array'], threaded=False)
    class PrintIMU:
        def run(self, pos, vel, acc):
            print('pos:({:.5g}, {:.5g}, {:.5g}) vel:({:.5g}, {:.5g}, {:.5g}) acc:({:.5g}, {:.5g}, {:.5g})'.format(
                pos.x, pos.y, pos.z, vel.x, vel.y, vel.z, acc.x, acc.y, acc.z))
    V.add(PrintIMU(), inputs=['pos', 'vel', 'acc'])

    V.start(rate_hz=20, max_loop_count=20 * 60)


RS_T265run すると6軸IMUデータ+位置座標(位置座標(X, Y, Z)、速度(X, Y, Z)、加速度(X, Y, Z))とイメージが取得できる。

ただし、RS_T265クラスのコンストラクタ引数に何も指定しない場合(デフォルトの場合)は、イメージ配列が出力されない(Noneで出力される)。

T265カメラの画像のイメージ配列を取得したい場合は、RS_T265(image_output=True)と指定するとnd.array形式の配列として出力される。

ただし、2つあるカメラの片方(多分..左側かな..)のみでかつnd.array形式のshape(800, 848)となる(白黒画像なので2次元配列)。

Donkeycar のカメラの代替として使用する場合は、myconfig.pyIMAGE_HIMAGE_WIMAGE_DEPTHを書き換えるか、イメージ配列を加工して(120, 160, 3)reshapeするパーツクラスを作成すれば良い。


なお pyrealsense2 パッケージを直接使うと、四元数(qw, qx, qy, qz)が取得できる。
詳細は librealsense/wrapper/python/examples/t265_rpy.py を参照のこと。


RS_T265クラスのコンストラクタのデフォルト引数がイメージを使用しない仕様から、おそらくカメラは既存のデバイスを使って、IMU(MPU6050)がわりにT265を使い、機械学習モデル'imu'で動かすことを想定して作成されたものと推測できる。

それならMPU6050のほうが安上がりだ。位置情報もSLAMを使うにはDonkeycarの機械学習モデル自体の入力層をいじらなくてはならないし..


..やはりROSで使うのが、一般的なのかな..
シェアードライブラリのみ(Pythonラッパなし)や
ROS上で動作する T265モジュール(melodic)も
apt で入れられるし..

2020年2月12日水曜日

Jetson Nano 上で Realsense T265 を動かす


Intel Realsense トラッキングカメラ T265 をJetson Nanoにつないで使いたい。
Donkeycarで使用するには、Pythonライブラリをインストールする前に、シェアードライブラリをインストールシなくてはならない。なのでとりあえずシェアードライブラリとX上で動作する realsense-viewer を動してみた。



1. Jetson Nano のセットアップ


Getting Started With Jetson Nano Development KitをもとにJetpackをセットアップ(詳細略)。


2. librealsense 及びビューアなどのインストール


Jetson Nanoを起動し、ターミナルを開いたら、以下のコマンドを実行する。

sudo apt update && sudo apt upgrade -y
sudo apt-key adv --keyserver keys.gnupg.net --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE || sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv-key F6E65AC044F831AC80A06380C8B3A55A6F3EFCDE
sudo add-apt-repository "deb http://realsense-hw-public.s3.amazonaws.com/Debian/apt-repo bionic main" -u
sudo apt install -y librealsense2-dev librealsense2-utils  librealsense2-dbg

上記の手順でうまく行かない場合は、情報が更新されているかもしれません。

[GitHub] libsense Linux Distribusionに最新情報が掲載されるので、こちらを参照してください

3. ビューアの実行


  1. Jetson Nanoをシャットダウンする
  2. USBケーブルでRealsense T265 を接続する
  3. Jetson Nanoを起動する
  4. Xがあがったら、realsense-viewer を実行する


左やや上にある赤いトグルボタンを押し緑色にすると、画像が表示される
右上の2Dリンクを押すと、左右カメラ画像、位置、速度、加速度情報が表示される

 



右上の3Dリンクを押すと、動かしたカメラの軌跡を緑線で表示される



  • Ctrl+C で終了



ps 2020/02/12 追記

..とまあ、ここまではよかったのだけど..

Jetson Nano でPython ライブラリ pyrealsense2 を使用する場合は、pip install pyrealsense2 ではインストールできない。

このため、librealsenseをソースコードからコンパイルしていかないと駄目だ。

ということで

  1. cd ~/
  2. mkdir projects
  3. git clone https://github.com/IntelRealSense/librealsense.git
  4. cd libreamsense
  5. mkdir build
  6. cd build
  7. cmake ../ -DPYTHON_EXECUTABLE=~/env/bin/python -DBUILD_PYTHON_BINDINGS:bool=true
  8. make -j4
  9. sudo make install
  10. vi ~/.bashrc を実行して export PYTHONPATH=$PYTHONPATH:/usr/local/lib を最終行に追加
  11. source ~/.bashrc

を実行しpython 上で import pyrealsense2 がエラーなく動けばOKである。
注意:PYTHON実行バイナリのパスは環境に合わせて変更すること

Donkeycar をJetson Nanoへインストール中 pip install -e .[nano] したら、AttributeErrorが出た件

Donkeycar の公式ドキュメント通りJetson Nano上へDonkeycarをインストールしていたら、python donkeycar パッケージの pip install 中に以下のような Attribute Errorが発生した。


(env) hogehoge@fugafuga: ~/projects/donkeycar$ pip install -e .[nano]
Obtaining file:///home/hogehoge/projects/donkeycar
Requirement already satisfied: numpy in /usr/lib/python3/dist-packages (from donkeycar==3.1.1) (1.13.3)
Requirement already satisfied: pillow in /usr/lib/python3/dist-packages (from donkeycar==3.1.1) (5.1.0)
Collecting docopt
  Using cached docopt-0.6.2.tar.gz (25 kB)
Collecting tornado
  Using cached tornado-6.0.3.tar.gz (482 kB)
Requirement already satisfied: requests in /usr/lib/python3/dist-packages (from donkeycar==3.1.1) (2.18.4)
Collecting h5py
  Using cached h5py-2.10.0.tar.gz (301 kB)
Collecting moviepy
  Using cached moviepy-1.0.1.tar.gz (373 kB)
Collecting pandas
  Using cached pandas-1.0.1.tar.gz (4.9 MB)
  Installing build dependencies ... done
Getting requirements to build wheel ... error
ERROR: Command errored out with exit status 1:
   command: /home/hogehoge/env/bin/python /home/hori/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py get_requires_for_build_wheel /tmp/tmpf4z2oxsg
       cwd: /tmp/pip-install-ycyri24h/pandas
  Complete output (10 lines):
  Traceback (most recent call last):
    File "/home/hogehoge/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py", line 257, in
      main()
    File "/home/hogehoge/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py", line 240, in main
      json_out['return_val'] = hook(**hook_input['kwargs'])
    File "/home/hogehoge/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py", line 85, in get_requires_for_build_wheel
      backend = _build_backend()
    File "/home/hogehoge/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py", line 76, in _build_backend
      obj = getattr(obj, path_part)
  AttributeError: module 'setuptools.build_meta' has no attribute '__legacy__'
  ----------------------------------------
ERROR: Command errored out with exit status 1: /home/hogehoge/env/bin/python /home/hogehoge/env/lib/python3.6/site-packages/pip/_vendor/pep517/_in_process.py get_requires_for_build_wheel /tmp/tmpf4z2oxsg Check the logs for full command output.
(env) hogehoge@fugafuga: ~/projects/donkeycar$

上記のpip install は何度もやり直しているので、すでにインストールしたパッケージはダウンロードゲージが出ていない。

調べると setuptools の Issue#1694 https://github.com/pypa/setuptools/issues/1694 に情報が乗っていた。

ああ、pip install する際に、 --no-use-pep517 をつければいいんだ..

とおもい、つけて実行してみると..

cannot cytonize without Cython installed.

..今度は Cythonパッケージ無しで cythonizeしようとしているとかいうエラーが出た..

しょうがないので

pip install cython を実行し、pip install -e .[nano] --no-use-pep517 を実行したら..


うまくいった。


----
cythonってpythonモジュールをCで開発したモジュール並みの速度で実行できるやーつだったっけ..




とりあえず、先に進んでみるか..

OpenAI Gym 環境クラスを独自実装してみる

強化学習を行う場合、Stable BaselinesやTensorFlowなどのAPIではOpenAI Gym準拠の環境クラスを使用することができる。 ので、個別案件に対応する独自環境クラスを作りたい.. ということで実際に作ってみた。 独自環境クラスを実装するには、まずOpen...