W&T Thermal Cam1,3,D,Y ?
LEPTONとは米国FLIR社が製造している超小型サーモグラフィーカメラ（センサー）で、大きく分けて画素が80x60のLEPTON1、160x120のLEPTON3が販売されています。I2CとSPIを使って制御する少々お高いセンサーですが、格安ESP8266を利用して、iPhoneで表示させるアプリを作りました。
私たちが製作したものは、LEPTON1、3とも制御可能で、さらに２台同時に使うことにより距離認識が可能です。概要は、FLIR社のMaker Community https://lepton.flir.com/community-showcase-items/thermal-stereo-cam/
に掲載されています。今回Maker Fair Kyotoへの出展応募に当たり、この仕組みを応用してワクワクするような展示を考えています。
PI3 LEPTON
過去2回Maker Faire Tokyoに出展経験がありますが、会場ではWIFIが繋がりにくく、急遽ビデオによる紹介しかできずに悔しい思いをしていました。そのため、今回はESP8266の代わりに有線LANでもWIFIでも対応できるラズベリーパイ３（以降PI3）でLEPTON3を動かすことにしました。海外でこの組み合わせに成功した事例が公開されているので楽勝かと思ったのですが、大きな問題がありました。Linuxのマルチタスク処理が主な原因で、LEPTON3+PI3では数分〜数時間で止まってしまうのです。FLIRがこの組み合わせのソースを公開していない理由が、体験を通して理解させられることになりました。でも、私たちは基盤とソフトの工夫で、これを克服することができています。PI3単独で赤外線画像（暗視画像）を表示するだけでなく、iPhoneの代わりに使ったNvidiaのTX2やXavierからでもLAN経由で画像制御と動画表示が可能です。まずこれが１つ目の展示です。
PI3は電源供給だけ！後ろの画像はPI3から送られた画像をNVIDIA Xavierで表示させてます。
ホストマシンの画像です。2D、3D画像や画像調整、17種類のカラー表示が2D、3D側別々に指定可能。ポイント温度はもちろんポイント周辺の温度も測定できます。
PI BOSON
FLIRにはLEPTONの上位機種でBOSONという名称のサーモグラフィーカメラも存在します。こちらは２種類。320x256(QVGA)又は640x512(VGA)の画素で非常に小型な上、フレームレートも最高60fps（LEPTONは日本国内では10fps以下）というとんでもない性能。たまたまVGAカメラを借りることができましたが、こちらは価格が60万円以上という宝石並みの高額商品です。この時の比較テストで、LEPTON3のたかだか160x120画素でも、私たちが今まで開発したものは画質がかなり良いことが分かりました。VGAカメラの1/3の価格であるQVGAでこのアルゴリズムを応用した場合どうなるのか…?果たしてVGAの代替え機種になるのでしょうか？私たちの２つ目の展示予定作品です。
BOSON VGA の参考画像画像。流石に素晴らしいスピードと解像度です。
160x120 LEPTON3出力(GloupGes PURETHRMAL 2) 今回の画像（319x239補完画像）
両者同じLEPTON3.5で撮影したものですが全く印象が違うことが確認できます。
画角は異なるが左がThermal Cam 3(LEPTON3.0)画像。右はBOSON VGA 。LEPTON 160x120でもディテールがかなり再現できている。
同上。この方法で、BOSON QVGA(320x256画素）がVGA(640x512画素)に追いつく可能性があります！！
おうちクラウドAI
PI3と同一LAN上に接続した小型で省電力なGPUを持つNVIDIA TX2やXavierで、AIを活用しない手はありません。ただし、これらの機種でも標準的なデータセットで動画認識のスピードを上げるには、かなりの努力が必要です。私たちはまずTX2やXavier でYOLO V3やV2を現実的なスピードで実行する方法を考えました（眠っている昔のGPU付きマシンでも実現可能）。PI3で処理した赤外線画像データをメインPCに送り、AIで認識したバウンディングボックス座標をPI3に表示させたらどうなるか？これが「おうちクラウドAI」です。XavierもPI3もGPIOが使えるので、お互いにAIを応用した様々な制御が可能になります。この仕組みはAWSに応用できると思いませんか？今できているシステムはこれです。どちらも開発が容易なOpenframeworksで実現していることにも注目して下さい。さらに発展させて、高画質化したBOSON QVGAで展示しようと思っています。それが３つ目の展示予定作品です。ジャンケン判定で何か動くものを作ってみようと思います。
どんなのかは、この動画で！！
夜間の動物被害に応用できそう。
サーボジンバル
もともとESP8266+LEPTON3+iPhoneの構成は、小型ドローン搭載により安価な計測システムを作ることが目的でした。基盤やソフトの改良で電波到達距離を伸ばしましたが、機体が姿勢制御で揺れた場合、画像がすぐ画面から外れてしまいます。よってカメラ側の揺れ対策が最後の課題。誰でも導入できてシステム価格が安く、軽くできたら…。DJ1やDOBYへ手軽に搭載できて、撮影対象物を大きく外す事なく録画できたら…。ドローンから発生する様々なノイズ対策は、私たちにはとても難しい課題でしたが、もう少しの改良で実現できる確信があります。4つ目の展示として鋭意作成中です。
最後に
素人エンジニアと素人プログラマーが作った複雑で高度な処理が、あっけないほど手軽に実現できる様子を会場でお見せできると思っています。
追伸
おかげさまで、今まで作ったすべてのモノをさらに進化させて展示することができました。いろいろな意見をいただいて、とても有意義な２日間となりました。みなさんありがとうございました。
