石田 岳志

職歴

CyberAgent AI Lab

店舗環境を対象とした画像認識・自己位置推定の研究開発

• COLMAP で構築した地図と単眼カメラを用いた、店舗内でのリアルタイム自己位置推定手法の研究開発

• ステレオ赤外線カメラ RealSense を用いたオドメトリ推定手法の実装

• マルチモーダル基盤モデル CLIP を用いた、画像とテキストによる店舗内商品検索手法の研究開発

• 機械学習向け社内計算機基盤の環境構築を自動化するツールの整備

2024年7月 -

Tier IV, Inc.

車両の自己位置推定の研究開発

• Visual SLAM 技術の調査と実装

• 難しい環境を対象とした位置推定アルゴリズムの開発

• 自社開発のリアルタイム OS カーネル Autoware Kernel 上で動作する LiDAR ドライバおよび自己位置推定手法の実装

2020年7月 - 2024年6月

未踏プロジェクト

Visual SLAMフレームワークの開発

2019年4月 - 2020年3月

株式会社ディー・エヌ・エー

コンピュータビジョンに関連する手法の調査と実装

2018年4月 - 2020年3月

アルバイト

クックパッド株式会社

料理画像から具材を推定する手法の開発

2016年12月 - 2017年7月

アルバイト

株式会社ウサギィ

コンピュータビジョンや自然言語処理におけるさまざまな手法の調査と実装

2014年5月 - 2017年1月

アルバイト

学歴

東京高専 専攻科 機械情報システム工学専攻

2017年4月 - 2019年3月

フィンランド メトロポリア応用科学大学 (交換留学)

2017年8月 - 2017年12月

全授業を英語で受講した。現地学生との共同プロジェクトでは、医療関連の投稿型アプリ Huoletti 向けに、投稿情報の正確性を評価するアルゴリズムを実装した。

東京高専 情報工学科

2012年4月 - 2017年3月

特許

特許6306770 「情報処理装置、情報処理方法、およびプログラム」 (特開2018-181267)

料理に用いられている具材を料理画像から推定する手法。深層学習とグラフ探索アルゴリズムを組み合わせている。

発明者: 石田 岳志 (単独発明) / 出願人: クックパッド株式会社

出願 2017年4月21日 / 登録 2018年4月4日

受賞歴・コンテスト

• JPHACKS 2015 決勝進出

• Open Hack U 2014 出場

• SECCON 2013 出場

成果物

Visual Relocalization

COLMAP 地図と単眼カメラを活用した自己位置推定

icp_rust

ICP (Iterative Closest Point) の Rust による実装。

TIER IV で開発中の OS の上で動かすことを目的としているが、Linux でも動作する。

YDLiDAR Driver

手のひらサイズの小型な LiDAR である YDLiDAR T-mini Pro の Rust 製ドライバ。

Velodyne Driver

Velodyne 社の LiDAR VLP-16 の Rust 製ドライバ。

TIER IV が独自開発しているリアルタイム OS カーネル Autoware Kernel の上で動かすことを目的としており、仕様書をもとにフルスクラッチで実装した。

LOAM (Refactored version)

LiDAR ベースの SLAM アルゴリズムである LOAM [10] [11] をリファクタリングしたもの。

自動運転用 OSS である Autoware と統合して動かすことを目的としている。

LiDAR スキャンから構造特徴を抽出する処理をオリジナルの実装よりも高速化している。

Tadataka

　Visual Odometry のアルゴリズムを複数実装したパッケージ。RGB-D カメラ向けのオドメトリ推定アルゴリズムと、特徴点ベースの単眼カメラ向けオドメトリ推定システムを使うことができる。

DVO (Dense Visual Odometry) [7] [3]

　深度情報および画像の輝度情報からカメラの移動経路を推定できる。

特徴点ベースのVisual Odometry

　単眼RGB画像列のみから3次元地図とカメラの軌跡を推定できる。

DVO

Dense Visual Odometry [7] の再現実装。

RGB-D カメラの入力に対し、ピクセル輝度の誤差を直接最小化することでオドメトリを推定する。Dense 系統の Visual Odometry の基礎となる手法であり、その理論的背景を習得するために実装した。

RoadDamageDetector

SSD (Single Shot Multibox Detector) [4] によって道路のひび割れや損傷を検出できる。

Maeda らの研究 [9] を追証している。詳細な解説は Qiita に掲載されている。

ベースネットワークとして VGG16 [6] と ResNet-101 [2] の2種類を実装し、精度と実行速度を比較した。精度は VGG16 が mAP 0.561、ResNet-101 が mAP 0.379 であった一方、CPU 上での実行速度は ResNet-101 が VGG16 の2倍以上高速であった。

SBA

高効率な3次元復元アルゴリズム Sparse Bundle Adjustment (SBA) [5] を Python で実装した。

Tomasi-Kanade

Tomasi-Kanade法 [8] による3次元復元の実装。

正投影カメラモデルを用いるので、実世界のアプリケーションとしては利用範囲が限定されるものの、SVDによって高速に3次元復元を実行できる。

Bilinear-Interpolation-SIMD

画像の画素補間に用いられるアルゴリズム Bilinear Interpolation を SIMD を用いて実装した。

PCANet

　PCANet [1] はネットワークの重みを PCA で計算することで高速にバッチ学習できるニューラルネットワークである。このネットワークは Pooling 層でヒストグラム計算を行っており、これが実行速度のボトルネックとなっていた。

　この問題を解消するため、私はヒストグラム計算を CuPy で GPU 向けに実装した。計算を並列化したことで実行速度も大幅に向上した。CuPy開発者の方々の協力もあり、これは後に CuPy 本体にマージされている。 #298

Ensemble PCANet

PCANet は線形な演算のみで構成されるため表現力に限りがある。そこで PCANet を弱学習器とみなし、アンサンブル学習 (Bagging) を適用することで分類器の性能向上を図った。MNIST を用いた評価では、オリジナルの PCANet の識別精度 92.02% に対して 94.47% を達成した。

これを研究成果として JSAI 2017 で発表した。

DTrie

簡潔データ構造 Trie のD言語による実装。

かな漢字変換で使う辞書を少ないメモリで保持するために実装した。

SCW

オンライン教師あり線形分類器 SCW (Soft Confidence-Weighted Learning) の実装 [12]。

Qiita

• プログラマが持つべき心構え (The Zen of Python)

• カルマンフィルタってなに？

• Tomasi-Kanade法による3次元復元

執筆

• 日経ソフトウエア 2017年8月号 「Pythonで機械学習」

• 日経ソフトウエア 2020年5月号 「撮影した物体を3次元データで復元」

• TIER IV Tech Blog 「Visual SLAMの可能性と技術的チャレンジ」

• TIER IV Tech Blog 「Visual-Inertial Odometryが自動運転に与えるインパクトと応用への課題」

• 日本写真測量学会　写真測量とリモートセンシング　2023年11月号　「市街地における自動運転へのSLAMの活用」

学会発表

• MIRU2025 デモ発表「店舗小売現場における商品配置支援アプリケーションの開発」

• 第31回人工知能学会全国大会 (JSAI2017)「PCANetのアンサンブル学習への適用」 石田岳志、山下晃弘、松林勝志

発表

• ROSCon JP 2024 LT「自己位置推定の取り組み」

• 第63回 コンピュータビジョン勉強会関東「CLIP による店舗内商品検索」

• ROS Japan UG #57 ROS納めLT大会「Raspberry Pi で動かすカメラベースオドメトリ推定」

• 第48回ロボティクス勉強会「Visual Relocalization」

• Spatial AI 勉強会「カメラ姿勢推定手法 EPnP」 (資料非公開)

• 第4回 3D勉強会@関東「3次元回転表現とその実装」

• 第54回 コンピュータビジョン勉強会@関東「Sparse Bundle Adjustment」

• GPU Deep Learning Community #8「CUDAでヒストグラム計算を書いてcupyにmergeしてもらった」

• JuliaTokyo #5「Juliaでオンライン線形分類器つくった」

• Kaggle - Malware Classification Challenge勉強会「マルウェア分類に用いられる特徴量」

• 第一回機械学習アルゴリズム実装会「SCW」 (PDFの文字化けあり)

リンク

• GitHub

• Qiita

• SpeakerDeck

References

[1]

Chan, Tsung-Han, et al. "PCANet: A simple deep learning baseline for image classification?." IEEE transactions on image processing 24.12 (2015): 5017-5032.

[2]

He, Kaiming, et al. "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

[3]

Kerl, Christian, Jürgen Sturm, and Daniel Cremers. "Robust odometry estimation for RGB-D cameras." Robotics and Automation (ICRA), 2013 IEEE International Conference on. IEEE, 2013.

[4]

Liu, Wei, et al. "Ssd: Single shot multibox detector." Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11–14, 2016, Proceedings, Part I 14. Springer International Publishing, 2016.

[5]

Lourakis, Manolis IA, and Antonis A. Argyros. "SBA: A software package for generic sparse bundle adjustment." ACM Transactions on Mathematical Software (TOMS) 36.1 (2009): 1-30.

[6]

Simonyan, Karen, and Andrew Zisserman. "Very deep convolutional networks for large-scale image recognition." arXiv preprint arXiv:1409.1556 (2014).

[7] (1,2)

Steinbrücker Frank, Jürgen Sturm, and Daniel Cremers. "Real-time visual odometry from dense RGB-D images." Computer Vision Workshops (ICCV Workshops), 2011 IEEE International Conference on. IEEE, 2011.

[8]

Tomasi, Carlo, and Takeo Kanade. "Shape and motion from image streams under orthography: a factorization method." International journal of computer vision 9 (1992): 137-154.

[9]

Maeda, Hiroya, et al. "Road damage detection using deep neural networks with images captured through a smartphone." arXiv preprint arXiv:1801.09454 (2018).

[10]

Shan, Tixiao, and Brendan Englot. "Lego-loam: Lightweight and ground-optimized lidar odometry and mapping on variable terrain." 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). IEEE, 2018.

[11]

Shan, Tixiao, et al. "Lio-sam: Tightly-coupled lidar inertial odometry via smoothing and mapping." 2020 IEEE/RSJ international conference on intelligent robots and systems (IROS). IEEE, 2020.

[12]

Wang, Jialei, Peilin Zhao, and Steven CH Hoi. "Exact soft confidence-weighted learning." arXiv preprint arXiv:1206.4612 (2012).