This research work introduces an Augmented Reality (AR) camera for teaching a household robot. This AR camera allows a person to instruct a robot by photographing steps of a sequential task, for example, the steps in preparing a cup of coffee. By annotating the sequential steps in photographs, the photograph contains sufficient information for a robot to understand. This research paper reports the implementation and results of an AR camera in a kitchen and living room.
ハンドヘルドのＡＲ（Augmented Reality:拡張現実感）デバイスを用いて，家庭用ロボットに対するシーケンシャルなタスクの教示を行うシステムを提案する．シーケンシャルなタスクは，小さなタスクの集まりと見ることができる．例えば，「コーヒーを淹れる」というタスクは，「カップにインスタントコーヒーの粉を入れる」「ポットの下にカップを置く」「お湯を注ぐ」など，いくつかのステップに分けることができる．本手法では，それぞれのステップにおいて写真を撮り，必要な情報をアノテーションとして付加することによって，作業手順の教示を行う．情報が付加された写真は，後日ユーザがタスクを選択する際のリファレンスとなる．本論文では，提案手法の概要と実装したプロトタイプ，およびその実験結果について報告する．(designinterface.jp)
S. Hashimoto is continuing this research as part of the Snappy project.
Fung, R., Hashimoto, S., Inami, M., and Igarashi, T. 2011. An Augmented Reality System for Teaching Sequential Tasks to a Household Robot. IEEE International Symposium on Robot and Human Interactive Communication RO-MAN 2011 (Atlanta, GA), 282-287.