実は、FLARToolKitを使って電脳キューブを読み込むと言うデモが、ほぼ出来ている。
出来ているんだが、1つだけ凄く難しい問題があって、それをどうやって解決するか悩んでいる。
どのような問題こと言うと、これ。
キューブが奥に倒れている事がお分かりだろうか？
しかし、モデルであるミクはキューブに隠れていない。
そう、
「キューブにモデルが隠れなくてはならない場面でも、隠れない」
と言う問題だ。
上の画像だと、赤い四角で囲まれた部分の中にちょっと見える
ミクの足部分が、本来は見えないはずなのだ。
橋本氏の書籍にあった「穴」の表現が応用できればよいが、
これが中々難しい問題だ・・・。
実際、それ以外はほぼ出来た。
ちょっとdemoを公開してみるので、試してください。
電脳キューブ試作001番｜電脳キューブでｳｯｰｳｯｰｳﾏｳﾏ(ﾟ∀ﾟ)
そして感想プリーズ
せっかくの３Ｄなのでレンダリングして動画形式や静止画として保存できたほうが便利かなぁって思い、PaperVision3Dなムービーをflv形式でファイルに出力してみました。
PaperVision3Dムービーをflvで出力保存 - PHP,MySQL,Flexな日々＋イラストとか
ここ経由で、swfファイルの内容をflvに保存すると言うライブラリの存在を知ったので、
早速試してみた。
本体は、「zero point nine » Blog Archive » SimpleFlvWriter.as - AS3 Class to Create FLV’s」にあったんだが、
AIR用に作られていた。
でも、FP10ならローカルアクセスできるし、ちょっとやってみようと言う事で
FP10用にswfファイルでも使えるように修正を加えてみた。
ただ、元からっぽいが、Flash由来のプレイヤーでしか再生できない気がする。
あ、そうそう。source codeはこちらね。
(続きを読む…)
以前のエントリで、マーカの誤認識について書いたところ、
問題なのは、ARToolkitの場合、評価対象になるマーカーの正規化部分が、1:2:1比率の内側になってるので、ARisさんのマーカーを使うと、真ん中部分しか判定の対象にならないこと。
（白部分をサンプリングして評価パターンを作ってる。）
この比率は、NyARColorPatt_O3クラスの(FLARToolkitだとFLARColorPatt_O3かな？）のupdateExtpat関数の、xwとywの辺りを変えればいじれる。（計算式はちゃんと解析して無いから、具体的な数値はわかりません。ごめんなさい）
ARisさんのマーカー認識 - A虎＠Hatena::Diary
このように詳細な情報を教えていただいた。
で、その後ARisのマーカ認識をやっていく上で、
側面4面を1つのマーカで1回認識した後、右上の差分の所をもう一回調べて
前後左右を検知すると言うアイデアを思いつき、実装してみたんだが、
やはり誤認識が多い。
ただし、側面と他の面を誤認識するのではなく、面の向きを間違える。
前後左右の向きではなく、何と言うのか・・・傾きって言えばいいのかな？
画面上のマーカが、寝転がってるとか、逆立ちしてるとか、そういう向き。
側面マーカの右上部分を再調査すると言う現状のアルゴリズムだと、
この傾きの間違いが致命的になる。
と言う事で、A虎＠さんの情報を元に、枠の無いマーカを作る方法を発見した。
ただし、Twitterでは大口叩いたが、
完全に分かったわけではなく、数値をどのように弄れば枠と中の比率を変えれるかだけ分かった。
(続きを読む…)
以前のエントリで、電脳フィギュア付属の電脳キューブが実に考えられたデザインだとか書いたが、
そのエントリへのコメントによると、
「いや総当りですけど何か？」
って感じらしかった。ちょっとゲンナリ。
しかし、そうなるとITmediaの記事や公式サイトで言っている、
各面のマーカーを少なくとも1つ以上認識すれば、位置を特定できる
「過激でないと革命は起こせない」――そして「電脳フィギュア ARis」は生まれた (2/2) - ITmedia News
って何なの？ってなる。
まぁこの辺は色々グレーなので、もうどうしようもない気がするけどね。(参考)
+GAINER―PHYSICAL COMPUTING WITH GAINER(単行本)
さて、前回のエントリでは、
キューブ型マーカの側面の判別に苦労していると言う話をした上で、
なぜそうなってるかについて考察を行った。
で、判別精度向上のヒントをA虎＠さんがエントリして下さったので、
精度向上については取り敢えず目処が立ったと言えよう。
が、今は精度向上を目指す方向ではなく、前回のエントリでも少し触れた、
あえて同じマーカとして認識させる方法を用いて、キューブ検出を行おうと思う。
現在、キューブ検出用のコードを書いてて、
何となく見えてきたので、ブログに起こしてみた。
現状はこんな感じ。
一応マーカは側面の奴で、モデルがキューブ上に乗せるよう回転をかけてる。
とりあえず、「頂点か側面か」の判断はつくようになった。
で、後は「側面のどれか？」を検知するようにならなければ。
後、側面だった場合の回転や移動を、Deteｃtor内部で行いたい。
現状、Detectorが出してきた変換行列をかけた後のモデルに、
無理矢理回転と移動を行ってる。
画像でモデルの位置が実際の電脳キューブとずれてるのはその所為。
真正面からマーカを撮ると、上手く騙せる感じになる。
そう言えば、俺が最近ARisの情報源にさせて頂いている
「１００円玉の対価」
によると、ARis用マーカを誰かがpdf形式にして公開してくれたそうだ。
2chの電脳アリススレに、電脳キューブのマーカーをPDFほかでupして下さってる方がいたので、早速ソレを入手させて頂きました。
１００円玉の対価 電脳フィギュア アリス、隣に立ってみた。
で、それを元に探して、該当部分を見つけたんだが、そこにこう書いてあった。
需要あるかな？ 私がマーカー自作したときのデータをうｐしてみた。
(中略)
マーカーdatから作ったから認識率は良いはず。
電脳フィギュア ARis(アリス) Part1#732
このように、このマーカ自作者の方はdatファイルを元にマーカを作成したらしい。
つまり、マーカのdatファイルなるものがあると言う事か。
このマーカーのdatファイルが見たいと思ったが、
流石にそこまでやってしまうと不味いかと感じ、自重。
でも、このdatファイルを見て、ARToolKit用と同じ形式だったら衝撃的だな。
貴様！（ARToolKitのソースを）見ているな！
てなるだろうね。
（マーカからpdf作れるくらいだし、それは無いと思うが）
3Dキャラクターが現実世界に誕生! ARToolKit拡張現実感プログラミング入門(大型本)
最近すっかり話題も落ち着いた感のある電脳フィギュア ARisだが、俺は相変わらずあのキューブ型マーカを認識すべく頑張っている。で、認識中に凄く悩まされるのが、キューブの面を他の面と誤認識する事が多いと言う事。これは5面あるキューブ型マーカの内、「ARis」の面以外はほとんど同じであると言う事に起因している。
そこで気付いたんだが、もしかしてキューブ型のマーカに対しては、ARToolKitがやっているようなconfidence(一致度)を求めるような評価をするのではなく、もっと簡易的な方法でマーカ認識をやっているのではないだろうかと考えた。
今回は、その考察を行っていく。
広く意見を求めたい所だが、残念ながらARToolKit人口そのものが少ないので、「深く意見を求めたい」に変えよう。
もう一つ、今非常に知りたいことがある。
立方体の「面」を英語で何と言うか？
だ。
変数名につける英語が分からない、英語力の無い俺を許してくれー
夜中に、死にそうになりながら、とりあえず複数マーカの取得サンプルを作ってみた。
demoはこちら。
試すのに電脳フィギュアが必要。
ちょっと信じられないくらい重い気がする。所謂fps的なものの数値が低い。
そして眠い。
FLARToolKitの複数マーカ用クラス「FLARDetectMarker」が作りかけだったので、かなり無理のある手段で動くようなコードにした。もっと元気な時に見直ししないと。特にgetResultがヒドイ。
例によってコードはFLARToolKitのsamples以下。
今回電脳キューブ用のパターンファイル(FLARCodeに食わせる奴)はコミットしなかったけど、コミットした方がみんなが喜ぶの？あといいのかな？コミットしちゃって。権利者的な人から怒られそうで怖い。
ふと気になったんだが、例えばキューブの絵柄が商標登録してあるとして、その絵柄を認識するためのパターンファイルは保護対象なのかな？
ARToolKitでも普通に読めるな。
さくーしゃさん作成のマーカ読み込みツール(Saqoosha.net :: ARToosKit Marker Generator for Adobe AIR)でも普通に認識させられるし、前のエントリの時も使ったマーカになりうる四角形を全部赤で囲むプログラムに通してみたら、全部認識できてた。
と言うわけで、電脳キューブの画像をブログにアップしてる人(下記)がいたので、その画像をWebカメラで映して、ミクを乗せてみた。
買ってみました。
でもまだ遊べていません。
サーバが重すぎてゲームを開始できません。取り敢えず、導入部分をレビューしてみます。
１００円玉の対価 電脳フィギュア ARis (芸者東京エンターテインメント株式会社)
実際、試験的に作成した自前電脳キューブでも、電脳キューブの写真でも、完璧にマーカを認識できている。まぁ、流石に一番いいタイミングを選んだことは否定しないが、別にそんな一瞬の風を読んだ訳ではなく、変なノイズが無いタイミングを選んだくらい。
昨日、遂に電脳フィギュアARisが出たんだよなー。
ただ、ソフトウェアの入手方法や毎回の認証が面倒だと言う意見が結構ある。
というか、DL用サーバがしょぼくて、未だインストールにも辿り着けない人もいるらしい。
ミラーのURL(http://s3.amazonaws.com/ar-figure/download/forlocalinstall/ArFigure1_1_3.zip)がモロにAmazon S3な所に、突貫工事っぷりをみました。
まぁ、流石にもう少ししたら状況も改善されるだろうし、ちょっと見守ってみるかなーって所か。
それから、もし可能なら誰かマーカの画像を公開してもらえたりすると有難いかも知れんね。
ARis用のマーカを、ARToolKitで認識できるようになれば、結構面白い事になると思うんだが。
見た感じ、画像の白黒反転させれば出来るかもって感じのデザインだが。
9800円＋Webカメラ代払って、ARisだけだとちょっと寂しいかなーと思ったあなた！
それから、「ARisなんてただのARToolKitのパクリじゃねーか、クソが！」などとお怒りの研究者・開発者の皆さん！
ARisのマーカを認識できるARToolKit用ツールを作って、お客を引き込みましょう！
プロモーション作業はARisがやってくれたわけだし、次はあなた達が本気を出す番ですよ！
それと、ARis級のモデルやアニメーションデータとかを提供して下さるモデラーの方がいると、凄く有難いよなーって思ってる。
ニコニコ動画に、体験できたと言う人の動画があったので紹介。
