マイクロソフト、ジェスチャー制御PCのビジョンを発表

マイクロソフトでは、マウスやキーボードが可能にするアクションを構築するコンピュータと対話する新しい方法を模索しています。

将来のPCに向けたジェスチャー

MicrosoftのSurface Mini:2014年の春にはない?MicrosoftはAzureマルチファクタ認証を一般的な可用性に移行させる

ソフトウェア大手の新しいヒューマンマシンインタフェースの探索により、コンピュータユーザが手の動きを使ってマシンを制御するジェスチャ認識を調べることができました。

水曜日、マイクロソフトは、PCキーボードの表面上で行われたジェスチャーをキャプチャし、Windowsのコマンドに変換するシステムを発表しました。

この新しい制御システムのベースには、MicrosoftのセンサーバーであるKinectがあります。これは、2Dビデオをキャプチャするだけでなく、撮影しているシーンの深さをキャプチャすることで、オブジェクトを3D空間に配置することができます。

KinectはもともとXbox 360ゲームコンソールのコントローラとして開発されましたが、このデバイスはWindows PC用のソフトウェア開発キットでも提供されており、数多くの非ゲームアプリケーションの開発に使用されています。

試作のジェスチャー制御型プロトタイプPCは、ケンブリッジのマイクロソフトリサーチラボでWindows 8 PCを制御していました。開発者は、このデバイスが検出できる16個のジェスチャーを実演しました。

スワイプ、留め金、ピンチなどのジェスチャーは、アプリケーションウィンドウを前面に表示したり、デスクトップを表示するなど、Windows内のさまざまな日常業務に使用できます。システムはジェスチャーを検出しているので、既に実行中のプログラムのリストを通したalt-tabbingやウィンドウの最大化など、Windowsにすでに組み込まれているコマンドを起動しているため、ほぼすべてのWindow 8または7マシンで実行できます。

ジェスチャは、キーボードの上に位置するKinectを介して検出され、キーの上の手の動きを監視し、手の動きおよび3D空間内の位置を捕捉する。

いくつかのジェスチャーは、デスクトップ上のウィンドウを操作することを中心に設計されています。特に、マウスの代わりにジェスチャーを使って簡単に実現できると思われるウィンドウのサイズと位置を単純化することが中心です。

iPhone、再販のためにあなたのiPhoneを安全に拭く方法、ハードウェア、その道のりで何かを破壊するUSB​​スティックを買うことができるようになりました;エンタープライズソフトウェア、Sweet SUSE! HPEがLinuxディストリビューションに突入

ここで、ウィンドウを最大にするには、拳をつかんで “つかむ”ようにしてから、キーボードの上部に向かって手を動かします。

同じ一連のジェスチャを逆に実行すると、ウィンドウが最小限に抑えられます。キーボードの左端または右端に手を動かしながらジェスチャーを繰り返して、画面の左端または右端にウィンドウをドッキングします。キーボードの左上と右隅に手を動かしながら同じ一連のジェスチャーを実行すると、ウィンドウが画面の左右に表示されますが、エッジでドッキングすることはありません。

キーボードの中央で手を結んだ後、手のひらを下にしてキーボードの左右の端に移動し、指を広げるとデスクトップが表示されます。ジェスチャを繰り返すと元の表示に戻ります。

手のひらが上になるように平らな手をキーボードに置くと、ユーザーは覗くことができます。これは、デスクトップ上で実行されている別のアプリケーションを前面に持っていくことを意味します。

これを使用できる方法の1つは、ブラウザからテキストをコピーするために、ここに示すように、テキストエディタでWebブラウザを作成しながらすばやく起動することです。ジェスチャが元に戻ると、デスクトップビューはpeekコマンドの前の状態に戻ります。

ユーザが所望のアプリケーションを前面に持って来るのを助けるために、ユーザはキーボードに対して垂直に他方の手を保持し、左右にスワイプして、アプリケーションバーからアプリケーションを選択することができる。

もう1つのジェスチャーでは、ユーザーが親指と人差し指をはさみ、虫めがねの形にしてWindows 8の検索メニューを表示します。

マイクロソフトによると、このプロトタイプを実行するために必要なソフトウェアは、処理能力とメモリがほとんど必要ではなく、近年リリースされたPCで動作することが可能です。

マイクロソフトのケンブリッジ研究所で展示されていたシステムでは、Kinectをキーボードで指し示していましたが、Kinectとキーボードの45度の角度で動作するもう1つのプロトタイプシステムが作成されているため、モニターのベゼルに取り付けたり取り付けたりできます。

プロトタイプシステムはKinect for Windowsキットと同じベースハードウェアを使用していますが、MicrosoftはKinectの機能を強化するために約18ヶ月のソフトウェアを構築しています。

主にマイクロソフトでは、システムがジェスチャーを正確に認識し、無関係な手の動きをコマンドと混同しないようにする機械学習ソフトウェアを構築しています。

これを行うには、比較的少数のジェスチャーでもさまざまな方法に関する多くのデータが必要でした。

システムが実行可能なジェスチャーコントロールインターフェースになるためには、誰かが手を動かしたり移動したりすることが多々ありますが、微妙に異なる方法で混乱することなくジェスチャーを認識する必要があります。

Kinectの改善

参考文献

手作業で何回も繰り返すジェスチャーを撮影してこれらのバリエーションすべてのデータを収集するのは遅すぎたので、チームは人間の手の独自のコンピューターモデルを作ることに決めました。

「私たちは人間の手の骨格モデルを持っており、文字通り「ここでは基本ポーズはここに摂動しています」と言っているだけで、すべての関節で無作為化を使用して、関節がどのように動くことができるかを知り、必要なだけ多くのイメージを生成します」とMicrosoftのシニア開発エンジニア、Chris O’Preyはシステムの構築者の一人です。

Kinectのようなイメージを生成し、適切なノイズ、奥行き、およびイメージの側面を備えています。それが私たちが機械学習プロセスを構築するために使用するものです。それを行うことができるので、約1日の空間で[ジェスチャーのための]分類子を構築することができます。

この分類子は、ユーザが実行しようとしているジェスチャを計算するためにシステムが使用するイエス/ノー決定木を提供する。 Kinectが毎秒30フレームでキャプチャした奥行き画像は、ピクセル単位でこの決定木に送られます。

「これはKinectから戻ってくる各ピクセルを見て、「これが手の一部なら、指はどこにありますか?ポーズは何ですか?これは何だと思いますか?それは私たちにどのような姿勢があり、どのように古典的に正しいのかについての自信を与える統計を取り戻します。

マイクロソフト社はまた、デスクトップとキーボードに関連して手の位置を追跡するソフトウェアを追加した。

マイクロソフトによれば、システムは70〜90%の時間内にジェスチャーを正しく認識しますが、これを達成するためには手を “安定して保持する”必要があります。

“これは、ほとんどの人が引用している60〜65パーセントの通常の機械学習括弧をはるかに上回っています。”

Kinectで元々使用していたアルゴリズムを使用していますが、さらに拡張されて処理されています。

私たちはボディパーツとボディポーズを同時に見る方法を設計しました。ちょうど「ここにあなたの腕があり、ここにあなたの手がある」と言うよりも。それは、「ここにあなたの腕があります。あなたの手があり、手の指が広がって下を指しています。

また、キーボードからマウスに到達するユーザとスワイプジェスチャの1つの違いを伝えるなど、ユーザがコマンドを意図せずに実行するのを避けるために、システムにセーフガードを構築しようとしています。

「我々はそれらの誤認を見たことがあるが、我々がシステム上に構築してきたように反復していくにつれて、それらのレベルは低くなったり低くなったりする」と彼は語った。

作業は、システムをより使いやすくし、ジェスチャーがコンピューターユーザーにとって最も有益であるものを理解するために、システムを改良し続けています。

ユーザーの研究から学んでいることは、これらのジェスチャーの一部がマシンの既存の使用法と矛盾していることです。

ユーザーが使いやすいジェスチャーを設計することは非常に反復的なプロセスですが、それは直感的で人間工学的で素早いものになります。

システムユーザがキーボードの表面のすぐ上でジェスチャを実行するように命令する。マイクロソフトでは、特に、サイエンスフィクション映画Minority Reportのシーンを模倣することを避けることに熱心に取り組んでいます。少数派レポートでは、トムクルーズのキャラクターがデジタル画像を操作しています。

私たちは、あなたがマイノリティレポートで見ている空気の中で、この辛抱強く手をつないでいることに苦しんでいるので、終わらせたくありません。

ソフトウェアはC ++、 “高速”コンポーネント、C#、 “低速”パーツ、 “すべてを一緒に保持する”接着剤で書かれています。

マイクロソフトでは、類似のKinectベースのジェスチャーシステムが購入可能になるか、システム内の技術が他のマイクロソフト製品に影響を及ぼすまでは、どのくらいの期間がかかるかについては言及していません。現在、このプロジェクトでは、 。

O’Prey氏は、「ユーザーとのやりとりのしくみを理解するためのラピッドプロトタイピングや、タッチ、キーボード、マウスを超えて、複数のモダリティでコンピュータの使用を支援する方法を理解することがすべてです。

Appleが新しいiPhoneをリリースしたときのAndroidの所有者の行動

あなたのiPhoneを安全に拭いて再販する方法

今、あなたはその道で何かを破壊するUSB​​スティックを買うことができます

甘いSUSE! HPEがLinuxディストリビューションに突入