世界体操を見ていて、番組内で放送されたCMに感動しました。

ぜひフィギュアにも活用できるように、技術が進んでほしいです。


https://www.youtube.com/watch?v=CyFP4g1VQCk


 
http://journal.jp.fujitsu.com/2017/03/24/01/?from_jad

"体操ニッポン"から、スポーツの世界を変える。3Dセンシング技術を用いた体操競技採点支援
【未来を創るチカラ Vol.3 前編
FUJITSU JOURNAL
2017年3月24日


次々に繰り出される新技。目視での判定は困難を極める。

「スポーツで、判定結果を確認する"チャレンジ"ってご存知ですか。今では、テニス、野球、サッカー、バレーボールなどいろいろな競技でルール化されていますよね。覚えている方も多いと思いますが、体操競技では2012年のロンドンオリンピック 男子団体の最終演技で、内村航平選手のあん馬の着地技(終末技)が未成立と判定され一旦4位となったのち、審議によって結果が覆り、銀メダルとなりました。これは日本チームから "チャレンジ"をした結果なのですが、体操競技で得点の問合せをする場合は$300を払うルールがあり、そのシーンがTVに映し出されてしまったことで、多くの議論が巻き起こったんです。人間の目は完璧ではないので判定に揺れが生じるのは仕方のないことですが、ほんの僅かな点差がメダルの色や選手生命を左右しかねないのも事実。選手のレベルアップに加え、4年毎のルール改正もあり、審判員に掛かる負担は年々増しています。こうした現状を受け、体操競技の採点をもっと透明で、わかりやすく、正確なものにするために開発が進められているのが富士通独自の『3Dセンシング技術』なんです」
そう語るのは、富士通の藤原英則。3Dセンシングプロジェクトの企画・推進の責任者です。


観る人にも分かりやすく、体操競技をもっと身近に。

20170324_01_index_pic_2国際体操連盟総会でのデモンストレーション。モニター(写真中央)に選手が行った技が解析されていく様子が、次々と表示されていく。

日本体操協会が培ってきた採点ノウハウと、富士通研究所の最先端技術を融合させた"3Dセンシング技術を用いた体操競技採点支援"。富士通が独自に開発した3Dセンサーで人の動きを立体的に捉え、技を認識、採点します。

「今までは審判員が目視で、演技の進行と並行して手書きで採点シートに記入、演技終了後に得点を計算して採点を行っていました。これに対し、3Dセンシング技術を使えば技が決まった瞬間、技の名前、難易度、点数などがモニターに次々に表示されていきます。これにより、審判員の負担が軽減されるだけでなく、選手も最高の演技の結果をスムーズに評価してもらうことで、日々の練習の成果が報われます。また、リアルタイムで演技の情報や選手の凄さを伝えられることで、観る人にとっても体操競技がもっと身近で魅力的なスポーツになると思うんです」(藤原)


3Dレーザーセンサーで選手の動きを捉え、技のデータ辞書とマッチングし判定。

20170324_01_index_pic_33Dレーザーセンサー(写真右)は、選手の身体にマーカーを付けなくても離れた場所から骨格の動きを正確に捉えることができる。

それでは、「3Dセンシング技術を用いた体操競技採点支援」の仕組みはどのようなものでしょうか?富士通研究所の佐々木和雄が解説します。
「まず、3Dレーザーセンサーが1秒間に230万点という細かなレーザーを選手に向かって発光し、レーザーが返ってくるまでの時間から身体の位置や体勢を正確に捉えます。そこから骨格の位置を推定して、手足の位置や関節の曲がり具合、体をひねった回数などを導き、体操競技の動きをデータベース化した『技のデータ辞書』と照合して判定します。3Dレーザーセンサー、骨格認識ソフトウェア、技のデータ辞書とのマッチング、この3つの技術を組み合わせることで、リアルタイムで高精度な採点が可能になるんです」

これまでにも選手が身体にマーカーを付けて動きを捉えるモーションキャプチャーという技術がありましたが、マーカーに違和感を感じて普段通りの演技ができない、大会で利用できないといった問題がありました。
「富士通の3Dセンシング技術はマーカーを付ける必要がないので、選手の演技に支障がなく、大会でも使用できます。装置も小型スピーカーのような外観で、観戦の邪魔になりません。2020年までの実用化を目指して、今開発を進めているところなんです」(佐々木)


趣味のゴルフから生まれたアイデアがすべてのはじまり。

3Dセンシング技術は、もともと自動車のモニター向けに開発を進めていた3Dレーザーセンサーと、リハビリ向けに開発を進めていた骨格認識ソフトウェアを融合させた"人の動きをセンシングする技術"をスポーツへと応用したもの。これらの技術を組み合わせ、体操競技で実現しようと考えたのが佐々木でした。
「きっかけは、趣味のゴルフです。自分のフォームをどう改善すればいいのか、スクールに通ってもいまいち掴めなくて。これをなんとかできないかとずっと考えていたところ、ふと『身体の動きや感覚といったものを数値化できないだろうか』とひらめいて。そこで、市販のセンサーとこれまでの自分の技術知識を組み合わせてゴルフのフォーム診断アプリケーションを作ってみたら、これがすごく分かりやすかったんです。富士通レディースで一般のゴルファーにも試してもらったところ、『調子のいい時の数値を見ながらトレーニングを行うと、感覚が掴みやすい』という声が多く、これは他のアプリケーションにも展開できそうだと手応えを感じました。一方で、他の用途に応用しようとすると技術課題がたくさんあり、研究所内の様々な技術スペシャリストを総動員してスポーツの3Dセンシングプロジェクトとしてスタートさせたんです」(佐々木)


難しい課題に果敢に挑む。これが富士通の"ものづくりDNA"。

佐々木が開発中の3Dセンシング技術に大きな可能性を見出した藤原は、スポーツの分野でさらなる活用が見込めないかと多方面にアプローチ。そんな中、日本体操協会と出会い、この技術を用いた体操競技採点支援を共同研究していくことになりました。
「周囲からは『最も採点が難しいと言われる体操競技に挑戦するなんて無謀だ』とか『もっとルールが分かりやすくて、メジャーなスポーツの方がいいのではないか』と言われることもありました。でも、未知の領域や難しい課題に果敢にチャレンジする姿勢こそが富士通のものづくりDNAであり、イノベーションにとって最も重要なこと。それに、身体の動きに関する基本的な要素が多く含まれている体操競技、なかでも最も採点が難しいあん馬での自動採点が可能になれば、他のスポーツにも応用しやすいと考えたんです」(藤原)
こうして藤原と佐々木は「富士通の技術で、スポーツの世界を変える!」と覚悟を決め、開発に乗り出したのです。


審判員の指導のもと技やルールを徹底的に学ぶ。

しかし、開発に着手したとたんに根本的な問題が発生。藤原、佐々木をはじめ、そもそもプロジェクトメンバーは体操競技に関して全くの素人。数百種類もある体操の技や難易度、採点基準を理解するところからスタートしました。
「初めて採点規則の冊子を手にした時、その分厚さと内容の難しさにまず驚きましたね。時間を見つけてはみんなで勉強会を開いて......当初はまるで受験生のような日々。それでも知識が追いつかなくて、日本体操協会の審判員に講義してもらったり、審判講習会に出かけたり、休日には元オリンピックの代表監督と一緒に試合を見に行って解説してもらうこともありました。この1年、体操関係者に本当に手厚く教えていただいたおかげで、少しずつ知識が身についていったんです」(藤原)


選手の速くて複雑な動きを、瞬時に正確に捉える難しさ。

その後、審判員と一緒に一つひとつの技を細かく分析しながら独自のアルゴリズムを開発し、採点方法をデジタル化。世界初の試みということもあり、議論につぐ議論を行ったと言います。
「体操競技の中でも最も難解とされているあん馬の自動採点を実現するというのが僕らに課せられた最初のミッションだったのですが、やはり苦戦しましたね。特にフロップやコンバインは複数の技で構成されているので、それぞれの技の成立条件を正確に捉えなければいけないのですが、選手の動きがとにかく速くて複雑で......。判定の精度と処理スピードを両立させるのがすごく難しかったです。数え切れないほどのトライ&エラーを繰り返して、ようやく現場で使える見込みが出てきました」(佐々木)

研究室を飛び出し、体操競技場に足を運ぶことで得た刺激や気づき、競技に向き合う選手の真摯な姿勢が様々な課題を乗り越える力になったという佐々木。インタビュー後編では引き続き、開発の舞台裏にフォーカス。イノベーションを実現するためのチーム力や心構え、体操以外の競技や他の分野への活用も見込まれる3Dセンシング技術の未来についても語ります。



"体操ニッポン"から、スポーツの世界を変える。3Dセンシング技術を用いた体操競技採点支援
【未来を創るチカラvol.3 後編
FUJITSU JOURNAL
2017年3月31日


スポーツは現場が最前線!選手のひたむきさが、研究者の心に火をつける。

(インタビュー前編からの続き)
複雑な体操競技の採点を正確でもっと分かりやすくするというミッションを果たすべく、開発が進められている「3Dセンシング」プロジェクト。富士通グループだけでも総勢40名以上が開発に携わっている一大プロジェクトです。開発の責任者を務める佐々木は、時間の許す限り選手たちが練習している体操競技場に足を運び、「現場に行かなければ得られない発見」を何よりも大切にしています。

「スポーツは現場が最前線。研究所に閉じこもってばかりでは、分からないことがたくさんあるんです。例えば、体操選手が演技前に必ずつける滑り止めの白い粉があるんですが、初めて3Dレーザーセンサーを体操競技場に持ち込んだ時、正常に動作しなかったんです。原因を調べてみると、装置の内部にその粉が入り込んでいたんです。もともと屋外での使用も想定して細かなチリや砂埃にも耐えうる設計にしていたのですが、滑り止めの粉が動作に影響を及ぼすとは想定もしていませんでした。こういう気づきが"現場"にはたくさんあって、それが技術のブラッシュアップに繋がっていくんです。また、選手たちのひたむきに体操競技と向き合う姿を間近に見ることで、このプロジェクトを必ず成功させるんだという想いも一層強くなります」(佐々木)
選手とともにスポーツの現場で汗をかき、粉まみれになりながら開発に取り組む佐々木たち。その姿を見て、当初は「最も採点が難しいと言われる体操競技に挑戦するなんて無謀だ」とプロジェクトに反対していた人たちも、徐々に応援してくれるようになり、仲間が日に日に増えていったと言います。


観る人のためにも、選手のためにも、この技術を役立てたい。

20170331_01_index_pic_3
3Dセンシングの映像イメージ。リアルタイム採点によって、体操競技がぐっと分かりやすくなる。

体操競技を"支える人"(審判員)の負担軽減を目指して開発が始まった3Dセンシングプロジェクトですが、体操競技を"観る人"(観戦者・ファン)、体操競技を "する人"(選手)にとっても様々なメリットが生まれると企画・推進の責任者である藤原は言います。
「体操競技って、すごいことをやっているんだけど難しくてよく分からないというイメージがあると思うんです。でも、画面上でリアルタイムに難易度や点数が表示されたら、ぐっと分かりやすく、面白くなる。体操競技は小数点以下第3位までのわずかな点差でメダル獲得が左右されるスポーツ。だから選手たちは難易度の高い技に果敢にチャレンジするんです。そうした体操競技のエキサイティングな魅力はリアルタイムに採点するからこそ伝えられると思っています。また選手にとっても、従来の映像を使ったトレーニングに、3Dセンサーで蓄積したデータも加えた、新たなトレーニング方法も生み出されていくと考えています」(藤原)


伝統芸能や職人技までセンシングできる時代がやってくる!?

体操競技の未来を変えうる可能性を秘めた3Dセンシング。将来的には、様々なスポーツや他の分野への応用も見込まれています。
「オリンピック種目では、フィギュア、飛び込み、トランポリン、ハーフパイプなどの採点競技にこの技術を活用できるのではないかと考えています。また馬術で、馬の脚の動きをセンシングできたら面白いですよね。そして、ゆくゆくはスポーツの枠を超えて、歌舞伎やダンス、ものづくりなど、あらゆる"人の動き"をセンシングしていきたいと考えています。例えば、熟練職人の手の動きをセンシングしてクラウド上に保存すれば、世界中の誰もがそれをEラーニングによって身につけられるようになるかもしれない。今までは"見よう見まね"だった様々な感覚を数値化して世界中の人と共有することで、新たな才能が生まれたり、逆に廃れつつある伝統や文化を継承できるようになったりする。そんな未来も夢ではないんです」(佐々木)


"技術と仲間の両輪"があってはじめてイノベーションは成功する。

「富士通の技術で、スポーツの世界を変える!」という意気込みで3Dセンシングの開発に挑んだ佐々木と藤原。世界初となるイノベーションを実現することができた要因はどこにあると考えているのでしょうか?
「イノベーションのタネというのは、日常の中にこそ隠されているはずです。趣味のゴルフから3Dセンシングの元となるアイデアを思いついたように、常日頃から問題意識を持っておくと、小さな疑問や課題が積み重なって、イノベーションに繋がることがあると思います。そして、アイデアをカタチにするためには情熱を持ち続けて、どんなことがあってもくじけず、前へ前へと進んでいくこと。我々にとって体操競技は未知の分野でしたし、課題もたくさんありましたが、ここまで来れたのは開発チームメンバーの情熱があったからだと思います」(佐々木)

「いくら素晴らしい技術やアイデアがあっても、そこに行動力が伴わなければ意味がありません。失敗を恐れずに、とにかくアクションを起こすこと。動きながら考えるくらいのスピード感が大事だと思っています。私も今回のプロジェクトでは、あらゆる場所に出かけていき、様々な人たちに3Dセンシングをプレゼンテーションして回りました。技術を開発するのが佐々木の仕事なら、私の仕事は世の中を巻き込み、応援してくれる仲間を増やしていくこと。仲間を増やすには難しい技術をいかに分かりやすく、魅力的に伝えるかが重要なので、そこに関しては自分なりのプライドとこだわりを持って取り組んでいます。技術と仲間の両輪があってはじめてイノベーションは成功するのだと思います」(藤原)

"技術と仲間の両輪"で、様々な困難を乗り越えながら力強く前進していく3Dセンシングプロジェクト。今後、"体操ニッポン"を舞台に、彼らがスポーツの世界を変え、大きな感動を呼び起こしてくれるに違いありません。


株式会社富士通研究所 応用研究センター
ライフイノベーション研究所所長
佐々木和雄
1969年 島根県生まれ。学生時代は、体育会少林寺拳法部で副将。
1994年 富士通研究所へ入社後は、IoTのプラットフォーム研究に従事し、現在のエッジコンピューティングの走りとなる分散処理技術の研究成果を世の中に先駆けて発表。
現在は、IoTの適用先の一つとしてスポーツ分野に着目、人の動きをデータ化することで、選手(プレイヤー)の上達を早められないか取組中。

富士通株式会社
東京オリンピック・パラリンピック推進本部 企画・推進統括部統括部長
藤原英則
1970年 大阪府生まれ。前職は金融マン、富士通に転社後、大手SIerの営業。
2015年 東京オリンピック・パラリンピック推進本部でスポーツビジネスの企画、推進の統括部長として、Bリーグ、バスケ協会とのICTパートナー契約や体操協会との共同研究など、新ビジネスの企画の立上げを行う。
現在は、世界初の3Dセンシングによる体操プロジェクトの責任者。またスポーツ庁の委員も務めスポーツ行政にも関わりながらスポーツの産業化、国民のスポーツ振興・健康促進にも尽力する。



http://journal.jp.fujitsu.com/2016/09/07/01/
体操競技の採点を3Dセンシングでより正確に!「未来の審判」のカタチとは?
FUJITSU JOURNAL
2016年9月7日

https://www.youtube.com/watch?time_continue=1&v=Jx5MdxdKsxE


年々高度化する体操競技...判定は年々困難に

男子団体総合、個人総合での金メダル獲得の興奮が未だ冷めやらぬように、改めて日本の強さを世界にアピールしました。
日本の体操競技は、1830年、藩の新兵訓練として器械体操が導入されたのが始まりと言われています。その後、学校教育に器械体操が採用されるようになり、1930年に全日本体操連盟(現在の公益財団法人 日本体操協会)が創立され、種目別・個人総合での出場とメダル獲得が続いています。
採点スポーツである体操では、常に公平かつ正確な採点を目指して、長年にわたって多くの努力や改革が行われてきました。しかし、最近の体操競技の技術進歩はめざましく、目視では正確な判定を行うことが困難な場合も多くなっています。そのため、瞬時に正確な判定をすることが求められる審判員の負担は増大する傾向にあります。
人間の動作分析ではモーションキャプチャー技術(注1)が使われますが、その中でも知られている複数台のカメラとマーカーによる方式では、対象者の身体にマーカーを付ける必要があり、また、カメラのセッティングも容易ではないため、試合での使用はもちろんのこと、普段の練習で使用することも実質的に不可能でした。
(注1)スポーツや映像分野で用いられる、人体の動きをデジタル情報として記録する技術。


「スポーツ×ICT」でスポーツに新たなイノベーションを

2016年5月17日、富士通、富士通研究所と日本体操協会は、体操競技における採点支援技術の共同研究の開始について発表しました。
日本体操協会が持つ技の認識や採点、競技に関するノウハウと、富士通研究所が開発した3Dレーザーセンサーや3Dデータ処理などの技術を融合することで、より公平かつ正確でリアルタイムに体操競技の採点を支援する技術の完成を目指しています。
20160907_01_index_pic_2
測定の様子


3Dセンシングでリアルタイム、高精度に技を特定

具体的な技術の内容は、下記の通りです。

20160907_01_index_pic_3ポイント①:3Dレーザーセンサーにより人の動きを正確に測定
1秒間に約230万点のレーザーを対象物に向けて発光し、レーザーが戻ってくるまでの時間から距離を計測。細かく角度を変えながらレーザー発光することで、動いている立体物を正確にとらえます。対象物までの距離に応じてレーザー発光する範囲を広げたり絞ったりすることで、距離が変わっても解像度が変わらずに計測できます。レーザーを使うことで、競技者はセンサーなどを着用することなく計測できるため、普段の練習や試合本番でも活用できます。

20160907_01_index_pic_4ポイント②:3Dレーザーセンサーの情報から技を特定
人の動きを正確に測定したら、そのデータから関節の位置や曲がり具合を導き、技を特定します。人の動きを集めたデータ辞書から似ているものを探して手足等の部位を推測するモデル方式(高速で低精度)と、部位を実際の人の動きに合わせるフィッティング(低速で高精度)という二つの技術を融合。高速で高精度に関節を認識することで、関節の時間的な動きを正確に捉えることができ、手足の位置や体をひねった回数などを判別し、技を特定します。これにより、リアルタイムで高精度な採点につなげることができます。


開発者の声

富士通研究所 応用研究センター ライフイノベーション研究所 矢吹彰彦
関節の位置情報から"技"を認識する技術を担当しています。当初自動車の周辺モニターなどへの適用を想定して開発を進めていた3Dレーザーセンサー技術と、リハビリ向けに開発を進めていた骨格認識技術を融合させて実現した人の動きをセンシングする技術をスポーツ向けへ応用しました。チャレンジングな対象ですが、スポーツでも身体の動きに関する基本的な要素が多く含まれている体操に注力しています。

関節位置の変化から体操選手の早くて複雑で滑らかな動きを正確に認識して技の成否を判定するための独自のアルゴリズムを開発しているところです。例えば、あん馬のフロップやコンバインなどは複数の"技"で構成されており、それぞれの"技"の成立条件を正確に捉えることが必要になります。そのために日本体操協会の協力を得て審判員の方に採点ノウハウを講義してもらったり、採点規則集とにらめっこしたりして、採点の仕方をどのようにICT化するかチームで議論を重ねています。体操に限らず競技の採点支援に適用するということは、信頼される根拠により実現する必要があると考えており、ここに大きなやりがいと責任感を強く感じています。

また、このような特殊なスポーツ環境で鍛えられた技術によって、リアルタイムの測定が実現されることは様々な分野に応用できると考えています。遠くはない将来には、スポーツだけではなく伝統芸能やリハビリ、熟練工の動きなどいろいろな場面で活用していくことが目標です。



☆;+;。・゚・。;+;☆;+;。・゚・。;+;☆;+;。・゚・。;+;☆;+;。・゚・。;+;


アア… フィギュアへの転用が出来る技術が出来上がってほしい!


そして、昔の演技もコンピュータで画像解析して、
コンピュータのジャッジングと、実際のジャッジングとの乖離を分析して、
ジャッジングの不正を暴いてくれないだろうか…



最後に、白井くん 世界体操 個人総合 初出場 "銅メダル" おめでとう!!!
最後の鉄棒も素晴らしかった!



<10月12日 追記>
富士通は日本体操協会との共同研究を2016年から行っていましたが、
10月8日に、国際体操連盟とも採点支援システムの実用化に向けて提携したと発表しました。
http://pr.fujitsu.com/jp/news/2017/10/8.html

こんな動画もアップされていました。
https://www.youtube.com/watch?v=qm4mjoO6Z1U


https://www.youtube.com/watch?v=jHRQxtbh3uw



体操が羨ましい…




ご覧いただきありがとうございます    <モスクワの鐘>


ランキングに参加中です!
よろしければクリックお願いします。
にほんブログ村 その他スポーツブログ スケート・フィギュアスケートへ
にほんブログ村

コメントくださる皆様ありがとうございます。m(_ _)m
しかしながら、不適当な内容のコメントは削除させていただく場合がございます。
ご了承ください。m(_ _)m