Akihiko SHIRAI, Ph.D

Creator and Researcher of Entertainment VR and UXDev in Metaverse

Akihko SHIRAI in GREE VR Studio Laboratory

AKIHIKO SHIRAI, Ph.D. (Engineering), is a researcher in metaverse and entertainment virtual reality. He is currently the director of the GREE VR Studio Laboratory at REALITY, Inc. and the Digital Hollywood University Graduate School.

He studied photographic engineering and image processing. He developed “Fantastic Phantom Slipper”, which uses dynamic phantom sensation with vibro-tactile, as his first masterpiece in 1997. Until 2001, he worked for Canon and Criterion as a game development consultant to market RenderWare, a multi-platform graphics middleware for the game industry. He returned to academia and received his Ph.D. from the Tokyo Institute of Technology in Japan in 2004 with research on the “Tangible Playroom”, an entertainment system for young children using haptics, a floor screen, and a real-time physics engine. He was an R&D researcher at NHK-ES in Japan, focusing on the next-generation TV production environment, before moving to ENSAM Presence & Innovation Laboratory in France from 2004 to 2007 to work on R&D for a virtual reality theme park development project with some significant research projects. Rapid computer vision on GPU “GPUVision”, robotic game player “RoboGamer” and “WiiMedia” projects were accepted by ACM SIGGRAPH and IEEE VR.

He worked for National Museum of Emerging Science and Innovation (Miraikan), Tokyo, Japan, as a science communicator and exhibition planner from 2008 to 2010. He worked in Information Media, Kanagawa Institute of Technology (KAIT) as an associate professor from 2010 to 2018. Simultaneous multiplex image systems “Scritter”, “ExPixel” and “ExField”, manga immersive system “Manga Generator”, nursery VR entertainment “Real Baby - Real Family” have been awarded by ministry, academia and game industry. Since 2018, he has been a visiting professor at Digital Hollywood University Graduate School. In June 2018, he returned to the entertainment industry as a research director to launch “GREE VR Studio Laboratory” in REALITY, Inc..A family of GREE, Inc. that promotes a new XR metaverse industry. Conducting research to improve vTuber (Virtual YouTuber, Virtual Persona, Virtual Artist) and exploring XR live entertainment. Contributing to the development of new user experiences in XR entertainment and solutions such as “VibeShare”, a suite of virtual live enchanting technologies for sharing non-verbal interaction in XR live entertainment.

In REALITY, Inc, representative of the metaverse industry in Japan, he produces some visualizations of near-future user experiences using REALITY.app in UXDev projects on YouTube, and contributes to some PoC for B2B metaverse using Mozilla Hubs with Japanese translation and community developments. Visiting Professor at the Digital Hollywood University Graduate School. Vice President of the Society for Art and Science. Ambassador and board member of [Laval Virtual] (https://www.laval-virtual.com/). Latest book written: “Collaborating with AI to become a Godhand Illustrator - How to comprehend Stable Diffusion”. His motto is “Creating people who create” (from his written book in The Future of Game Design - Science in Entertainment Systems).

His latest interests in the “VR4.0 era”, as he proposes, are the development of a multi-user avatar society called Metaverse, User Generated Content (UGC), Blockchain, and User Experience (UX) in AI, and in particular, his research on generative AI is presented to the general public in an easy-to-understand manner. In particular, the book “Collaborating with AI to become a Godhand Illustrator - How to comprehend Stable Diffusion” (AIとコラボして神絵師になる 論文から読み解くStable Diffusion) is a book that presents research on generative AI in an easy-to-understand manner for the general public. Diffusion was published within two months of its release and has received a great response from the community.

Akihko SHIRAI in a manga

Contact

Contact Form / [email protected]_ob

GitHub Calendar

Loading the data just for you.

Research

GREE VR Studio Laboratory 2022

Works

Akihko SHIRAI in a manga

GREE VR Studio Laboratory (2018-)

"Back to Metaver-School" - a blooming future of Metaverse in REALITY

Events

  1. VRSionUp! #1 高校生VRを国際会議へ／VRChatを科学の研究に／ボイスチェンジャ探求 (2019/1/11)
  2. VRSionUp! #2 「Laval Virtual 2019 & バーチャルマーケット２予習会」 (2019/3/1)
  3. #VRSionUp! #3 「LavalVirtual2019公式報告会&VTuber番組技術特集」 (2019/4/12)
  4. #VRSionUp!4「VRエンタメxEdu」 (2019/5/17)
  5. #VRSionUp!5「kawaiiムーブ研究」 (2019/6/21)
  6. #VRSionUp!6「先端ボイチェン研究」 (2019/7/16)
  7. #VRSionUp!7「Hubs Study」 (2020/7/15)
  8. HubsでもくもくBlenderワークショップ(1)体験会 #VTC20 (2020/8/27)
  9. HubsでもくもくBlenderワークショップ(2)体験会 #VTC20 (2020/9/24)
  10. #VRSionUp!8「WebVRオンラインイベント開発」 (2020/9/8)
  11. #VRSionUp!9「#IVRC2022 に挑戦！フランス遠征報告会」 (2020/5/21)
  12. #VRSionUp!10「国際会議に挑戦！ #SIGGRAPHAsia2022 報告会」 (2022/12/13)
  13. #VRSionUp!11「mocopiで遊ぼう♪」 (2023/2/22)
  14. #VRSionUp!12「Laval Virtual 2023直前特集」 (2023/3/22)
  15. メタバース開発もくもく会 #VTC23 (2023/4/20)

Patents

  1. Information display apparatus WO US CN JP US9769442B2
  2. Video delivery system, video delivery method, video delivery program, JP JP2020109935A
  3. Video distribution system, video distribution method, and video distribution, US JP US20220038777A1
  4. Computer program, server, terminal, and speech signal processing method, WO US JP US20210335364A1
  5. Computer Program, Server Device, Terminal Device and Method, US JP US20210099735A1
  6. Video distribution system, video distribution method, video distribution, WO US US20220070513A1
  7. Server device, terminal device, and display method for controlling facial, WO US JP US20210312167A1

Full List

“Laval Virtual ReVolution” (Session Chair, exhibition curation)

KAIT Shirai Lab (2010-2018)

Legacy Projects

Lecture

Lecuture and Talks (part)

2023

  1. Developers Summit 2023「AI神絵師はITエンジニアの未来をどう変えるのか？～メタバースR&DからみたAI画像生成のトレンド～」Web Slides 2023/2/10

2022

  1. 「メタバース時代の人間の界面：アバター技術とUXの探求～REALITY と GREE VR Studio LaboratoryのR&D活動紹介」, 画像電子学会 Advanced Image Seminar 2022, (2022/6/14) Web

Past Talks

REALITY: We can be whoever we want - Avatar driven metaverse service and UX R&D #SIGGRAPHAsia2021

  1. “REALITY: We can be whoever we want - Avatar driven metaverse service and UX R&D #SIGGRAPHAsia2021”, SIGGRAPH ASIA 2021 CG In Japan, 2021/Dec/14
  2. “Since VR Entertainment, dawn of XR Metaverse - Development and Deployment for next generation of human being”, ICAT-EGVE 2021 Keynote, 2021/Sep/08
  3. “What is happening in Japanese CG research and industry now? WFLE: Beyond VTuber to Live Entertainment”, SIGGRAPH 2020 IRC
  4. Virtual Beings World “New Play Together”, SIGGRAPH 2020 BoF
  5. Game.Impulse, University of Applied Sciences Bonn-Rhein-Sieg, 2021/6/9 Web
  6. “Research and Development for Avatar-Driven Virtual Society in VR4.0 Era” #EMTECH #DesiredIdentities Published on June 27,2020

Research and Development for Avatar-Driven Virtual Society in VR4.0 Era

Slide portal

Digital Hollywood University

Misc

Books

  1. WiiRemote プログラミング
  2. 白井博士の未来のゲームデザイン ―エンターテインメントシステムの科学―
  3. AIとコラボして神絵師になる 論文から読み解くStable Diffusion

Online Publications

  1. CGWORLD特集 メタバース開発者の卵が「自分は何者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】2023/02/16 Web
  2. 「これまでの 5 年、これからの 5 年――「VR 元年」の終焉から世界同時参加の XR ライブエンタメへ」（メディア芸術カレントコンテンツ：文化庁）2020年10月29日 https://mediag.bunka.go.jp/article/article-16853/

技術書典

  1. 白井暁彦他,「AIとコラボして人気絵師になる」，グリー技術書典部誌 2022 年秋号，Web

  2. 白井暁彦他,「Mozilla Hubs を用いたオンラインイベント WebVR 化テクニック」,グリー技術書典部誌 2020 年秋号, Web

  3. 白井暁彦他,「Virtual Cast と Hapbeat を使った国際双方向アバター触覚ライブの開発」,グリー技術書典部誌 2020 年春号, Web

Academic Papers

2023

  1. 白井暁彦「文化・技術・研究史で読み解く令和のメタバースの研究開発」,電子情報通信学会, 通信ソサイエティマガジン No.64 春号 2023, p.285-294 PDF

2022

  1. Takuma Kato, Tomosuke Nakano, Takanori Horibe, Miku Takemasa, Yusuke Yamazaki, Akihiko Shirai, “Cross-platforming “School life metaverse” user experience”, SIGGRAPH Asia 2022 Posters (2022/12/01) WebDOI

  2. Yusuke Yamazaki, Takanori Horibe, Akihiko Shirai, “Evaluation of time-shifted emotion through shared emoji reactions in a video watching experience”, CyberWorld2022 (2022/9/27) SlideShareIEEE Explore Best short paper award

  3. 白井暁彦, 「メタバースの定義，歴史と事例からみる 今後のビジネス展望」 研究開発リーダー Vol.19, No.1 2022, pp.57-60. (2022/4/20) PDF

  4. 中野友介, 加藤琢磨, 武政実玖, 堀部貴紀, 白井暁彦, “Metaverse Christmas”, 映像表現・芸術科学フォーラム2022 (2022/03/08) Web

  5. 山崎勇祐, 白井暁彦, “VibeShare::Maptop – 写真撮影・同時参加型バーチャル旅行システムの開発と評価”, インタラクション2022 (2022/02/21) Web

2021

  1. 白井暁彦, 中野友介, 堀部貴紀, ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成(Developing next-generation creators through research and development in voice changer services), デジタルハリウッド大学 研究紀要第 8 号, (2021/11/25), PDF, SlideShare

  2. 山崎勇祐(REALITY 株式会社/東京工業大学大学院), 白井暁彦「VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化」, 第 26 回日本バーチャルリアリティ学会大会 (2021/9/21). Web PDF

  3. 堀部貴紀(REALITY/明治大)，橋本順之(グリー)，白井暁彦(REALITY)，森勢将雅(明治大), 「FFT ライブラリを対象とした実時間 Vocoder の速度比較」, 日本音響学会 2021 年秋季研究発表会(2021/9/7)

  4. Yusuke Yamazaki, Akihiko SHIRAI, “Pseudo Real-Time Live Event: Virtualization for Nonverbal Live Entertainment and Sharing”, Laval Virtual 2021 ConVRgence, 2021/7/7. Web Abstract Poster

  5. 堀部貴紀(REALITY/明治大)，白井暁彦(REALITY)，森勢将雅(明治大),「『転声こえうらない』を通したボイスチェンジャー品質改善のための定性分析と考察」, 日本音響学会 2021 年春季研究発表会, Web, Slides, SlideShare (2021/3/11)

  6. 山崎勇祐, 白井暁彦, 「VibeShare:Vote ～オンラインでの出演者と観客の非言語コミュニケーションの実現～」, 映像表現・芸術科学フォーラム 2021（Expressive Japan 2021), Abstract, Slides, SlideShare (2021/3/8)

2020

  1. 白井暁彦, 「賛助会員紹介 グリー株式会社／ REALITY 株式会社 GREE VR Studio Laboratory」, 日本バーチャルリアリティ学会誌第 25 巻 4 号 (2020/12/31) Web

  2. 白井 暁彦, ブレディキーナ リュドミラ, 坂口 塔也, 栢之間 諒汰, 堀部 貴紀, 山崎 勇祐, 中村 清人, 「Mozilla Hubs を用いたオンラインイベントの WebVR 化」, DHU JOURNAL, Vol.07, 電子版）(Nov 2020)

  3. Liudmila Bredikhina, Toya Sakaguchi, Akihiko Shirai, “Web3D Live Distance Workshop for Children in Mozilla Hubs”, Web3D ’20: The 25th International Conference on 3D Web Technology, 9th, November 2020, Article No. 27, Pages 1–2. Web Best Poster Awards 2nd Prize

  4. 坂口塔也, 山崎勇祐, Bredikhina Liudmila, 白井暁彦, 「交流型 WebVR における空間音響のオンライン評価手法」, 第 25 回日本バーチャルリアリティ学会大会論文集, 2020-9-16 PDF

  5. 堀部 貴紀, 石原 達馬, 白井 暁彦, 森勢 将雅; 『転声こえうらない』利用者の基本周波数分析, 情報処理学会研究報告, 2020-05-30 Web SlideShare Awarded

2019

  1. VR4.0 -リアルタイムバーチャルキャラクターが牽引する VR 産業における基盤研究 DHU JOURNAL Vol.06 (2019/11/29)

  2. Yusuke Yamazaki, Hironori Mitake, Akihiko Shirai, Shoichi Hasegawa, “Widespread Hapbeat: Tension Based Necklace Type Haptic Display”, Proceedings of the International Display Workshops Volume 26 (IDW ‘19), 2019/11/27, DOI PDF

  3. Akihiko Shirai, “REALITY: broadcast your virtual beings from everywhere”, In ACM SIGGRAPH 2019 Appy Hour (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 5, 1–2. DOI

  4. Yusuke Yamazaki, Shoichi Hasegawa, Hironori Mitake, and Akihiko Shirai. 2019. “Neck strap haptics: an algorithm for non-visible VR information using haptic perception on the neck”, In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 60, 1–2. DOI

  5. Rex Hsieh, Akihiko Shirai, and Hisashi Sato. 2019. “Effectiveness of facial animated avatar and voice transformer in elearning programming course”, In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 82, 1–2. DOI

  6. Rex Hsieh, Akihiko Shirai, Hisashi Sato, “Evaluation of Avatar and Voice Transform in Programming E-Learning Lectures”, In Proceedings of the 19th ACM International Conference on Intelligent Virtual Agents (IVA ’19). Association for Computing Machinery, New York, NY, USA, 197–199. DOI

  7. 舘暲, 岩田洋夫, 安藤英由樹, 小泉直也, 中村拓人, 吉元俊輔, 白井暁彦, 長谷川晶一, IVRC2019（第 27 回 国際学生対抗バーチャルリアリティコンテスト）開催報告, 日本バーチャルリアリティ学会誌, 2019, 24 巻, 4 号, p. 39-43, 公開日 2021/04/08 Web

Before 2018

Refer my paper indexed in Research Gate…

  1. Rex Hsieh, Marika Higashida, Yuya Mochizuki, Takaya Asano, Akihiko Shirai, Hisashi Sato, “MasQueRade: Onsite QR Code based VR Experience Evaluation System using Sanitary Mask”, Conference Paper, the Virtual Reality International Conference - Laval Virtual (April 2018)
  2. Akihiko Shirai, Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, “Real Baby - Real Family”- Multi-Sensory Feedback Tangible Baby VR, International Journal of Virtual Reality (November 2017)
  3. Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, Akihiko Shirai, “Real baby - real family”: VR entertainment baby interaction system, ACM SIGGRAPH 2017 Emerging Technologies (July 2017)
  4. “Real Baby - Real Family: Holdable tangible baby VR”, the Virtual Reality International Conference - Laval Virtual 2017 (March 2017)
  5. Akihiko Shirai, Hisataka Suzuki, Yuta Yamaguchi, Kazuhisa Yanaka,Glassless Augmented Display for Public Signage,ACM VRIC 2016,2016年
  6. 鈴木久貴, 白井暁彦, 谷中一寿,裸眼立体視技術を応用した多重化映像技術の提案,ITを活用した教育研究シンポジウム2015,2016年
  7. Akihiko SHIRAI,ExPixel: Multiplex hidden imagery, research in entertainment beyond 3D,SIGGRAPH 2015, CG in Asia,2015年
  8. Hisataka Suzuki, Rex Hsieh, Ryotaro Tsuda, Akihiko Shirai,ExPixel FPGA: Multiplex Hidden Imagery for HDMI Video Sources,SIGGRAPH 2015 Posters,2015年
  9. Hisataka Suzuki, Yuria Suzuki, Ayumi Ando, Akihiko Shira,ExPixel FPGA: multiplex hidden imagery for HDMI video sources,Laval Virtual ReVolution 2015,2015年
  10. Yuria Suzuki, Ayumi Ando, Ryotaro Tsuda, Akihiko Shirai,Face a la mode: A new immersive entertainment system that can train body and facial expressions,Virtual Reality International Conference – ACM VRIC 2015 Proceedings,2015年
  11. 森 拓也，岡本 遼，鈴木 久貴，白井 暁彦,ミュージアムのための多重化サイネージシステムの提案,Entertainment Computing 2015,2015年
  12. 鈴木 久貴, 鈴木 百合彩, 津田 良太郎, Vimuktalop Pinyapach, Jaruthien Nine, 白井 暁彦,多重化不可視映像技術（第3報） ―普及型ディスプレイにおける視聴特性評価―,第20回日本バーチャルリアリティ学会大会,2015年
  13. Hisataka Suzuki, Yannick Littfass, Rex Hsieh and Akihiko Shirai,Familink: expanding the social value of the living room with multiplex imaging technology,VRIC (VIRTUAL REALITY INTERNATIONAL CONFERENCE),2014年
  14. Yannick Littfass, Hisataka Suzuki and Akihiko Shirai,“Scritter” to “1p2x3D”: application development using multiplex hiding imaging technology,VRIC (VIRTUAL REALITY INTERNATIONAL CONFERENCE),2014年
  15. 小出 雄空明，藤村 航，國富 彦岐，田口 裕起，鈴木 久貴，白井 暁彦,液晶フラットパネルにおける多重化隠蔽映像の試行と実現,映像情報メディア学会 立体映像技術研究会「立体映像における人間工学的研究，及び立体映像技術一般」,2014年
  16. 田口裕起・鈴木久貴・白井暁彦,多重化不可視映像技術（第2報） ―FPGAを用いたハードウェア化―,電子情報通信学会 SIS研究会,2014年
  17. 藤村 航，小出 雄空明，國富 彦岐，田口 裕起，鈴木 久貴，白井 暁彦,直線偏光による多重化隠蔽型ハイブリッド3Dディスプレイにおける画質評価,映像情報メディア学会 立体映像技術研究会「立体映像における人間工学的研究，及び立体映像技術一般」,2014年 1.白井 暁彦,3Dディスプレイに付加価値を与える多重化隠蔽映像技術,応用物理学会・日本光学会・微小光学研究グループ， 第131回微小光学研究会招待講演,2014年
  18. 白井暁彦,“Scritter”, A futuristic AR technology which extends current 3D display,5th ASIAN FORUM ON SMART MEDIA AND AUGMENTED REALITY, JPEG Augmented Reality, Joint Photographic Experts Group and Augmented Reality Adhoc Group,2014年
  19. 田所康隆,藤村 航,北田大樹,白井暁彦,エンタテイメントシステム展示を対象とした質的評価ツールの提案,エンタテイメントコンピューティング2013,2013年
  20. 藤村航,小出雄空明,奈良優斗,白井暁彦,VR エンタテイメントシステムのための リアルタイムマンガ風画像生成シェーダーの開発,第18回日本バーチャルリアリティ学会大会,2013年
  21. 北田大樹,白井暁彦,WebSocketを用いたスマートフォン上でのエンタテイメントコンテンツ閲覧時のリアルタイム行動分析,エンタテイメントコンピューティング2013,2013年
  22. 國富彦岐,石川 晃,田所 康隆,白井 暁彦,年齢層とゲーミングデバイスの違いによる面白さの比較調査,エンタテイメントコンピューティング2013,2013年
  23. 白井 暁彦, 佐藤 勝, 草原 真知子, 久米 祐一郎,「足インターフェイスによる複合現実感アミューズメントシステム : ファンタスティックファントムスリッパ (Mixed Reality Amusement System with Foot Interface : Fantastic Phantom Slipper)」, 日本バーチャルリアリティ学会論文誌, 4 巻 4 号 p. 691-697, 1999 年. https://doi.org/10.18974/tvrsj.4.4_691, PDF
  24. Yuichiro Kume, Akihiko Shirai, Motoshisa Tsuda, Toyohiko Hatada, “Information Transmission through Soles by Vibro-tactile Stimulation” (October 1998)

IVRC community events

https://ivrc.net

IVRC Birds of a Feather (BoF) in SIGRAPH2016 by @o_ob
IVRC Birds of a Feather (BoF) in SIGRAPH2013 by @o_ob
IVRC Birds of a Feather (BoF) in SIGRAPH2012 by @o_ob

CEDEC History (GDC in Japan)

CEDEC2000

「RenderWare3」と「RenderVision」による次世代ゲーム開発の高速化 http://cedec.cesa.or.jp/2000/detail_categori.html

CEDEC2012

3D ディスプレイと互換の多重化・隠蔽映像技術「Scritter」が拓く 3D コンテンツの未来 https://cedec.cesa.or.jp/2012/program/INT/C12_P0205.html インタラクティブセッション会場投票賞 1 位受賞 https://cedec.cesa.or.jp/2012/program/INT/result.html

CEDEC2013

姿勢評価によるリアルタイム感情推定を特徴とする動的マンガ生成システム「Manga Generator」 http://cedec.cesa.or.jp/2013/program/GD/7225.html https://cedil.cesa.or.jp/cedil_sessions/view/1083

CEDEC2014

ゲームの次元を拡張する次世代多重化映像技術「ExPixel」 https://cedec.cesa.or.jp/2014/session/AC/5423.html インタラクティブセッション 3 位受賞 https://cedec.cesa.or.jp/2014/session/INT/result.html

CEDEC2016

多重化多視点 VR アーケードゲームシステム -DUAL DUEL- https://cedec.cesa.or.jp/2016/session/AC/8656.html 「インタラクティブセッション オーディエンス賞 2 位受賞 https://cedec.cesa.or.jp/2016/session/INT/result.html

CEDEC2017

家族愛をテーマにした子育て VR エンタテイメント ”Real Baby - Real Family” http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/ https://cedil.cesa.or.jp/cedil_sessions/view/1758

次世代 VR/AR エンタテイメントのための多重化映像生成ミドルウェア https://cedil.cesa.or.jp/cedil_sessions/view/1607 https://www.slideshare.net/aquihiko/cedec2017-vrar

CEDEC2019

REALITY「なりたい自分で、生きていく」リアルタイムライブで VTuber が活躍する舞台を作る現場の 1 年 https://cedec.cesa.or.jp/2019/session/detail/s5c9df84045dd1 https://www.wantedly.com/companies/reality/post_articles/184950

「宇宙 x 教育 xVR ＝ちゃんと学べる体感サイエンスツアー「ありえな LAB」の挑戦 [https://cedec.cesa.or.jp/2019/session/detail/s5c9c660d3c16c.html] [https://www.slideshare.net/harukasakami/xxvr-lab]

CEDEC2021

白井暁彦,山崎勇祐「VibeShare: コロナ禍の音楽ライブを「触覚」で双方向化する」, (Blog)

Archived Projects in Github pages

Contact

Blog

Favorited Articles