Akihiko SHIRAI, Ph.D
Creator and Researcher of Entertainment VR and UXDev in Metaverse
AKIHIKO SHIRAI, Ph.D. (Engineering), is a researcher in metaverse and entertainment virtual reality. He is currently the director of the GREE VR Studio Laboratory at REALITY, Inc. and the Digital Hollywood University Graduate School.
He studied photographic engineering and image processing. He developed “Fantastic Phantom Slipper”, which uses dynamic phantom sensation with vibro-tactile, as his first masterpiece in 1997. Until 2001, he worked for Canon and Criterion as a game development consultant to market RenderWare, a multi-platform graphics middleware for the game industry. He returned to academia and received his Ph.D. from the Tokyo Institute of Technology in Japan in 2004 with research on the “Tangible Playroom”, an entertainment system for young children using haptics, a floor screen, and a real-time physics engine. He was an R&D researcher at NHK-ES in Japan, focusing on the next-generation TV production environment, before moving to ENSAM Presence & Innovation Laboratory in France from 2004 to 2007 to work on R&D for a virtual reality theme park development project with some significant research projects. Rapid computer vision on GPU “GPUVision”, robotic game player “RoboGamer” and “WiiMedia” projects were accepted by ACM SIGGRAPH and IEEE VR.
He worked for National Museum of Emerging Science and Innovation (Miraikan), Tokyo, Japan, as a science communicator and exhibition planner from 2008 to 2010. He worked in Information Media, Kanagawa Institute of Technology (KAIT) as an associate professor from 2010 to 2018. Simultaneous multiplex image systems “Scritter”, “ExPixel” and “ExField”, manga immersive system “Manga Generator”, nursery VR entertainment “Real Baby - Real Family” have been awarded by ministry, academia and game industry. Since 2018, he has been a visiting professor at Digital Hollywood University Graduate School. In June 2018, he returned to the entertainment industry as a research director to launch “GREE VR Studio Laboratory” in REALITY, Inc..A family of GREE, Inc. that promotes a new XR metaverse industry. Conducting research to improve vTuber (Virtual YouTuber, Virtual Persona, Virtual Artist) and exploring XR live entertainment. Contributing to the development of new user experiences in XR entertainment and solutions such as “VibeShare”, a suite of virtual live enchanting technologies for sharing non-verbal interaction in XR live entertainment.
In REALITY, Inc, representative of the metaverse industry in Japan, he produces some visualizations of near-future user experiences using REALITY.app in UXDev projects on YouTube, and contributes to some PoC for B2B metaverse using Mozilla Hubs with Japanese translation and community developments. Visiting Professor at the Digital Hollywood University Graduate School. Vice President of the Society for Art and Science. Ambassador and board member of [Laval Virtual] (https://www.laval-virtual.com/). Latest book written: “Collaborating with AI to become a Godhand Illustrator - How to comprehend Stable Diffusion”. His motto is “Creating people who create” (from his written book in The Future of Game Design - Science in Entertainment Systems).
His latest interests in the “VR4.0 era”, as he proposes, are the development of a multi-user avatar society called Metaverse, User Generated Content (UGC), Blockchain, and User Experience (UX) in AI, and in particular, his research on generative AI is presented to the general public in an easy-to-understand manner. In particular, the book “Collaborating with AI to become a Godhand Illustrator - How to comprehend Stable Diffusion” (AIとコラボして神絵師になる 論文から読み解くStable Diffusion) is a book that presents research on generative AI in an easy-to-understand manner for the general public. Diffusion was published within two months of its release and has received a great response from the community.
Contact
Contact Form / [email protected]_ob
GitHub Calendar
Research
Works
GREE VR Studio Laboratory (2018-)
- UXDev
- VR Game Products
- Laboratory
- YouTube Channel
- 「転生こえうらない」Voice Fortune Teller
- VibeShare
- Let’s go travel around the world virtually
- REALITY
- UXDev Project
- “Metaverse Christmas”
- “Back to Metaver-School” - a blooming future of Metaverse in REALITY
Events
- VRSionUp! #1 高校生VRを国際会議へ/VRChatを科学の研究に/ボイスチェンジャ探求 (2019/1/11)
- VRSionUp! #2 「Laval Virtual 2019 & バーチャルマーケット2予習会」 (2019/3/1)
- #VRSionUp! #3 「LavalVirtual2019公式報告会&VTuber番組技術特集」 (2019/4/12)
- #VRSionUp!4「VRエンタメxEdu」 (2019/5/17)
- #VRSionUp!5「kawaiiムーブ研究」 (2019/6/21)
- #VRSionUp!6「先端ボイチェン研究」 (2019/7/16)
- #VRSionUp!7「Hubs Study」 (2020/7/15)
- HubsでもくもくBlenderワークショップ(1)体験会 #VTC20 (2020/8/27)
- HubsでもくもくBlenderワークショップ(2)体験会 #VTC20 (2020/9/24)
- #VRSionUp!8「WebVRオンラインイベント開発」 (2020/9/8)
- #VRSionUp!9「#IVRC2022 に挑戦!フランス遠征報告会」 (2020/5/21)
- #VRSionUp!10「国際会議に挑戦! #SIGGRAPHAsia2022 報告会」 (2022/12/13)
- #VRSionUp!11「mocopiで遊ぼう♪」 (2023/2/22)
- #VRSionUp!12「Laval Virtual 2023直前特集」 (2023/3/22)
- メタバース開発もくもく会 #VTC23 (2023/4/20)
Patents
- Information display apparatus WO US CN JP US9769442B2
- Video delivery system, video delivery method, video delivery program, JP JP2020109935A
- Video distribution system, video distribution method, and video distribution, US JP US20220038777A1
- Computer program, server, terminal, and speech signal processing method, WO US JP US20210335364A1
- Computer Program, Server Device, Terminal Device and Method, US JP US20210099735A1
- Video distribution system, video distribution method, video distribution, WO US US20220070513A1
- Server device, terminal device, and display method for controlling facial, WO US JP US20210312167A1
“Laval Virtual ReVolution” (Session Chair, exhibition curation)
- [2019] VR5.0
- [2018] 1+1=∞ (one plus one equals unlimited)
- [2017] TransHumanism++
- [2016] REAL VIRTUALITY
- [2015] Kiddy Dream in Virtual Reality
- [2014] Frontier village in Virtual Reality
- [2013] The NEXT BIG STEP
- [2012] Virtual Reality That Moves You
- [2011] Converging
- [2010] Diverseness
- [2009] ReVolution Causes Revolutions
- [2008]World Performance of VR Applications
KAIT Shirai Lab (2010-2018)
Legacy Projects
Lecture
Lecuture and Talks (part)
2023
2022
- 「メタバース時代の人間の界面:アバター技術とUXの探求~REALITY と GREE VR Studio LaboratoryのR&D活動紹介」, 画像電子学会 Advanced Image Seminar 2022, (2022/6/14) Web
Past Talks
- “REALITY: We can be whoever we want - Avatar driven metaverse service and UX R&D #SIGGRAPHAsia2021”, SIGGRAPH ASIA 2021 CG In Japan, 2021/Dec/14
- “Since VR Entertainment, dawn of XR Metaverse - Development and Deployment for next generation of human being”, ICAT-EGVE 2021 Keynote, 2021/Sep/08
- “What is happening in Japanese CG research and industry now? WFLE: Beyond VTuber to Live Entertainment”, SIGGRAPH 2020 IRC
- Virtual Beings World “New Play Together”, SIGGRAPH 2020 BoF
- Game.Impulse, University of Applied Sciences Bonn-Rhein-Sieg, 2021/6/9 Web
- “Research and Development for Avatar-Driven Virtual Society in VR4.0 Era” #EMTECH #DesiredIdentities Published on June 27,2020
Slide portal
Digital Hollywood University
Misc
- “WFLE: Beyond VTuber to Live Entertainment”, What is happening in Japanese CG research and industry now?, In SIGGRAPH 2020 Birds of a Feather, 2020/Aug/25, Announce
- Mozilla Hubs が拓く新世代 WebVR のススメ #HubsScrum Published on May 13, 2020
- 聚逸虚拟现实工作室总监 白井晓彦:研究创新是为了更好地娱乐 DIC2019 10 月 22 日 23 日, China.
- SIGGRAPH Asia 日本語完全ガイド~初めての参加者ために SIGGRAPH ASIA 2018 Tokyo (2018 年 12 月 4 日)
- WiiRemote Programming Workshop - 革新的インタラクションを構成する“部品としての”ゲームコントローラー, JAIST, 2009/11/20
- Virtual Realty for Entertainment - 文化・言語背景を 文化・言語背景を超えた環境における国際的エンタテイメントシステムデザイン JAIST, 2006/11
- ゲーム開発業の未来を支える産学連携-日本式 Ludology 事始- IGDA 日本 ゲームテクノロジー研究会 第 1 回 研究会(2004 年 1 月 10 日)(Detail in SlideShare)
Books
Online Publications
- CGWORLD特集 メタバース開発者の卵が「自分は何者か」を発見する場所【GREE VR Studio Laboratoryリサーチ系インターンシップ】2023/02/16 Web
- 「これまでの 5 年、これからの 5 年――「VR 元年」の終焉から世界同時参加の XR ライブエンタメへ」(メディア芸術カレントコンテンツ:文化庁)2020年10月29日 https://mediag.bunka.go.jp/article/article-16853/
技術書典
- 白井暁彦他,「AIとコラボして人気絵師になる」,グリー技術書典部誌 2022 年秋号,Web
-
白井暁彦他,「Mozilla Hubs を用いたオンラインイベント WebVR 化テクニック」,グリー技術書典部誌 2020 年秋号, Web
- 白井暁彦他,「Virtual Cast と Hapbeat を使った国際双方向アバター触覚ライブの開発」,グリー技術書典部誌 2020 年春号, Web
Academic Papers
2023
- 白井暁彦「文化・技術・研究史で読み解く令和のメタバースの研究開発」,電子情報通信学会, 通信ソサイエティマガジン No.64 春号 2023, p.285-294 PDF
2022
-
Takuma Kato, Tomosuke Nakano, Takanori Horibe, Miku Takemasa, Yusuke Yamazaki, Akihiko Shirai, “Cross-platforming “School life metaverse” user experience”, SIGGRAPH Asia 2022 Posters (2022/12/01) WebDOI
-
Yusuke Yamazaki, Takanori Horibe, Akihiko Shirai, “Evaluation of time-shifted emotion through shared emoji reactions in a video watching experience”, CyberWorld2022 (2022/9/27) SlideShareIEEE Explore Best short paper award
-
白井暁彦, 「メタバースの定義,歴史と事例からみる 今後のビジネス展望」 研究開発リーダー Vol.19, No.1 2022, pp.57-60. (2022/4/20) PDF
-
中野友介, 加藤琢磨, 武政実玖, 堀部貴紀, 白井暁彦, “Metaverse Christmas”, 映像表現・芸術科学フォーラム2022 (2022/03/08) Web
-
山崎勇祐, 白井暁彦, “VibeShare::Maptop – 写真撮影・同時参加型バーチャル旅行システムの開発と評価”, インタラクション2022 (2022/02/21) Web
2021
-
白井暁彦, 中野友介, 堀部貴紀, ボイスチェンジャーサービスの研究開発を通したインターンによる次世代人材育成(Developing next-generation creators through research and development in voice changer services), デジタルハリウッド大学 研究紀要第 8 号, (2021/11/25), PDF, SlideShare
-
山崎勇祐(REALITY 株式会社/東京工業大学大学院), 白井暁彦「VibeShare::Performer — Emoji・触覚・音効によるオンライン音楽ライブの双方向化」, 第 26 回日本バーチャルリアリティ学会大会 (2021/9/21). Web PDF
-
堀部貴紀(REALITY/明治大),橋本順之(グリー),白井暁彦(REALITY),森勢将雅(明治大), 「FFT ライブラリを対象とした実時間 Vocoder の速度比較」, 日本音響学会 2021 年秋季研究発表会(2021/9/7)
-
Yusuke Yamazaki, Akihiko SHIRAI, “Pseudo Real-Time Live Event: Virtualization for Nonverbal Live Entertainment and Sharing”, Laval Virtual 2021 ConVRgence, 2021/7/7. Web Abstract Poster
-
堀部貴紀(REALITY/明治大),白井暁彦(REALITY),森勢将雅(明治大),「『転声こえうらない』を通したボイスチェンジャー品質改善のための定性分析と考察」, 日本音響学会 2021 年春季研究発表会, Web, Slides, SlideShare (2021/3/11)
-
山崎勇祐, 白井暁彦, 「VibeShare:Vote ~オンラインでの出演者と観客の非言語コミュニケーションの実現~」, 映像表現・芸術科学フォーラム 2021(Expressive Japan 2021), Abstract, Slides, SlideShare (2021/3/8)
2020
-
白井暁彦, 「賛助会員紹介 グリー株式会社/ REALITY 株式会社 GREE VR Studio Laboratory」, 日本バーチャルリアリティ学会誌第 25 巻 4 号 (2020/12/31) Web
-
白井 暁彦, ブレディキーナ リュドミラ, 坂口 塔也, 栢之間 諒汰, 堀部 貴紀, 山崎 勇祐, 中村 清人, 「Mozilla Hubs を用いたオンラインイベントの WebVR 化」, DHU JOURNAL, Vol.07, 電子版)(Nov 2020)
-
Liudmila Bredikhina, Toya Sakaguchi, Akihiko Shirai, “Web3D Live Distance Workshop for Children in Mozilla Hubs”, Web3D ’20: The 25th International Conference on 3D Web Technology, 9th, November 2020, Article No. 27, Pages 1–2. Web Best Poster Awards 2nd Prize
-
坂口塔也, 山崎勇祐, Bredikhina Liudmila, 白井暁彦, 「交流型 WebVR における空間音響のオンライン評価手法」, 第 25 回日本バーチャルリアリティ学会大会論文集, 2020-9-16 PDF
-
堀部 貴紀, 石原 達馬, 白井 暁彦, 森勢 将雅; 『転声こえうらない』利用者の基本周波数分析, 情報処理学会研究報告, 2020-05-30 Web SlideShare Awarded
2019
-
VR4.0 -リアルタイムバーチャルキャラクターが牽引する VR 産業における基盤研究 DHU JOURNAL Vol.06 (2019/11/29)
-
Yusuke Yamazaki, Hironori Mitake, Akihiko Shirai, Shoichi Hasegawa, “Widespread Hapbeat: Tension Based Necklace Type Haptic Display”, Proceedings of the International Display Workshops Volume 26 (IDW ‘19), 2019/11/27, DOI PDF
-
Akihiko Shirai, “REALITY: broadcast your virtual beings from everywhere”, In ACM SIGGRAPH 2019 Appy Hour (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 5, 1–2. DOI
-
Yusuke Yamazaki, Shoichi Hasegawa, Hironori Mitake, and Akihiko Shirai. 2019. “Neck strap haptics: an algorithm for non-visible VR information using haptic perception on the neck”, In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 60, 1–2. DOI
-
Rex Hsieh, Akihiko Shirai, and Hisashi Sato. 2019. “Effectiveness of facial animated avatar and voice transformer in elearning programming course”, In ACM SIGGRAPH 2019 Posters (SIGGRAPH ’19). Association for Computing Machinery, New York, NY, USA, Article 82, 1–2. DOI
-
Rex Hsieh, Akihiko Shirai, Hisashi Sato, “Evaluation of Avatar and Voice Transform in Programming E-Learning Lectures”, In Proceedings of the 19th ACM International Conference on Intelligent Virtual Agents (IVA ’19). Association for Computing Machinery, New York, NY, USA, 197–199. DOI
-
舘暲, 岩田洋夫, 安藤英由樹, 小泉直也, 中村拓人, 吉元俊輔, 白井暁彦, 長谷川晶一, IVRC2019(第 27 回 国際学生対抗バーチャルリアリティコンテスト)開催報告, 日本バーチャルリアリティ学会誌, 2019, 24 巻, 4 号, p. 39-43, 公開日 2021/04/08 Web
Before 2018
Refer my paper indexed in Research Gate…
- Rex Hsieh, Marika Higashida, Yuya Mochizuki, Takaya Asano, Akihiko Shirai, Hisashi Sato, “MasQueRade: Onsite QR Code based VR Experience Evaluation System using Sanitary Mask”, Conference Paper, the Virtual Reality International Conference - Laval Virtual (April 2018)
- Akihiko Shirai, Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, “Real Baby - Real Family”- Multi-Sensory Feedback Tangible Baby VR, International Journal of Virtual Reality (November 2017)
- Rex Hsieh, Yuya Mochizuki, Takaya Asano, Marika Higashida, Akihiko Shirai, “Real baby - real family”: VR entertainment baby interaction system, ACM SIGGRAPH 2017 Emerging Technologies (July 2017)
- “Real Baby - Real Family: Holdable tangible baby VR”, the Virtual Reality International Conference - Laval Virtual 2017 (March 2017)
- Akihiko Shirai, Hisataka Suzuki, Yuta Yamaguchi, Kazuhisa Yanaka,Glassless Augmented Display for Public Signage,ACM VRIC 2016,2016年
- 鈴木久貴, 白井暁彦, 谷中一寿,裸眼立体視技術を応用した多重化映像技術の提案,ITを活用した教育研究シンポジウム2015,2016年
- Akihiko SHIRAI,ExPixel: Multiplex hidden imagery, research in entertainment beyond 3D,SIGGRAPH 2015, CG in Asia,2015年
- Hisataka Suzuki, Rex Hsieh, Ryotaro Tsuda, Akihiko Shirai,ExPixel FPGA: Multiplex Hidden Imagery for HDMI Video Sources,SIGGRAPH 2015 Posters,2015年
- Hisataka Suzuki, Yuria Suzuki, Ayumi Ando, Akihiko Shira,ExPixel FPGA: multiplex hidden imagery for HDMI video sources,Laval Virtual ReVolution 2015,2015年
- Yuria Suzuki, Ayumi Ando, Ryotaro Tsuda, Akihiko Shirai,Face a la mode: A new immersive entertainment system that can train body and facial expressions,Virtual Reality International Conference – ACM VRIC 2015 Proceedings,2015年
- 森 拓也,岡本 遼,鈴木 久貴,白井 暁彦,ミュージアムのための多重化サイネージシステムの提案,Entertainment Computing 2015,2015年
- 鈴木 久貴, 鈴木 百合彩, 津田 良太郎, Vimuktalop Pinyapach, Jaruthien Nine, 白井 暁彦,多重化不可視映像技術(第3報) ―普及型ディスプレイにおける視聴特性評価―,第20回日本バーチャルリアリティ学会大会,2015年
- Hisataka Suzuki, Yannick Littfass, Rex Hsieh and Akihiko Shirai,Familink: expanding the social value of the living room with multiplex imaging technology,VRIC (VIRTUAL REALITY INTERNATIONAL CONFERENCE),2014年
- Yannick Littfass, Hisataka Suzuki and Akihiko Shirai,“Scritter” to “1p2x3D”: application development using multiplex hiding imaging technology,VRIC (VIRTUAL REALITY INTERNATIONAL CONFERENCE),2014年
- 小出 雄空明,藤村 航,國富 彦岐,田口 裕起,鈴木 久貴,白井 暁彦,液晶フラットパネルにおける多重化隠蔽映像の試行と実現,映像情報メディア学会 立体映像技術研究会「立体映像における人間工学的研究,及び立体映像技術一般」,2014年
- 田口裕起・鈴木久貴・白井暁彦,多重化不可視映像技術(第2報) ―FPGAを用いたハードウェア化―,電子情報通信学会 SIS研究会,2014年
- 藤村 航,小出 雄空明,國富 彦岐,田口 裕起,鈴木 久貴,白井 暁彦,直線偏光による多重化隠蔽型ハイブリッド3Dディスプレイにおける画質評価,映像情報メディア学会 立体映像技術研究会「立体映像における人間工学的研究,及び立体映像技術一般」,2014年 1.白井 暁彦,3Dディスプレイに付加価値を与える多重化隠蔽映像技術,応用物理学会・日本光学会・微小光学研究グループ, 第131回微小光学研究会招待講演,2014年
- 白井暁彦,“Scritter”, A futuristic AR technology which extends current 3D display,5th ASIAN FORUM ON SMART MEDIA AND AUGMENTED REALITY, JPEG Augmented Reality, Joint Photographic Experts Group and Augmented Reality Adhoc Group,2014年
- 田所康隆,藤村 航,北田大樹,白井暁彦,エンタテイメントシステム展示を対象とした質的評価ツールの提案,エンタテイメントコンピューティング2013,2013年
- 藤村航,小出雄空明,奈良優斗,白井暁彦,VR エンタテイメントシステムのための リアルタイムマンガ風画像生成シェーダーの開発,第18回日本バーチャルリアリティ学会大会,2013年
- 北田大樹,白井暁彦,WebSocketを用いたスマートフォン上でのエンタテイメントコンテンツ閲覧時のリアルタイム行動分析,エンタテイメントコンピューティング2013,2013年
- 國富彦岐,石川 晃,田所 康隆,白井 暁彦,年齢層とゲーミングデバイスの違いによる面白さの比較調査,エンタテイメントコンピューティング2013,2013年
- 白井 暁彦, 佐藤 勝, 草原 真知子, 久米 祐一郎,「足インターフェイスによる複合現実感アミューズメントシステム : ファンタスティックファントムスリッパ (Mixed Reality Amusement System with Foot Interface : Fantastic Phantom Slipper)」, 日本バーチャルリアリティ学会論文誌, 4 巻 4 号 p. 691-697, 1999 年. https://doi.org/10.18974/tvrsj.4.4_691, PDF
- Yuichiro Kume, Akihiko Shirai, Motoshisa Tsuda, Toyohiko Hatada, “Information Transmission through Soles by Vibro-tactile Stimulation” (October 1998)
IVRC community events
CEDEC History (GDC in Japan)
CEDEC2000
「RenderWare3」と「RenderVision」による次世代ゲーム開発の高速化 http://cedec.cesa.or.jp/2000/detail_categori.html
CEDEC2012
3D ディスプレイと互換の多重化・隠蔽映像技術「Scritter」が拓く 3D コンテンツの未来 https://cedec.cesa.or.jp/2012/program/INT/C12_P0205.html インタラクティブセッション会場投票賞 1 位受賞 https://cedec.cesa.or.jp/2012/program/INT/result.html
CEDEC2013
姿勢評価によるリアルタイム感情推定を特徴とする動的マンガ生成システム「Manga Generator」 http://cedec.cesa.or.jp/2013/program/GD/7225.html https://cedil.cesa.or.jp/cedil_sessions/view/1083
CEDEC2014
ゲームの次元を拡張する次世代多重化映像技術「ExPixel」 https://cedec.cesa.or.jp/2014/session/AC/5423.html インタラクティブセッション 3 位受賞 https://cedec.cesa.or.jp/2014/session/INT/result.html
CEDEC2016
多重化多視点 VR アーケードゲームシステム -DUAL DUEL- https://cedec.cesa.or.jp/2016/session/AC/8656.html 「インタラクティブセッション オーディエンス賞 2 位受賞 https://cedec.cesa.or.jp/2016/session/INT/result.html
CEDEC2017
家族愛をテーマにした子育て VR エンタテイメント ”Real Baby - Real Family” http://cedec.cesa.or.jp/2017/session/AC/s58e0597c6eab2/ https://cedil.cesa.or.jp/cedil_sessions/view/1758
次世代 VR/AR エンタテイメントのための多重化映像生成ミドルウェア https://cedil.cesa.or.jp/cedil_sessions/view/1607 https://www.slideshare.net/aquihiko/cedec2017-vrar
CEDEC2019
REALITY「なりたい自分で、生きていく」リアルタイムライブで VTuber が活躍する舞台を作る現場の 1 年 https://cedec.cesa.or.jp/2019/session/detail/s5c9df84045dd1 https://www.wantedly.com/companies/reality/post_articles/184950
「宇宙 x 教育 xVR =ちゃんと学べる体感サイエンスツアー「ありえな LAB」の挑戦 [https://cedec.cesa.or.jp/2019/session/detail/s5c9c660d3c16c.html] [https://www.slideshare.net/harukasakami/xxvr-lab]
CEDEC2021
白井暁彦,山崎勇祐「VibeShare: コロナ禍の音楽ライブを「触覚」で双方向化する」, (Blog)
Archived Projects in Github pages
Contact
Blog
- aki’s left brain
- aki’s right brain
- 王様の耳はロバの耳
- Future Entertainment Laboratory
- Github pages Since 19th Dec 2013