バニラは速くて、レモンは遅い―。
いったいぜんたい、なんのこっちゃ？？ と思うだろう。別に新しい戦隊アニメの主人公の解説ではない。

匂いが速度感を変える

　これは総務省管轄の国立研究開発法人情報通信研究機構（NICT）が行った、人間の嗅覚と視覚の関係の実験で分かった事実である。バニラが速いというのは、バニラの香りを嗅いだ場合のほうが、レモンの香りを嗅いだ場合より動きが速く見えるということだ。
　実験では被験者に１秒間レモンとバニラの香りを噴射し、続いてモニターにモーションドットと呼ぶ動く光の集合を１秒間表示し、モーションドットの動きの“見え方の差”を調べた。レモンとバニラ、それぞれ100％と50％の濃度で噴射し、モーションドットの動きは７段階を設定し実験している。被験者は14人。有意な人数ではないとNICT側も先に断っているが、実験は休憩を入れながら、１人あたり525回も行われた。その上で「遅い」か「速い」かの二択で選択してもらった結果だという。
　人間の感覚は、視覚や聴覚、嗅覚、味覚、触覚などのいわゆる五感によって構成され、その組み合わせで世界を把握している。つまりマルチモーダルであるということだ。
　マルチモーダルは、ある事象を把握する感覚が五感のいずれかの組み合わせの統合で生まれるのではなく、相互作用で変化する事象をいう。
　ポイントは、匂いという速さとは相関がなさそうな感覚が影響を与えていることだ。

かき氷のシロップは、元は同じ味。
色と香りで味覚が騙されている

　クロスモーダルは、とくに珍しい現象ではなく、いにしえから確認されてきた。
　たとえば、夏に風鈴の音色を聞くと気温は変わらなくても涼しく感じられたり、あるいは部屋の色を青系の色にすると涼しく感じたり、逆に部屋の色をオレンジにすると暖かく感じたりすることだ。
　こうした人間が持つクロスモーダルな感覚は、広告や宣伝分野では積極的に活用されてきており、とくに食品や生活用品などでは色や形などの視覚、音や言葉などの聴覚、商品に触れたときの触覚などを駆使して商品イメージやブランド構築に活用されてきた。
　なかでも視覚に対するアプローチは古くから研究されていて、食品分野ではかなり応用されている。たとえば、食品パッケージは、食欲を掻き立てるオレンジや黄色などの暖色系を中心に施されている。また、色が持つ固有のイメージを連動させて売上につなげている。かき氷に赤いシロップをかけると食べる前からいちご味を連想し、緑色だとメロンを連想し、黄色だとレモンを連想するが、実際は同じ味のシロップを使っている。
　同じシロップでも味が違うと感じてしまうのは、色と香料のせいだ。つまり視覚と嗅覚で味覚が変化しているのである。
　という事実からすれば、視覚が嗅覚の影響を受け、見た目の移動速度に変化が現れたとしても不思議はない気がする。

チョコレートは穏やかなクラシックを聴きながら食べると甘く、
不協和音で聴くと苦く酸っぱい

　これまでもマルチモーダルの活用は進んできたが、ここに来て研究速度が加速し、“意外”とも思える五感の組み合わせが感覚に影響を与えていることがわかってきている。前述の例のほかに音と味の関係もある。
　たとえば同じ味のチョコレートを違った音楽で聞くと、違った味に感じてしまうのだ。全く同じ成分、製法で作られた同じ味のチョコを、片や穏やかなクラシック音楽（ショパンのノクターンなど）を聞きながら味わう場合と、バリバリといった工事現場のような音を聞きながら味わう場合では、前者のほうが甘く、後者のほうが苦く酸っぱく感じることがわかっている。
　音はその音の内容で快、不快が分かれやすく、集中力や精神の安定、病気の回復などにも影響を与えることがわかっている。出産や手術に直面している患者がクラシックなどの音楽を聴くと痛みが緩和されることもよく知られている。
　また最近ではエアコンなどの空調機器が発する送風音に含まれる高周波帯域成分が、人間の冷感を誘発することがわかっている。

１つのビールの味を３つの味わいに変える
博報堂のビール専用音楽アルバム「BEER」

　いまこのマルチモーダルの研究がヒートアップしている大学や研究機関を中心に、新たなクロスモーダル現象の発見が続くほか、さまざまな企業がクロスモーダルを事業に取り入れている。
　大手広告会社の「博報堂」は、2018年にクロスモーダル知覚を活用したプロダクトやサービスの開発を進めるプロジェクトチームを立ち上げ、東京大学大学院の鳴海拓志准教授とともに、クロスモーダル知覚＝五感の相互作用を企業のブランド体験開発に活用する実験活動「Human X Experiment（ヒューマンクロス エクスペリメント）」を開始した。
　その第１弾として登場したプロダクトが、科学的かつ感性的なアプローチでビールのおいしさを増幅させる音楽である。
　これは同じビールでありながら、アルバムの中の３種類の音源、すなわち「クリーミー感を増幅させる音楽」「ソーダ感、炭酸感を増幅させる音楽」「喉越し感を増幅させる音楽」を聞きながら飲むと、それぞれの音源の狙い通りの感覚が増し、１つのビールで３つの味わいを体験することができる。同社ではこれを楽曲アルバムとしてSpotifyを通じて無料配信している。

ASMRにこだわる食品メーカー

　もともとビールやお菓子などの嗜好性の高い商品では、五感に刺さるプロモーションに取り組んできた。テレビCMやネットの動画広告では、ビールの場合はグラスに注ぐシズル感いっぱいの「注ぎ音」や、缶のプルタブを引く際の“プシュッ”といった「缶開け音」、人気俳優が飲む際の“ごくごく”、“うぐうぐ”といった「喉ごし音」、ポテトチップスやクラッカー、せんべいなどのスナック類では“パリパリ”“ポリポリ”といった「咀嚼音」、ラーメンやうどんなどのスープの入った麺類では麺の「啜り音」など、いわゆるASMRと呼ばれる効果音が知られるが、合わせて楽しげなBGMやテーマ曲、季節を先取りした風景や色調など、クロスモーダルな刺激がふんだんに使われている。
　従来各メーカーはどんどん細分化する消費者に合わせて多様な商品を生み出し、こうしたクロスモーダルなプロモーションでリーチしてきた。
　ただ今後、「クロスモーダル音楽」の愛好者が増えれば、消費者側で勝手に“味変”をしてくれるので、それほど多様なテイストのビールは開発しなくてもよくなるかもしれない。はたまた逆に、クロスモーダルビアのクロスモーダル効果を高める、第４、第５のビールが生まれる可能性もある。動向によっては、クロスモーダルワイン、クロスモーダル味噌ラーメン、クロスモーダル出汁、なども生まれる可能性もある。

資生堂は独自の美容音楽ソフトで美肌効果

　一方、化粧品会社の「資生堂」は、独自の美容音楽ソフト「SHISEIDO OMOTENASHIサウンド」を開発した。
　この音楽ソフトは、資生堂の美容部員の腕の筋肉の筋電位測定の結果から割り出されたリズムをもとにつくられており、直営店やエステサロンでこの音楽を流しながら来店客にマッサージを施すと、美容効果が向上するという。

高級ホテル、航空会社で使われる 香り付けのブランディング「シグニチャーセント」

　クロスモーダル知覚はマーケティングの手法を大きく変える可能性もあるが、それ以上にブランディングに果たす役割が大きくなりそうだ。自社や自社製品カテゴリ全体の統一イメージをクロスモーダル知覚でコントロールしながら、ブランディングすることが可能になるからだ。
　実はすでに航空会社やシティホテルなどではクロスモーダル知覚を活用したブランディングを展開している。航空会社やホテルなどがクロスモーダルブランディングで重視しているのは、嗅覚、香りである。世界的ホテルチェーンの「ウェスティンホテル」では、客室にある香り付きペンをあえて持ち帰らせることで、宿泊者のロイヤリティを高めていると言われている。

　こうした企業やブランド独自の香りは「シグニチャーセント」と呼ばれ、体験を売るサービス業では特定の高級イメージづくりに欠かせない手法となっている。ウェスティンホテルのほか、「帝国ホテル」、「リッツ・カールトン」などの高級ホテル、「シンガポール航空」、「ユナイテッド航空」、「全日空」などの航空会社も導入しており、積極的に香り付け商品のサンプリング提供や販売をしている。
　香りは、それこそ飲食の世界では実に雄弁で、効果的な誘客因子となる。できたての香ばしいパンの香りが漂う朝のパン屋や、挽きたてのコーヒー豆の香るカフェ、昼食時の鰻屋、ラーメン屋、夕方の焼き鳥店などの香りに誘われて入店した経験を持つ人も少なくないだろう。
　もともと特定の香りには、ストレス緩和や疲労回復、消炎、抗菌、抗うつ、免疫賦活などの効果がある。嗅覚と視覚、聴覚を用いたブランディングおよび、商品開発などが進む可能性は高い。

VR時代に期待される
クロスモーダルを生かした安全教育ソフト

　クロスモーダル知覚が注目されている背景には、従来型のマーケティングやブランディングに対するより高い効果への期待、VRをはじめとした仮想空間技術の進展と、それを支えるビッグデータ解析、AIといったテクノロジーの進化などがある。
　とくにVRやデジタルツイン分野での期待は高い。
　現在VRはエンタメや教育、医療関連分野でさまざまな商品やサービスが誕生しているが、なかでも期待されているのが建設現場や工場、交通などにおける安全教育である。
　安全教育や研究支援、アミューズメント技術などVRシステムの開発を手掛ける「ソリッドレイ研究所」は、労働災害の危険誘発を体感できるVRシステム「セーフマスター」を開発したが、ここにクロスモーダル知覚を意識して取り込んだという。
　「セーフマスター」は高解像度と広視野角の映像による視覚情報と、実際の現場のような音による聴覚情報、作業姿勢の情報などをリアルに追究、映像の手を自分の手のように脳を錯覚させ、指を切り落としたり、腕があらぬ方向に曲がったりする状況をVRに作り出す。
　工場や建築現場では恒常的な人手不足が続いているため、派遣会社や外国人労働に頼るケースも少なくなく、現場の環境に慣れないこうした中途採用者の労災が増える状況にある。クロスモーダルで脳を錯覚させて、その疑似体験をインプットさせることは、さまざまな現場の労災予防につながる。
　クロスモーダル知覚の労災への応用としては、たとえば荷物の箱を大きめに設定するという方法もある。人間は同じ重さの荷物をサイズの違うダンボールに入れて、持ち上げてみると、サイズの大きいほうが軽いと感じる。同じ重さでも荷物が軽く感じるならば、心理的な負担も減り、疲労の軽減、ひいては労災の予防にもつながる。

音楽ライブの没入感を高めるには
温熱シートを首に巻く

　コロナ禍期間は音楽ライブはどこも自粛され、代わりにネット配信などが広がった。こうしたネット配信やオンラインでは、いかに没入できるかがポイントとなる。その没入感向上にもクロスモーダル知覚は寄与しそうだ。
　ある研究によれば、音楽ライブで体感する2万ヘルツ以上の高周波音は、耳ではなく体で受容しているという。音楽ライブとは視聴覚以上に体で感じ取る体験なのである。
　別の研究では、温熱シートを首に貼って音楽を聴くと没入感が高まるという結果も出ている。
　クロスモーダル知覚が注目されているのは、先に話した意外性のある知覚が他の知覚に影響を与えるからだ。だから視覚に聴覚、視覚に味覚などのほかにさらに嗅覚や触覚など別の知覚要素を加えるだけでもいいし、要素の中身を「定番」から変えることでも大きな変化を持たらす可能性がある。
　アメリカの「シカゴ交響楽団」は2003年から、コンサートの際、背景につながりのある「街の灯」や「オペラ座の怪人」などの無声映画を流す試みを行った。無声映画を流すことで世界観や物語性が喚起され、ファン拡大に貢献。日本でもこうした試みが増えている。

　さて、みなさんの会社でクロスモーダル知覚のビジネスへの活用準備は整っているだろうか？