About

私たちは、JSTによるCREST「人間と情報環境の共生インタラクション基盤技術の創出と展開」という研究領域の中でプロジェクトを進めています。この領域では「インタラクションの研究分野をより広く“ネットワークにつながれた環境全体とのインタラクション”として捉えることが重要になってきています。特に情報環境の知能化や人間拡張技術の進展により、環境知能と拡張された人間が共存する新しい共生社会のインタラクション(共生インタラクション)をデザインすることが急務」として様々な研究プロジェクトが進められています(JST CREST)。

HCI(Human Computer Interaction)研究の泰斗であるStanford大学のテリー・ウィノグラードは、自身の最終講義の中で、HCIにおける技術の歴史は“What is Human?”という問いの歴史でもあるとその大局観を述べていました(Winograd 2013)。であれば、技術によって人間と環境を拡張し共生インタラクションを作り出してゆく際にも、この問いが立てられるはずでした。その呼称を「Augmented Behavior Chance(以下ABCプロジェクト)」とした私たちの研究チーム「限定合理性を超越する共生インタラクション基盤」では(JST CREST ABCプロジェクト)、ハーバート・サイモンが提唱した限定合理性(サイモン 1999)をユクスキュルの機能環を下に塩沢が再構成した視野の限界・合理性の限界・働きかけの限界(塩沢 1998)をその人間観として用いています。本著書には、この3つの限界から、経済行動は最適化行動ではなく満足解からなる定型行動となり、個人は自身が持つ定型行動のレパートリーの中から選択し行動していると記されています。そうした人間観をふまえ、ABCプロジェクトにおいては定型行動の変化=新たな行動へジャンプする契機を情報通信技術によってもたらすべく、センサによる個人の感情の推定、ビッグデータの可視化、非人間型ロボットによる動的な空間構築、などによってそれを実現しようとしています。

この研究を行う前提となっている情報通信環境と物理環境が統合された環境は、スマートシティ、デジタルツイン、サイバーフィジカルシステム、Society5.0など、さまざまな呼ばれ方がされています。そうした未来の環境においては、人々がこれまでに体験したことがない行動が多くの人々の定型行動になって初めて、人間が拡張されたと言うことができます。ヒュー・ケナーは著書「機械という名の詩神」の中で、新しい機械技術やその価値観がどのような文学作品を生み出したかについて述べ、詩人のT.S. エリオットが時計や電話、鉄道といった技術を使う群衆や通勤者の姿を観察した様子を紹介しています(ケナー 2009)。

“新奇だったのは通勤という形態である。時間で管理されていたため、通勤は何千もの人びとをひと所に収束させた。そこでは、人は個人の時間にしたがって行動していたものの、それはほかのすべての人が共有する時間でもあった。人類がこれほどの規模で抽象的なものを共有したことはなかった。通勤によって同席したさせられた人びとは、互いを知らないばかりか、自分たちがなにを共有しているのかさえ気づいていなかった。”

通勤や通学は、当時の最新技術であった鉄道が大量に人間を運ぶことで現れています、かつての新しい定型行動であり、COVID-19の感染拡大とZoomやTeamsといったコミュニケーションツールによって忘れられてゆくかもしれない定型行動です。

ユクスキュルは主体としての動物と客体としての環境との交渉を機能環という図式で整理しました(ユクスキュル 2005)。何をしようとしているかという状態・トーンの違いに応じて主体が環境から記号を知覚し、得られた知覚記号を主体の内的世界において処理を行い、そしてその結果から環境に作用を及ぼす行動を行うというサイクルを、機能環と名付けました。そこでは、生物はすべてが客体として客観的に記述される環境の中に生きているのではなく、生物の種によって異なる知覚器官と作用器官に従って環境が受容された環世界(Umwelt)を生きており、さらに知覚は各個体の作用トーンによって様々な意味に変容し、それぞれの主体にとって異なる多様な環世界を生きていると考えられます。塩沢は人間の合理性の限界をこの機能環と環世界の考え方に結びつけました。人間の外部世界との交渉が機能環の図式で理解できるとすれば、前述した3つの限界が機能環の受容器官、内的世界、作用器官に対応するとみることができます。人間は動物と異なり、さまざまなメディアや道具を発明し知覚器官と作用器官を延長・補強し、言語によって内的世界を広げることで、その能力は生得のものとは格段に異なる大きな能力を得てきましたが、経済規模に比べればそれらはまだまだ圧倒的な制約の中にあり、それが最適解ではなく満足解として定型行動の選択を導くとしています(塩沢 1998)。私たちは道具としてのパーソナルコンピュータやスマートフォンによって大きな能力を獲得している一方で、インターネットを基盤とした情報環境も大きく広がり続けています。そのため、限定的な合理性しか持ち得ない私たちは変わらず最適解を得ることはできず個々人の満足解としての新たな定型行動を選択していくことになると考えられます。

テレワークや遠隔授業のための情報通信技術はCOVID-19の感染拡大が起きる前にはすでに利用可能でしたが、広くは普及していませんでした。これまでの定型行動を不可能にした他者としてのウィルスとの共生から、技術によって人間が拡張される契機がもたらされ、私たちの定型行動はより情報環境の方へシフトしました。新たな環境の中での定型行動が生活の中に織り込まれると共に、主体の環世界も更新されていると考えれば、そこでは主体の知覚世界と内的世界も同様に更新されているはずです。知覚世界と内的世界においても「知的な定型活動」があるとすれば、スマートシティ、デジタルツイン、サイバーフィジカルシステム、Society5.0などと今は呼ばれている未来の環境においては、満足解としての定型行動だけでなく、知的な定型行動の集積とも言える知性や世界観も更新されているに違いありません。

取り組み

痛感インタラクション

中澤グループ

人が情報を必要とする瞬間があります。例えば危機から逃れるために行動が必要なときや、健康を維持するための行動が必要なとき、あるいは楽しくなるための行動が存在するときなどです。人はそうした行動の存在を知っている場合もあれば、知らない場合もあります。このような問題に対して、私を含めて情報系を専門とする研究者は、スマートフォンやパソコン上にそうした行動を表示できるようにすることを考えます。これによって人がより良い行動をとる機会が増えると考えられるからです。中澤グループもその戦略を取りますが、人は往々にして、表示された通りの行動をとりません。焦っていたり、他の関心事があったり、機嫌が少し悪かったりすれば、そうした人の内面状態が、人を行動から遠ざけることはよくあることです。

今のソフトウエアは、人とインタラクションするとき、全ての人に対して同様に振る舞います。表示される情報がその人の履歴に応じて最適化されることはあっても、同一の情報は同一の表現で、また同じようなタイミングで表示されます。もしソフトウエアがもう少し人の内面状態をわかっていて、それに合わせて振る舞ってくれれば、情報をより深く人の心に届けられる可能性があります。焦っている人には心を落ち着かせる色使いが、他の関心事がある人にはより強く注意を引く表現が、また機嫌が悪い人には少し後で情報を伝えることが、それぞれ考えられます。このような、ソフトウエアが人の内面状態に合わせて情報伝達の振る舞いを変える力は、AIを含むそれと人との共生を考える上で重要です。

スマートフォンやスマートウォッチは様々なセンサーを搭載していて、血圧や心拍数、体表面温度、移動手段などを検出することができます。また一次的に検出した値から、例えば加速度センサー等の値から歩行や車などの移動手段を計算するなど、様々な推定を行うこともできます。しかし上述のような内面状態の推定は一部を除いて実現されておらず、ソフトウエアはまだ十分な力を発揮していないと言えます。例えば人の性格、気分や機嫌を含む短期的な気持ちの揺らぎ、頭痛やPMSなどの体調、空腹度や疲労度などの状態は、人の行動を大きく左右するため、これからのソフトウエアにとっての要把握事項です。またこれらを把握した上で、ソフトウエアが自らの振る舞いを変化させる有効な方法も、まだ明らかになっていません。情報提示のタイミングや情報の提示形式、言い回しなど、変化させられる事項は様々であるものの、その効果を明らかにする必要があります。

そこで中澤グループでは、特にスマートフォンやスマートウォッチをはじめとするウェアラブル機器を用いて、①人の内面状態をよりよく推定する技術と、②人の内面状態に適応的な情報提示技術に関する研究を進めています。これらの研究の目的は、情報の力で人を幸せにすることです。人を健康にしたり、安全にしたり、楽しくしたりできる情報を、よりよく人に伝えられれば、その情報の力がより強く発揮され、何らかの意味で人を幸せにできるはずです。そのような情報がより多く流れている街を「スマートシティ」と言い、その意味ではこの研究は街をスマート化するための研究であるとも言えます。「スマートシティ」とは、コンピュータやネットワーク、センサーがたくさん設置された街ではなく、力強い情報がたくさん流通する街です。

内面状態推定技術のブロックダイアグラム

人の内面状態をよりよく推定する技術

GPSなどの物理センサーと、移動手段などの推定状態を出力するソフトセンサを含むウェアラブル機器において、広範なデータを常時獲得します。これに加えて、クラウドサービス等から得られるパーソナルログやサービス利用ログや、データ収集実験時の自己回答より得られる教師ラベルを学習し、デモグラフィクスやパーソナリティ、整理状態、心理状態等に属する指標を推定可能とする。これらの指標には、性別や年齢、性格などの静的な状態から、体調や依存度などの動的な状態が含まれます。

人の内面状態に適応的な情報提示技術

人に対してある行動を示唆する時に、画像や音声など感性的な表現と、言語や数値を用いて論理的、説明的な表現が可能です。その情報を受け取る人の内面状態によって、前者が有効なときと後者が有効なとき、いずれも無効なときとがあります。いずれの表現を用いるとしても、そこで伝達する情報の内容は、その行動をとった時の効果、それをとらなかったときの損失、および効果と損失の差分として示すことができます。この研究では、大きくは表現と内容の制御に着目し、さらには声色や言い回しなど、表現や内容の細やかな部分も検討します。

家具型・遊具型ロボットによる介入インタラクション

中西グループ

 人が生活する環境は行動パターンや無意識的な思考に影響を及ぼすものです。大学進学と共に奈良盆地から関東平野に引っ越した自分は、周囲に山が見えないことに当初不安を覚えました。海沿いの平地である船橋出身の友人は大学周辺の坂道が嫌いで、東京の西側に住むことになった時には川沿いの街を選んでいました。逆に八ヶ岳山麓出身の友人は埋立地である江東区辺りは車で通るだけでソワソワすると言い、坂のアップダウンがある地域を好みました。これまでに50年で15回の引っ越しをした経験からすると、住環境が変わるとそうした無意識的な思考に影響が及ぶだけでなく、買い物や通勤などの行動パターンが変わり、その総計として自分の一部が変わる感覚があります。コンサルタントの大前研一氏は、自分を変革する3つの方法として時間配分・付き合う人・住む場所の3つを変えることを挙げていますが[1]、それぞれを「習慣を変える」「人的環境を変える」「物理的環境を変える」と言い換えることができます。物理的環境を変える方法として都市計画や街区の再開発がありますが、空間のスケールと時間のスケールが大きく実現のコストが大きいです。そのため既存の建物の用途を変えるリノベーションや、移動可能な家具を街中の公園や駐車場に配置することで場所の意味を更新するタクティカルアーバニズムなどが広く実現されるようになりました[2][3]。物理的な環境を新しくコンストラクトするのではなく、既存の環境を継承してオーバーライド・上書きすることで、短い工期と低いコストで新しいアクティビティ・行動の受け皿を作り出そうとするものです。その一方で移動能力を備えた工業製品としての乗り物は、モーターホームやハウスボートのように住宅として利用されるだけでなく建築家にも大きな影響を与えました。「住宅は住むための機械である」と言った建築家ル・コルビュジェは建築の近代化を進める中で、そのアイデアを豪華客船から得た集合住宅であるユニテ・ダビタシオンを第二次世界大戦後に設計しました[4]。また1960年代にテクノロジーを駆使した都市の仮想プロジェクトを多く提案した建築家集団のアーキグラムは、都市全体が大きなロボットとなったウォーキング・シティや、都市に必要な装置がトレーラーや飛行船などで運搬され、それらが既存の都市の中に組み立てられていくとインスタントシティ等を提案しました[5]。ル・コルビュジェが1930年に発表した都市構想「輝く都市」はエレベータや自動車が可能にした現代の都市計画の原点とも呼べるものであるが、機能主義的な都市計画への批判のベースともなっている。アーキグラムは出版した雑誌の創刊号で彼らの狙いを「近代の規範を拒絶すること」と述べていますが、彼らの提案は都市の機能を組み替え可能にしようとしたものであり、店舗型の自動運転車の実用化が見込まれているいま、その提案は現実味を帯びています。人々の行動の受け皿となる空 を作り出す乗り物やロボットが、新たな物理環境を動的に生成することが可能になりつつあります。


非人間型ロボットによる動的な物理的環境の生成と都市への介入

 中西グループの研究は、新たな行動の機会を提供する方法として、非人間型の家具型・遊具型のロボットを用いて動的な物理環境を生成することで、リノベーションやタクティカルアーバニズムのような小さなスケールの物理的環境を都市に挿入し、「あのモールにたまたま行ったら遊園地が出来ててさ」「あの駐車場が公園みたくなっててつい長居しちゃった」といった行動を引き出し、限定合理性における行動の限界を超越しようとしています。さらに遊具型のロボットでは、乗り物としての電動車椅子にヘッドマウントディスプレイで提示する映像を組み合わせることで、物理的移動を超えた加速度や移動量を体感するための基礎技術を開発しています。

生成的な物理的環境を非人間型ロボットによって作り出すことのもう一つの側面は、家具のスケールで設計されたロボット達が作り出す物理的環境が、同時に人的環境にもなり得ることです。人に似た身体を持ち自然言語を処理できるような人間型ロボットとは違い、そのインタラクションは対話的・意識的なものではなく非言語的・無意識的なものになります、「たまたま」「つい」「知らないうちに」「自然と」といった形容されるような行動を引き出す形状や動き、配置を物理的環境そして人的環境として作り出していきます。

[1] 大前研一、大前流「自分を変革する」3つの方法,  https://president.jp/articles/-/17083(2022/01/16最終アクセス)
[2] 馬場正尊 他. (2020). テンポラリーアーキテクチャー:仮設建築と社会実験, 学芸出版社.
[3] 泉山塁威 他. (2021). タクティカル・アーバニズム:小さなアクションから都市を大きく変える, 学芸出版社.
[4] ル・コルビュジェ.(2010).  マルセイユのユニテ・ダビタシオン, ちくま学芸文庫.
[5] アーキグラム. (1999). アーキグラム, 鹿島出版会.
[6] Shaoqiang Wang. (2020).Urban interventions: Design Ideas for the Public Space, Hoaki.

データの力で視力を拡大するインタラクション

豊田グループ

人々がウェブや携帯のアプリから推薦された情報を得る場合と、自らの興味に基づいて検索する場合の双方において、人の認知能力や可処分時間が有限であることから、自身の行動に影響するあらゆる情報を獲得することは極めて困難である。これを一般に「視野の限界」と呼ぶ。街の巨大な情報環境においては、それ全体を俯瞰することが不可能であること、および情報の解釈が困難であることが、現実的な街と人のインタラクションにおける問題です。

統計手法や機械学習手法を用いたデータ解析は様々な社会的課題の解決に役立つものの、近年の高度な解析手法で用いられるモデルは複雑化が急速に進み、結果が得られた原因や理由を人間が解釈することが難しくなっているため、意思決定者が結果を受容しにくいです。さらに人は、感覚、情報の把握能力、言語能力、社会的関係性の差異により受容できる情報に偏りがあるため一律的な情報提示ではその効果に限りがあります。したがって複雑な手続きで得られた情報をパーソナライズしながら解釈可能な形式で提示する技術が必要です。

豊田グループでは、これまでに大規模なウェブページ、ソーシャルメディア情報、並びに鉄道旅客トラフィックやドライブレコーダデータなどのビッグデータ解析および可視化に関する研究を推進し、事故リスクを考慮したカーナビアプリ、通信・道路インフラ維持管理のための解析・可視化システム等で実ソリューションに結び付けてきた実績があります。また、言語現象において人々の一般認識の抽出ならびに、使用言語および言語使用者としての個人を考慮した自然言語処理モデルの研究を推進しています。これらの実績に基づいて豊田グループでは、以下に示す研究開発を実施しています。

  1. 街の情報環境を俯瞰可能とする情報蓄積・解析・可視化基盤の構築
    多様なビッグデータを収集・蓄積し、実世界データ、ソーシャルメディアデータ等の多様なデータを統合的に解析し滑らかに可視化する基盤を構築する。
  2. 大規模データ解析結果の理解を促進する情報可視化手法の確立
    データ解析の結果や、解析のためのモデルの解釈を支援するための情報可視化手法の確立を目指す。本研究課題では、ドライブレコーダ、フローティングカーデータ、携帯位置情報に基づく混雑データ等の多様なデータ解析結果の解釈支援手法の研究開発を実施する。
  3. 個人の属性を考慮した言語情報提示のための基盤技術の確立
    個人の使用する言語や感覚、社会的関係等を考慮した自然言語処理モデルの構築を通じて、人の感覚や思考の理解と、個人の属性を考慮した言語情報提示の実現を目標とする。本グループではこれまで、複数言語を共通モデルで扱えるようにする多言語モデルや、個人の感覚の違いを反映した自然言語処理モデルの構築に関する研究を推進しており、これらの自然言語処理モデルに基づき、提示する言語情報を個人に適合して変換する手法等の研究開発を行う。さらに、ソーシャルネットワークにおける人間関係等を考慮した効果的な情報提示の手法の研究開発を行う。

ソーシャルメディアにおける議論の極化の分析

 ソーシャルメディアデータに関しては、社会問題に関する議論の分析を通じて、人々の意見が両極端に分極化する現象を分析・可視化し、コミュニケーションの分断が発生する原因を究明可能とするとともに、分断の抑制に向けた手掛かりとなる現象の分析を実施した。ソーシャルメディア上におけるこれまでの分析において、エコーチェンバーや情報伝播ネットワークの分断等、ユーザがリベラルと保守の派閥に分極化していることを示す現象が確認されています。これらの研究では、両極に偏っているパルチザンユーザと、中庸なユーザとの性質の違いが比較されてきましたが、ユーザの行動が分極化に与える影響は明らかではありませんでした。本研究では、日本国内のTwitterデータを分析に、日本においても政治的分極化が発生しているかどうかを確認した上で、分極化の発生している話題において、リベラル・保守間において実際にどのような情報拡散行動が起きているかを分析しました。 

Twitterにおけるユーザ間の政治的分極化の可視化(大前ら 2021) 

さらに、日本においては多党制により複数の政党がそれぞれの立場で活動を行っており、それが分極化に及ぼす影響についても分析を行いました。その結果ユーザ間のリツイート関係を表すグラフが2極化している場合に、自民党支持者と共産党支持者の間で分断が起こっており、民進党や公明党の支持者はそ の間を取り持つような形でグラフ上に分布していることが判明しました。こうした分析により、不健全な分極化が発生するメカニズムやそれを抑制する方法等について検討を進めていく予定です。


分極化した政治的話題における各政党支持者の役割

COVID-19の潜在的な市中感染発生地区の抽出

 携帯電話人口統計データを用いて、COVID-19の市中感染が起きている可能性のある地区を抽出し、感染防止対策を支援する手法を開発してます。東京都内の特に新規陽性者数の多い区において、その区の実効再生産数(Rt)と細粒度時空間メッシュの人口推移との相関を取り、もっとも相関の高いメッシュをリスク地区として抽出します。これを可視化することにより、市中感染発生の可能性が高い地区を地理的にマッピングすることができ、集中的な対策が必要な場所を知ることが可能となります。


潜在的な感染発生地区マップ