伊藤貴之／大学の卒業研究としてのデータ可視化

Sat, 28 Dec 2024 00:00:00 +0000

Data Visualization Japan Meetup 2024（2024年12月28日開催）における、伊藤貴之さん（お茶の水女子大学教授）の講演です。身近な社会現象からジェンダーギャップ、芸術文化の進化まで、大学ならではの自由な発想による可視化研究の可能性を紹介します。

お茶の水女子大学の伊藤貴之と申します。本日は「大学の卒業研究としてのデータ可視化」という、いかにも大学の先生を代表するようなテーマでお話しします。（今回の講演者で大学教員は私1人かと思ったら、日本大学の尾上先生もいらっしゃったので、尾上先生には大変失礼なことになってしまいましたが。）

自己紹介

1992年から2005年まで IBM の東京基礎研究所で研究員をしており、その間に可視化・科学技術計算・CAD などの研究に従事していました。京都大学の研究員を兼職した後、2005年に IBM を退職してお茶の水女子大学の理学部情報科学科に着任しました。

大学の中ではいろいろなところを兼任しています。

2019年から AI・データサイエンスセンター長 — お茶大のデータサイエンス教育のディレクター
2022年からジェンダード・イノベーション研究所の研究員 — お茶大は女子大だけあって男女共同参画に非常に敏感で、これを研究として昇華させようという点に熱心な大学です。「男性にも女性にも幸せな社会を科学技術で作っていく」という考え方のもとに設立された研究所です
今年から共創工学部・文化情報工学科を兼担 — データサイエンスなどの考え方を用いて文化を解明するという、少し風変わりな学科です

私の研究室の可視化事例としては、流体の可視化、生命情報の可視化、音楽の可視化、購買情報の可視化、ライフログ（個人が集めている写真を再編成して行動を可視化する）、人流、人間関係のネットワーク可視化などがあります。

日本の可視化研究室は「不当に少ない」

日本でも可視化を卒業研究などで扱っている研究室はいくつかあります。こうして見るとたくさんあるように見えますが、実は日本では可視化の研究室が、世界各国と比べると私に言わせれば不当に少ないです。

世界の主要国では可視化の研究室が50個、100個というレベルであるのに、日本では本当に数えるほどしかない。残念ながら寂しいところです。私どもアカデミアの人間の実力不足というところもあるかもしれません。

大学で何を研究するのか

① ビジュアル表現そのものを新規開発する

究極的には、折れ線グラフや棒グラフに代わるグラフを発明する——それくらいの意気込みで新しいビジュアル表現を開発するのが、本来大学のあるべき姿だと思います。さすがにそれは難しいと思いますが、可視化ライブラリそのものを開発するようなイメージで新しいビジュアル表現を開拓する。先ほど尾上さんの講演でも自らライブラリを作られているという話がありましたが、これは大学の研究の1つの目的だと思います。

典型的な例が finviz.com です。区画整理をした四角形の集合で各企業の株価変動を表すサイトですが、これは元をたどればメリーランド大学で開発されたツリーマップという視覚表現が採用されています。こうした新しい視覚表現を生み出すことが、本来大学が目指すべき道ではないかと考えています。

私も同様の考えで「平安京ビュー」というものを20年ほど前に発表しました。階層構造の可視化を入れ子状のアイコンで表現する独自の手法です。実際にいくつかの企業でお使いいただいていますし、最近は GitHub にも公開して何件かダウンロードもあります。これは IBM と京都大学を兼職している時に開発したものです。

たまに間違えて「平城京ビュー」と呼ぶ方がいらっしゃるのですが、これだけは間違えないでいただきたい。平安京ビューでございます。

② 可視化とは何かを考える

可視化に必要な理論（数学、視覚認知など）を築いたり、可視化のシステムやシナリオに対する方法論を打ち立てたりすることです。

私も自分の教科書の中で、可視化は何のために使うものかを書いています。

Overview（俯瞰）— データ全体を広く眺める
Clarification（解明）— データ分析の過程で問題点や新しい現象を見つけ出す
Handling（操作）— データを追加・削除・注釈する。最近は機械学習の訓練データに注釈を進める際、可視化しながら進めるとうまくいくという事例が多い
Announcement（報告）— データの意味を明快に説明し、分析結果を人に報告する

この4つの頭文字を並べると OCHA（お茶） になります。お茶の水女子大学に勤めておりますので、何かお茶大にちなんだ形でキーワードを埋めたいと思ったところ、これを思いつきました。授業では「可視化の用途はお茶であると覚えなさい」と言っています。

③ ビジネスであまり使わないデータを分析する

学問として必要なデータ、あるいは学生自身の趣味や興味に関するデータを使う。これは特に学生に食いつきがいいものです。

ここから先は、大学ならではの題材について、1事例5分ほどのマシンガントークで紹介していきます。

事例① 小売店の販売実績の可視化 ― 散布図の爆発問題

企業との共同研究から出発した事例です。

販売データの多くは Excel で開けるような表形式に展開できます。2つの変数を縦軸・横軸にして標本をプロットする散布図は、属性間に相関があるかを見るためによく使われます。

ここで容易に発生するのが「散布図の爆発問題」です。n次元のデータ（Excel で開いた時にn列ある）から生成される散布図は、100次元なら4950種類にもなります。64個、256個と表示すると1個1個が豆粒のようになって読めません。

そこで「見て有益そうな散布図だけを選ぼう」という研究をしています。

事例はアパレルショップの来客・売上データ。気象値（最高気温、最低気温、降水量、最大風速）と販売値（来客数、総売上、買い上げ率、平均単価）の関係を散布図で可視化しました。気象値は天気予報である程度の精度で出るので、そこから販売値を予測できないかと考えたわけです。

平日を青、休日を赤で表示すると——

来客数や総売上は当然、休日の方が大きい。ただし赤い点の群れに混じって青い点が時々ある。稀に休日並みの実績がある平日がある。そういう平日を観察して、休日並みに店員を配置する工夫が必要になる
気温を横軸に、客あたりの売上を縦軸にすると、見事なまでに「へ」の字を描く。ピークは3月と12月。アパレルなので12月はコート、3月はスーツが売れる。気温が高いと負の相関——夏になるほど単価の安いもの（Tシャツなど）が売れる
気温と購入率を見ると、寂しいことに1年のほとんどの日は50%を下回る。来店しても半分以上の人が何も買わずに帰っている。ところが左端と右端に、やたら購入率の高い日がある。7月と1月の売り尽くしセール、あるいは福袋の日。お店からすれば儲ける日だと分かります

重要なのは、この3つの例はすべて数学的に自動判別が可能だということです。負の相関がある、点群の細い筋が左右に並ぶ、平日と休日が分離している、点群の離れ小島が外れ値として見える——判定式を設けて自動選択すれば、選りすぐりの散布図だけを並べたダッシュボードを作れます。

単にダッシュボードを開発するだけでなく「どういうものが見る価値があるか」という原点に返ること。これが大学の研究としてやるべきことかなと考えています。

事例② 公共スペースでの感染可能性の可視化

カメラで人の動きを測定し、軌跡を追跡します。その中で「近接」——一定時間以上、一定距離以内（厚労省の基準では2m以内に60秒以上）にいた人同士を線で結んでネットワークを構築します。これにより近接関係をネットワークとして可視化できます。

実測データは、産業技術総合研究所が測定したもの。茨城県の鹿島サッカースタジアムのコンコースの一部にカメラを仕掛けて計測しました。2019年・2020年・2022年の3回のデータを使い、試合開始前／試合前半／ハーフタイム／試合後半／試合終了後で色分けしています。

2020年はコロナ禍初年度で観客自体が少なく、密にならない工夫もされていたので、ネットワークのエッジが少なくまばら
2019年と2022年は近接が多く発生。特に2022年で要注意なのが、3つの濃い塊の間に接点ができてしまっていること。友達グループや家族の中で閉じたネットワークならいいのですが、複数のグループが接点を持つのは見知らぬ人から感染する可能性を示します
また2019年と2022年は試合中にも近接が発生。ワンサイドゲームでは後半にスタジアムを後にする人がいるので、試合後半を表す青が所々に見えます

さらに大規模な人流シミュレーションも行いました。野球場での試合終了後、全観客が最寄りのゲートから退場した場合と、一定人数が遠回りして最寄りでないゲートから退出した場合を比較します。後者では滞留が広範囲かつ長時間発生してしまう。

ネットワークで見ても、全員がゲートを遵守した場合に比べ、50%がランダムに回り道した場合は近接が多く発生してネットワークが複雑になります。試合終了時の交通整理を綿密にやり、全員が最寄りのゲートからすんなり退場する状態を作ることが、密を防ぐために重要だと分かります。

事例③ 映画推薦のバイアスの可視化

AI がバイアスをもたらす問題が社会問題になっています。

Amazon が採用に AI システムを導入して廃止した例。訓練データとなった社員が男性80%・女性20%だったため、データ中に女性が少ないことで女性を低く評価した
AI 翻訳でも「医師と看護師が1人」といった文で、勝手に男性医師・女性看護師と性別をつけて翻訳してしまう。既存の文章に女性医師や男性看護師が少ないことが原因

こうした偏りは可視化によって見つけられるのか。共同研究先の企業が開発した映画推薦システムで検証しました。鑑賞者の履歴（オープンデータ）を訓練データにして AI に映画を推薦させ、鑑賞実績に合わない推薦が生じていないかを確かめます。

横軸に17種類の映画ジャンル、色付きの棒が実際に鑑賞した回数、灰色の棒がAI が推薦した回数です。

バイアスが小さい例：色付きの棒と灰色の棒の高さが、左から右までほぼ比例している。実際に鑑賞したジャンルと同じジャンルが推薦されている
バイアスが大きい例：あるユーザーは、アクション映画をそれほど見ていないのにやたら推薦され、何回か見ている子供向け映画やミュージカルは全く推薦されず、1回も見ていないスリラーがたくさん推薦される。ある女子大学生は、よく見ているアニメーションと子供向け映画が全く推薦されず、あまり見ていないコメディや SF がやたら推薦される

この鑑賞履歴と推薦結果が噛み合わない結果は、このデータの中では女性に多く現れていました。

このシステム自体はジェンダーだけでなく、特定の世代にバイアスが発生しやすいといったことも発見可能です。

事例④ 空調の温冷感の男女差の可視化

エアコンのある場所で「今、暑いと感じるか寒いと感じるか」を多数の人にインタビューしたオープンデータを使い、男女差が生じる要因を探りました。

データには環境の属性（季節、建物種別、空調設定）と回答者の属性（性別、年齢、服装、代謝量、温冷感の回答）が含まれています。

この男女差の可視化のために専用の表現を開発しました。2列の帯グラフを入れ子状に表現するもので、左が男性・右が女性。水色が「暑い」と感じる男性、紺色が「寒い」と感じる男性、オレンジが「暑い」と感じる女性、ワインレッドが「寒い」と感じる女性。帯の幅はそれぞれの人数に比例します。

分かったこと①：オフィスの夏

建物種別・季節・服装の厚さで分類すると——オフィスの夏では、薄着の人は女性が多く、厚着の人は男性が多い（クールビズと言われてもスーツを着ている男性、を連想していただければ）。

男性：薄着の人は「寒い」が多く、厚着の人は「暑い」が多い。「もう少し服装を調節しろよ」と言いたくなる結果
女性：まったく逆。薄着でも「暑い」が多く、厚着でも「寒い」が多い。つまり服装で制御しきれていない

これは、男性よりも女性の方が暑がり・寒がりという体質の個人差が大きい可能性を示唆します。

一方、クラスルーム（中高生が多い）では男女差が現れません。温冷感の体質は成人になってからの方が男女差が大きいのではないかと示唆されます。

分かったこと②：基礎代謝との相関

代謝・季節・建物種別で分類すると、代謝が大きい人はオレンジが大きく（女性が暑がり）、代謝が小さい人はワインレッドが大きい（女性が寒がり）。つまり基礎代謝量と暑がり・寒がりの相関は女性の方が高いことが示唆されます。

空調を細かく調節できるオフィスでは、男性より女性を優先的に考慮した方がいいのではないか、という結果です。

これはあくまでオープンデータの結果なので、これだけで断定はできません。医学的な根拠と照らし合わせる必要がありますが、その材料を与える可視化結果にはなっているのではないかと考えます。

事例⑤ 絵画の歴史的進化の可視化

画家のスタイルの進化を可視化します。中世のルネサンスから20〜21世紀の現代絵画まで、画家のスタイルがどう継承されたかをネットワークで表現する。ここでは色彩スタイルを例にします。

推測モデル自体は共同研究先の九州大学の先生によるもので、まるで生物が進化するように画家が進化する過程を解明します。「この画家がこの画家に影響を与えた」という有向ネットワークを構築し、可視化することで作風の継承を捉えます。

紫が1500年以前の最も古い画家、ピンクが1951年以降の最も新しい画家です。

多数の画家とスタイルが共通する画家：ゴーギャンの周りには、その色合いを受け継いだ多くの画家の塊があります。ピカソ、そこから継承したヴラマンク、モネ、スーラといった画家それぞれに塊があります。モネの絵画と、その画風に影響を受けたと推測される絵画を見ると、確かに淡い色彩を多用した画家がクラスターの中に現れています。

時代を超えてスタイルが共通する画家：ノードが時代で色分けされているので、大きく色が異なるノード同士がつながっているものを探せばいい。エル・グレコ（1600年代）が1900年代の画家とつながっている——これは絵画の世界では有名な話で、エル・グレコの画風は20世紀の表現主義に通じるものがあると知られています。ゴヤも、100年以上の時を超えて1800年代後半の絵画と色彩感が共通しています。

事例⑥ 日本のポップス曲の進化の可視化

コード進行から見るミュージシャンの進化

コード進行（和音の流れ）はポップス曲の作風に大きな影響を持ち、音楽ジャンル・時代・ミュージシャンごとに特徴があります。

カノン進行：パッヘルベルのカノンに似た進行。1990年代に多用されました
小室進行：小室哲哉さんが多用した進行。ある楽曲で有名になり、その後たくさん使われました
丸サ進行：椎名林檎さんの「丸ノ内サディスティック」と同じ進行が、最近になってここ数年のミュージシャンに現れるようになりました

これを画家のネットワークと同じ方法で解析すると——

1960年代のグループサウンズと1990年代のビジュアル系ロックが意外と近い位置にいる
70年代のニューミュージックと80年代のシティポップが塊になっている
2000年代のロック/R&B、そして坂道系・EXILE系・ジャニーズ系がまとまっている

ここから類推されること（あくまで私の邪推ですが）——グループサウンズとビジュアル系ロックはどちらも作曲者がギタリストであることが多い。ギターで弾きやすいコードがあるので、ロック寄りの音楽のコード進行の流れが継承されているのではないか。

逆にニューミュージックやシティポップはアレンジャーがピアニストである場合が多い。だからこういう塊になっている。

坂道系・EXILE系・ジャニーズ系が同じところに固まっているのは、大人数のアイドルグループやダンスグループは、大人数であるというだけの理由であまり難しい音楽進行を使えないからではないかと思います（90年代のある人気グループの曲はかなり凝ったものが多かったのですが）。

音響特徴から見るサウンドの変化

今度は録音されたサウンドから音響特徴量を計算し、次元削減して散布図にします。1986年から2018年までのトップ100から合計1315曲の J-POP を使いました。

青が1986年、赤が2018年で、非常になだらかなグラデーションを構成しています。1980年代から2010年代にかけてサウンドがなだらかに変化しているということです。理由は3つ——

音源の変化：生演奏から電子演奏へ。最近の J-POP はドラムを人が叩いているのは30%しかなく、70%はコンピューターだと言われています
レコーディング環境の変化：アナログからデジタルへ
鑑賞環境への適応：1980年代は自宅でスピーカーで聴く人が多かったが、2010年代は外でモバイル機器で聴く人が多くなった

ちなみに、古めのサウンドの領域に赤が混じっているのを発見しました。これは演歌です。

プロデューサーが同じだと音は変わらない

年代以外で色をつけると面白いことが分かります。曲数の多いミュージシャンだけを色分けすると、長年にわたって音響特徴が変化しないミュージシャンがいる。

黄緑がミスターチルドレン、オレンジが EXILE、青が AKB48。この3組はまったく違う音楽ジャンルに見えますが、大きな共通点があります。プロデューサーが長年同じ人だということです。ミスターチルドレンは20年ほど同じ方がプロデュースし、EXILE も初代リーダーが長年、AKB も同じ方が長年プロデュースしています。

プロデューサーが同じ人だと音は変わらない——今のところ3組しか見つけていませんが、そういう傾向が分かります。ミスターチルドレンに至っては20年ほど音響があまり変わっていない。私と同世代で青春のミュージシャンの1つでしたが、私からすれば「中高年の味方」みたいなミュージシャンだなということが分かります。

（※質問への回答：この散布図の縦軸と横軸は次元削減しているので、簡単には説明できません。似ている曲が近くに配置されるよう元の特徴量空間を歪めて2次元に配置しているので、数学的には意味のある2軸ですが、言葉ではうまく説明できない状態です。）

おわりに

可視化のことでしたら、拙著『意思決定を助ける情報可視化技術』をご覧ください。データ可視化の現場に近い話というよりは、アカデミックな意味で可視化がどういう歴史的経緯で発展してきたか、将来どう発展していくかといったことを、違う切り口から記述した書籍です。

大変な早口になってしまったので聞き取りにくかった点もあるかもしれませんが、お楽しみいただけたとしたら幸いです。どうもありがとうございました。

文化 on Data Visualization Japan

伊藤 貴之／大学の卒業研究としてのデータ可視化