Data Visualization Japan Meetup 2022（2022年12月27・28日開催）における、林 尚芳さん（株式会社VALUENEX）のLTです。前年の講演で紹介した「俯瞰図」について、そのアルゴリズムと背景思想を掘り下げます。
「俯瞰可視化が情報探索・分析を変える」というタイトルでお話しさせていただきます。
自己紹介
VALUENEX という会社に所属し、研究開発推進のための調査・データ分析をやっています。クライアント企業の研究本部の方が多く、研究戦略を考える上で必要な特許・論文・スタートアップといった情報を分析して知見をお渡しするということを普段やっています。
プライベートでは、これまで東京に住んでいたのですが今年関西に移住しました。**会社は東京にあるのですがフルリモートで働いています。**関西移住に興味があるという方もぜひお声がけください。
前回の振り返り
実は昨年もお話しさせていただきました。テーマは「科学技術情報分析の面白さ」です。
特許や論文といった科学技術情報は人類の叡智が蓄積された情報源であり、データ分析や可視化によって面白い情報を抽出できるので、ぜひ皆さんもやってみてくださいという啓蒙活動でした。
その事例の一つとして紹介したのが「俯瞰可視化」です。
データ可視化に関する研究論文を約3万件集めて可視化したもの——「データ可視化の可視化」 と呼んでいました。
一つ一つのプロットが論文で、アブストラクトが似ているものを近くに、似ていないものを遠くに配置しています。点が密集しているところは一定の技術領域になっていて、大きくまとめると——データマイニング、テキストマイニング、動きの分析、バイオ・医療、シミュレーション、レンダリング、インタラクション、モバイル・IoT——基礎技術から応用まで幅広く見える。
3万件を読まなくても、まず全体像を見て、その上で時系列推移やプレイヤー別に見ることで技術動向を把握できる。
今回は、この俯瞰可視化というアプローチそのものについて——アルゴリズム、背景思想と情報探索・分析を変える可能性、そして関連プレイヤーの3つをご紹介します。
① アルゴリズム
距離を求めてプロットするには、文章をある程度数値化しなければなりません。数値化さえできれば距離計算ができます。
文章の場合は単語でやります。単語と文書のマトリックスを作り、「単語1は文書1に対して0.4くらいの重要性がある、単語2は全くない、単語3は0.2くらい」というスコアを計算する。
このスコアを一つのベクトルとみなすと、「文書1と文書2のベクトルは結構似ている」「文書3はちょっと違う」といった計算ができるようになります。
重要性スコア ― TF-IDF
有名なところでは TF-IDF があります。
- 単語1が文書1にたくさん出てきたら重要（出現頻度に基づいて高くなる）
- ただし、文書1にも2にも3にもその単語がたくさん出てくるなら、文書1の特徴語とはみなせない（偏在度で減る）
つまり**「その文書でよく出てきて、かつその文書にしか出てこない単語」が高くなる**スコアリングです。
次元圧縮
ベクトル化すると、似ているものが近くに配置されます。
図では3次元で表していますが、実際の単語数は数千・数万あるので、本当は数万次元。人間が理解できない次元数になってしまいます。
そこで関係性をなるべく保ったまま2次元に圧縮します。方法はいくつかあり——多次元尺度構成法（MDS）、主成分分析、t-SNE、UMAPなど。ここも日々新しいものが提案されています。
ベクトル化手法も TF-IDF は一つの方法で、他にトピックモデルや Doc2Vec などがあり、こちらも日々進化しています。データ分析者はベクトル化手法と圧縮手法を組み合わせて俯瞰可視化を作るわけです。
② なぜ俯瞰可視化が必要なのか
私たちが情報探索をするとき見慣れているのは、検索してリスト表示するというやり方です。
lens.org で「データビジュアライゼーション」と検索すると3万件ヒットします。ページ送りもできますが——果たしてこの3万件を全部読みますか。
Google や Yahoo! で検索した時も、結局は上の方しか見ないのではないでしょうか。
そしてリスト表示では、隣り合ったものが似ているのかも分かりません。「これはネットワークやサービスマネジメントのデータビジュアライゼーション、これは図書館に関するデータビジュアライゼーション」——隣り合っているけれど、似ているのかどうか分からない。おそらく似ていない。
つまり——
- 全部見られず、上位のものに目が行きがち
- 隣り合った検索結果間の関係性が見えない
このままだと、全体像が分からないまま一部の情報だけを見てしまう。それが視点の漏れや知識発見の機会損失につながるのではないか。
Overview first, zoom and filter, details-on-demand
そこで全ての情報を使って俯瞰可視化をしてしまい、その上で情報探索・分析を行う。
やり方として有名なのが、シュナイダーマンが提案した情報可視化の設計指針です。
まず全体像を見て、重要な局所に注目し、不要な局所は割愛して、必要に応じて詳細情報を探索する。
これがまさしくできるのではないかと思っています。
【Overview first】 全体像を見たとき、自分が思っていなかった・知らなかった領域があれば、その時点で視点の漏れや知識の漏れに気づける。
【Zoom and filter】 興味のある分野があればそこに絞り込む。たとえば図書館に興味があるなら「library」を含む論文だけを可視化して表示する。
すると——まず図書館情報の領域に集中しているのでそこを重点的に見る。一方でその周辺には、論文分析・文書分析・知識発見・検索エンジン・ビッグデータが取り巻いている。
図書なので文章系のテキストマイニングや検索エンジンが近い。近いものが近くに存在しているわけです。**そこだけを見るのではなく、テキストマイニングの領域も見て「図書館に活用できないか」と考えることもできる。**興味ある部分＋その周辺も探索しやすい。
【Details on demand】 図書館情報の中を見ると、よく使われている特徴語、研究者一覧、論文リストが見られて理解が深まる。
その上で次にどういう探索をしようかを考える——「library」だけでなく「digital collection」や「knowledge management」という文脈で次は検索してみよう、とか。「この領域でトップの研究者はブラッド・エデンさんだから、彼の研究を中心に見てみよう」 とか。
自分の興味の範囲を少しずつ拡張して、次の探索の起点を見つけ出せる。
デモ
実際に「library」がタイトルと要約に入っているものだけを表示すると、図書館情報のところに集中して出てきます。クリックすると特徴語リストが出てきて、どんな言葉がよく使われているか、どんな研究者がいるか、時系列で最近伸びているのか減っているのか、実際にどんな論文があるのか——それを把握して次の探索につなげていく。
検索してリストで見て中身を見ていくというやり方もいいのですが、それでは漏れてしまう視点や知識発見の機会損失を、このようなやり方で補填できるのではないかと考えています。
③ 関連プレイヤー
VALUENEX
手前味噌で申し訳ないのですが、弊社です。創業者の中村がシンクタンク時代に感じていた情報探索・分析の課題をもとに、この俯瞰解析というアプローチを考案して起業しました。
ミッションは「世界に氾濫する情報から知を創造する」。まさしくこのやり方でお客様に知を提供しています。量子コンピュータの分析例など、いろんな事例を Twitter でも発信しています。
東京大学「俯瞰経営学講座」
企業だけでなく、東大でも「俯瞰経営学講座」 が行われていました。現在は一般社団法人 俯瞰工学研究所になっているそうです。論文の俯瞰マップや、講座の内容が本にまとまっているので、興味のある方はぜひ。
Nomic ― 世界初の「情報地図制作会社」
私が今一番興味がある会社です。2022年に創業されたアメリカのスタートアップで、自分たちのことを——
the world’s first information cartography company（世界初の情報地図制作会社）
と言っています。
彼らが作ったマップの一つがウクライナ侵攻のニュースをマッピングした図です。カーソルを合わせるとサマリーが出て、検索やフィルタリングもできるツールを提供しています。
他にも制作物を発表していて——Stable Diffusion などの AI による画像生成で、世の中にどんな画像が生成されているのかをマッピングしたものもあります。マウスオーバーすると生成画像が見えて、このあたりが動物、このあたりが街の風景、と分かる。「japan」で検索すると、日本の都市らしい画像が集まって見える。
そしてもう一つ面白いのが、最近ベン・シュミットさんがこの会社の Information Design の責任者に就任されたこと。彼はもともとニューヨーク大学のデジタルヒューマニティーズが専門の教授でした。
そういう方が俯瞰可視化に注目して、情報探索・情報分析を変えようとされているのが非常に面白いし、共感するなと思っています。Twitter で制作物をどんどん発表している会社なので、フォローしておくと面白いのではないでしょうか。
以上、俯瞰可視化についてご紹介させていただきました。ご清聴ありがとうございます。