Data Visualization Japan Meetup 2020（2020年12月28・29日開催）における、山辺 真幸さん（慶應義塾大学）の講演です。NHKと制作した4K/8K放送向けの新型コロナ可視化について、その狙いと制作プロセスを共有します。
慶應大学の山辺と申します。「新型コロナの最前線研究を伝える可視化と、テレビ番組のデータジャーナリズム」という少し長めのタイトルですが、発表させていただきます。
先ほどの大野さんの発表がかなりゲノムの話だったので、その後でまたゲノムの話を私がするのですが、特にゲノムに精通しているわけではないので、間違いがあればどんどん突っ込んでいただければと思います。
自己紹介
工学部を卒業して、最終的には半導体および物理あたりの論文を書いて卒業しました。その後 IAMAS（情報科学芸術大学院大学／当時はまだ大学院大学になっていなかったのでアカデミーと言っていました）を出て、デザイナーとして勤務し、10年ちょっとで独立して制作・デザインをしておりました。
その間、かなり長い間、主に美術系の大学で非常勤をさせていただき、プログラミングやメディア、データビジュアライズの作り方を教えてきました。少し前は多摩美術大学の情報デザイン学科で指導していたりもしました。
2014年から今の慶應大学の方で、社会人博士という形で、働きながら情報可視化の研究をしています。
研究室のテーマ ― Nature Interpretation
脇田玲先生の研究室におります。主要なテーマが「Nature Interpretation」——世界を解釈するためのコーディング、そして目の前にありながら知覚することができない自然界の情報を可視化・物質化する、そういう新しいメディアを作っていこう、というものです。
脇田先生は今 SFC の学部長になられていて、完全にアーティストとして活動されていることもあるので、研究室自体もアート寄りのプロジェクトをする人が増えています。私は完全にアートの方には行かず、可視化というデザインの範囲の中でできる可能性を探求しています。
最近自分では「可視化のクオリア」と呼んでいるのですが——現実はめちゃくちゃ複雑で、ビッグデータ時代になるとその複雑さをかなりカバーできるような多様で複雑なデータがますます増えていく。そういうものを分かりやすく切り取るのではなく、複雑なものを複雑なままに、感性的に伝えるための可視化のデザインはあり得るだろうか、という研究をしています。
今回お話しする NHK のプロジェクトは共同研究ではないのですが、普段やっている研究の内容をプラクティカルに実践している形——平たく言うと受託で作っている形になります。
研究室の過去の可視化プロジェクト
- ダイキンさんとの「空気の可視化」 ——エアコンが排出している気流・温度・湿度・匂いといった密度の変化をリアルタイムに可視化する野心的なプロジェクト。アート的に表現してそこに没入していく。空調は単なるものではなく、住環境をいかに人間の感覚的に心地よい状態に保つかを体感する作品
- 日本科学未来館のコンテンツ ——JAMSTEC、ライゾマティクス・リサーチと共同で制作。地球シミュレータが計算した全地球面の高解像度海流データを使い、日本近海から世界の海域まで、海流の動きを美しく見せる
プロジェクトの狙い
4K放送・8K放送が始まっている状況の中で、この高解像度でコロナ禍をどう映し出していくかというのが趣旨のプロジェクトです。
2つ作っておりまして、「ゲノムの3次元系統樹」と「感染リスクの時空間3Dマップ」です。
なぜこのプロジェクトが立ち上がったか
新型コロナに関するビッグデータ——膨大な量のデータを高精細に可視化して、「どうぞ見てください」ではなく、専門家と一緒にそれを読み解こう、というのが狙いです。
**コロナに関しては、確定的に分かっていることの方が少ない。**専門家もまだまだ仮説を立て、どんどん変わっていく状況を読み取り、そこから新たな仮説を作っていくような段階です。そういう最新の研究をされている方がいろいろなジャンルにいらっしゃるので、その研究から出てきているデータを高精細に可視化していこうと。最先端の研究と、我々普通の視聴者との距離をいかに縮められるかという狙いがあります。
もう一つは技術的な話で、8K放送をどうしていくべきかという NHK さん内部の課題です。8K の受像機が家庭にあるわけでもない中で、風光明媚な映像やお相撲、過去の名作のリマスターといったコンテンツが多い。その中で「データを見る」という番組は新しいんじゃないか、と。感染爆発の実像を描いて、新たな気づきやインパクトをダイレクトに届けたいという思いもありました。
※ 私は NHK の中の人ではないので、この辺りは NHK さんの資料から私が読み解いた部分でもあり、正確なメッセージとは若干異なるかもしれません。
放送実績
- 9月26日 4K放送
- 10月 8K放送
- 12月頭 NHK サイエンススタジアム（8Kディスプレイを持ち込んでの展示）
- 12月13日 NHKスペシャル「新型コロナ 第3波」（生放送）
制作環境 ― NMAPS と Processing
NHK では NMAPS（高度情報利用報道システム） というシステムがすでに運用されていて、取材や番組制作におけるデータ分析・可視化に使われています。カチッとしたシステムというより、日々アップデートして改良を重ねている状況です。
ここで CG のカメラワーク、4K/8K のレンダリング、番組の収録自体を行うことが可能になっています。
私が担当したのは、NMAPS 上で再現する 3D モデルや可視化のアルゴリズム——つまりデータから視覚要素への変換というビジュアルデザインの部分です。
この部分は主に Processing で開発しています。
Processing で開発したアプリをアップデートしながら、プロデューサー、取材担当者、研究者、エンジニアに一斉に配信して見ていただき、そこから上がってくる議論をまた開発にフィードバックさせながら最終形を作っていく、というアプローチを取りました。
先ほどの大野さんの話とは対極にあるような話ですが、可視化ライブラリはほとんど使用せず、ほぼスクラッチで開発しています。
① ゲノムの3次元系統樹
時間が手前から奥に進行していき、その時間軸上を地図がスライドしていく形になっています。手前から1本の線がたくさん分岐していく——これが系統樹です。
系統樹はどう作られるか
COVID-19 の RNA は約3万塩基が連なって遺伝情報が書かれています。これが増殖するときにコピーミス＝変異が発生します。増殖のたびに確率的にコピーミスが起こるので、ウイルスの変異の共通部分を見ていくことで系統が分析できるという仕組みです。
**四角い点一つ一つが変異を表しています。**それがどこで発生して、どういう形で分岐してきたのかが見られるようになっています。
データの出どころ
GISAID ——医療機関や研究機関で感染者から採取された遺伝子をゲノム分析し、新しいものであれば変異株として登録されていく国際的な取り組みです。もともとは COVID-19 のために作られたのではなく、季節性インフルエンザなどウイルス全般の情報を扱う取り組みだったそうですが、今はコロナウイルスの収集で中心的な役割を果たしています。
そしてゲノムデータの可視化や分析リソースを提供しているオープンソースプロジェクトとして Nextstrain があります。
Nextstrain の2次元の樹形図はオンラインで誰でも見られます。色分けはアジアやヨーロッパといったリージョンで分けられているのですが、これだと素人目にはどこで発生したのかが直感的に分かりにくい。
そこで3次元化して、位置情報を使いながら時間を変化させることで、ウイルスの時間的な拡散と空間的な広がりを同時に見るという表現を作ることができました。
日本に入ってきたものだけをフィルタする、中国はどうだったのか、アメリカ・イギリス・ドイツはどうか——国ごとに経路を見ることもできます。
色の違い ― D614G
もともとの武漢株ではなく変異した欧州株が出てきたことが報道でも取り上げられました。この D614G という広まった遺伝子を持つものを青、もともとのものを赤で視覚化しています。
D614G の変異は、スパイク——コロナウイルスの突起で、人間の細胞に引っかかる構造を持つ部分——が変化したことで感染性が強まったという報告が出ています。D614G に注目して着色することで、いかに感染力が強まったのかを視覚化できるのではないかと考えました。
放送されたものでは——2019年12月24日に中国のところに赤い点が出て、そこから出発して中国国内で広がりつつ、最初の D614G が発生。それがすぐヨーロッパに拡散してドイツ、イタリアで確認されたものがヨーロッパに拡大。その後アメリカ大陸に渡り、そこから全世界へ。
**日本にも最初は武漢株が入ってきていたのが欧州株に切り替わり、それ以降、武漢株はほとんど見られなくなった。**ある意味、淘汰というか進化をしながらコロナウイルスが広まっているということを、放送を通じてお伝えしました。
横から見ると、政策の影響が見える
真横から見てみると、見えてくることがあります。
左が古い時間、右に向かって新しくなっているのですが、広がり方が人の行動とリンクしているところがある。各国で行動の制限がかかると、それより右の時間では縦に走る線が少なくなり、横に走る線が増える。しかも同じエリアの中でしか束が広がらなくなることが視覚的に分かる。
つまり各国の政策がウイルスの広がり方に影響したことが分かるわけです。色をつけてみるとなおさらよく分かって、入国制限・移動制限をした後は、同じ色の束の中でしかあまり広がっていない。
課題
- **正確に「そこで起きた」とプロットできない。**位置情報はリージョン、国、県といったレベルで持っていますが、詳細なロケーションは欠損が多い
- そもそも変異がどこで起こったかは特定できず、採取された位置から推定している
- **検査数によって報告数に差が出る。**変異を示す四角い点が少ないところは変異が少ないように見えるが、検査数が多ければ多いほどたくさん採取されるので、見た目と現実がリンクしていない面がある
② 感染リスクの時空間3Dマップ
青・黄・赤という3つの空間が入れ子になっているのが分かるかと思います。これは時空間カーネル密度推定による可視化で、東北大学の中谷先生のご研究をもとにしています。
JX通信社と東北大学の共同研究として「新型コロナ 実効感染リスクマップ」がアプリや Web で公開されていますが、基本的には同じものを使っています。
どういうことかというと——**JX通信社から取得した感染の発生地点情報をマップし、高さ方向に時間を取る。**地表に近いところが2月で、一番高いところが8月。
こうして空間的にプロットしていくと、発生したポイントが時間的にも空間的にも近い＝連続して発生しているところがリスクが高いとみなせる。その密度分布を出し、リスクが同じ等値面を可視化すると、こういう形が出てくる——というのが中谷先生のご研究の成果です。
「雲」に見立てる
**NHK のプロジェクトでは、時間を上下反対にしています。**上の方が古い時間、下の方が新しい時間です。
なぜひっくり返したかというと、これを「雲」に見立てるためです。下からどんどんせり上がってくると、雲がせり上がってくるような感じになる。そうすると上の方が過去だね、ということでこうした表現になっています。
見ていただくと分かる通り、**第1波と言われる3月にかなりリスクが高まり、6月ごろ——緊急事態宣言も解除され感染が下火になったところ——ではこのエリアがほぼ見えなくなる。**そして9月に入って第2波、現在第3波ということで、ここは完全に連続してしまっていることが分かります。
リスクの色分けは——
- 青：4km四方で4日に1件以上
- 黄：毎日1件以上
- 赤：毎日5件以上
CT スキャンのように切って俯瞰する
各期間で切って俯瞰したものがこちらです。
**第1波の頃は本当に東京の都心部だけに集中して高リスクのエリアがあった。しかし現在の第3波は、中心が高いというより、各地に黄色い部分が飛び火している。**中心だけが非常に高いのではなく、各地に危険なエリアがあることが視覚的によく分かります。
人の流動と重ねる
さらに、国立情報学研究所の水野先生のご研究で、NTTドコモのデータから人がよく流動している地域を可視化すると——東京23区の東側、埼玉の東側、千葉の北西部、そして横浜・横須賀あたりが非常に人の流動が多く、この外にはあまり出入りがなく、この中でぐるぐる回っている。
これも Processing で実装したのですが、先ほどの図と重ねてみると、エリア内を人が動いていることで、主要駅や繁華街のあるところでリスクが高まっていることが分かりました。
全国の主要都市——東京、名古屋、関西、北九州、東北、北海道——で計算してみると、**どの都市にも赤いエリア＝感染の核となる部分が存在している。**真横から見ると、第1波と第2波の間はどの地域もほぼ落ち着いていたことが分かります。
専門家と一緒に読み解く
東海大学の中川先生、そして中谷先生と水野先生に実際に8Kをご覧いただきながら、「ここがこうですよ」と解説していただきました。
**特に中谷先生と水野先生には同じ場所に来ていただいて、お二方それぞれの研究を合わせた。**そうすると、人の動きと、第3波が地域に拡散しているという違いがよく分かった。
違うジャンルの研究をされている方同士を、8Kの上で視覚化して合わせる——ここが今回得られた大きな成果かなと思っております。
12月5・6日には展示も行いました。子供向けのイベントでもあるので、丁寧に設計し、解説員が説明をしながらテレビ放送と同じ内容をお伝えする形になりました。
制作の舞台裏
時系列で言うと、7月初旬に企画会議。そして10月の8K放送までは、7月の段階でほぼ決まっていた。なので9月には収録しなければならない——実質7月・8月のほぼ2ヶ月で仕上げる必要がありました。経験上かなりの短納期で、最初は懸念がありました。
8K のポテンシャルを引き出せる研究がどこにあるかは NHK さんが事前に広く取材されていて、いろいろなデータが候補に上がっていました。その中で、8K は細部と全体が両方一度に見えるという特性があるので、それが貢献するテーマということで先ほどの2つが選ばれました。
初期・中期・最終の3段階
【初期】探索的な可視化
専門家と取材陣の間で「どういうストーリーが伝えられそうか」を検討する段階。科学的にある程度の正しさがあるものでないと当然扱えないので、そのストーリーがどこにあるかを検証したりディスカッションしたりするサポートとしての可視化を行いました。企画書やコンテ作りにも、アプリのスクリーンショットを活用していただきました。
【中期】分かりやすさと厳密さの両立
いろんな機能をまずつけて、触っていく中でどこが面白いかを見極めた上で、では何を残して何を捨てるのか、というアプローチです。最終的に何を残すかは、収録にかなり近づいた段階で確定しました。
【最終】エンジニアとの連携
NMAPS を担当するエンジニアに再現用のデータを渡すためのフォーマット、そして放送の数日前に最新データへ更新することもあり得るということで、パイプラインをどうしておけばいいかの連携を図りました。
スケッチから最終形へ
これが最初のスケッチです。3次元で系統樹を見せようと言ったとき、なんとなく直感で「できるだろう」と思ったんです。こんな絵を描いたのですが、当然この絵では伝わらなくて、いろいろ可視化を進めていくうちに「これは面白いかも」と思っていただけた様子でした。
初期の可視化はいわゆる「ヘアボール」の状態で、何も見えない。そこから時間のグリッドを足したり、エッジの描き方を変えたり、いろいろトライしました。地図の重ね方も、完全に透過させて並べるのがいいのかどうか、と。
エッジをどう繋ぐかは非常に難しく、かなり知恵を絞ったところです。最終的に、感染の位置情報・繋がり・時間を変えずにエッジを束ねる方法が見つかったので、それを実装しました。左が束ねる前、右が束ねた後。かなり美しく、分かりやすくなったかなということで、こちらが採用されました。
もう一つの3次元可視化は、ArcGIS Pro を使って JX のデータを3次元に計算しています。中谷先生が ArcGIS 用のツールボックスを配布されているので、これを使って計算しました。
計算した上で「関西と関東で時間的にどう違ったのか」「第1波と第2波はどうだったのか」を取材チームに共有してきました。最終的に各都市のものを Processing 上で統合し、そこに感染の公表地点も3次元的にプロットして検証しています。
水野先生のご研究も、市区町村をグルーピングしたデータを CSV でいただき、Processing で GeoJSON からカラーリングしたシェイプに変換して合成する流れでやりました。
台本にもスクリーンショットを使って番組の流れを検討していただく、という使い方をしていただきました。
振り返り ― Ben Fry のモデル通りだった
矢崎さんの発表にもありました、Processing 開発者 Ben Fry のデータビジュアライズのプロセス——データの収集から最後の Refine / Interact まで、**一方向に進むのではなく、常に前の段階に戻ってやっていく必要がある。**そのループを繰り返すことで質が高まっていく。
まさにこのモデルの通りの進め方だったなと思いました。
これらの段階は、コンピュータサイエンスやフィルタリング・マイニングのところでどうしても先生方の力を借りるので、非常にいろいろな方が関わってくる。そういう中で一つ一つバラバラのツールでやっていると時間も食うし、特に手戻りが発生するとかなりストレスになる。
タイトなスケジュールの中、日々変わるデータがあるところを一つのプラットフォームで回していくことで、かなりスピーディーにできたのかなと思っております。
それから最後に、放送素材としてのクオリティアップをどうしてもかけなければいけない。ここはやはり Processing の強いところかなと思いました。「ちょっとここの色味が」「もう少し透明度があった方が」といった要望に、他のツールだとなかなか難しいところをかなりタイムリーに対応できたかなと思います。
評価
日本科学未来館で展示した際にアンケートを取らせていただきました。ゲノムと3Dマップの両方について「分かりやすいか」「美しいか」「興味が湧いたか」などを聞いたところ——
- 分かりやすい、興味が湧いたが高い
- ゲノムの方は「美しい」という声がかなり多かった
- 「知らなかったことが分かった」も高い数値
ただ**展示形式が口頭説明中心だったので「説明員がうまかったんじゃないの」という可能性も否定できない。**そこで「どこが印象に残っていますか」と聞いたところ、可視化のところが高かったという結果が得られております。
内部的な評価としては、担当いただいたプロデューサーの方によると——**最初「系統樹を3次元化する」と言ったときは現場もあまりピンと来ていなかったけれど、一緒に可視化を進めていく中で非常に可能性があると気づいていけた。**結果として4K/8Kでやる予定だったものが、局内での評価も良く、NHKスペシャルや展示の話につながっていったということで、制作チームの中でも評価が良かったかなと思っております。
まとめ
1月にまたアップデートしたバージョンを放送で使う予定です（番組名はまだ公表できません）。
最終的なまとめとしては——
- 専門家に読み解いてもらったものを、いかに普通の視聴者に届けるか、そして高画質なものを鮮度よく届けるか
- Processing を使ったことで、Ben Fry のモデルを援用したプロセスをほぼその通りに構築できた
- 結果としてこれまでにない可視化を、かつ報道で利用できた
- アンケートの結果から、オーディエンスの関心と理解を引き出すことができたと考えています
非常に駆け足になりましたが、これで私の発表を終わらせていただきます。どうもありがとうございました。