LT：藤井政登／LLMに学習指導要領をファインチューニングしてみた

Fri, 29 Dec 2023 00:00:00 +0000

Data Visualization Japan Meetup 2023（2023年12月29・30日開催）における、藤井政登さんのLTです。大学院生として取り組んでいる、LLM へのドメイン知識の追加学習について、研究途中の報告をします。

藤井です。62歳で、今は大学院の M2 です。今日は院生としての立場で、自分の研究について話をさせていただこうと思います。

大規模言語モデル（LLM）が出てきて、これをファインチューニングしてドメイン知識を勉強させようと。私の年だと84歳にシンギュラリティが来る予定だったので、その前に人工知能を扱えるということで、もう毎日これで遊んでいるという状態になっています。

LLM はすでに強力なグラフィックツール

今の LLM は、すでに強力なグラフィックツールです。

プロンプトで「日本の GDP を中国と比較するグラフを書いて」と書くと、ChatGPT-4 が勝手にグラフを書いてくれます。CSV ファイルをパッと渡して「グラフ化して」と言えばグラフ化してくれる。しかも賢くて、箱ひげ図に適したデータについてはちゃんと箱ひげ図を使って書いてくれるんですね。本当に賢いんです。

ただ、ここまではできるわけですが、皆さんもお気づきのように、あるドメイン知識をきちんと加えて LLM に追加学習ができるのか。それによってデータを解析する能力を持たせられるのか——これが問題になってきます。

何を学習させるか ― 学習指導要領のコード

そこで、大規模言語モデルがあまり知らなさそうなことを探してみました。

すると3年前に、文科省が学習指導要領のすべてに対してコードを振っていることが見つかりました。このコードを追加学習させればいいのではないか、と。

実際、OpenAI のドキュメントを読むと、学習者の属性を与えるとそれに合わせて「こういうところを学習すればいいよ」という学習の問題や解説を出してくれる。そこに学習指導要領の ID コードを付け加えられればいいのではないか——これが今の私の研究です。

LLM の3回の学習

LLM は3回学習しています。

① 事前学習（Pre-training）：ChatGPT や Google の Gemini 以外にも、Meta 社の Llama、Alpaca、Falcon など、いろいろなエンジンが実際に提供されています。そのほとんどは商用目的は禁止ですが、学術目的に限定すれば自由に使っていいという形で公開されています。

② ファインチューニング：ドメイン知識を4000行ほど入れるとそこそこ賢くなる、という論文があります。こうしてあるドメインのデータについて追加学習ができると言われています。OpenAI の API は今年8月、GPT-3.5 Turbo のバージョンからこの機能をリリースしました。値段は結構高いですが、API を叩くことで学習させることが可能です。

③ RLHF（人間のフィードバックによる強化学習）：言ってはいけないことを言わせないために、強化学習で学習させるものです。

事前学習はほぼ不可能

このうち事前学習はほぼ不可能です。

東大の松尾研で聞いた話ですが、ChatGPT-4 は1億3000万冊の本ほどの情報量を学習している。その学習にかかる時間は、NVIDIA A100 ボード（1枚400万円ほど）を 2万5000機使って100日間計算させるとこの事前学習済みエンジンができる、という規模です。

日本の国会図書館の蔵書が4700万冊、A100 ボードが1枚125万円……という規模感なので、事前学習は基本的にできません。だからファインチューニングが主な追加学習のやり方になります。

何が学習されているかを確認する

では、追加学習する土台にどんなデータが入っているのか。

OpenAI は ChatGPT-4 にどんなデータを学習させているかを公開していません。これでは大学院で論文を書くために使えない。そこで探したところ、Meta 社の Llama / Llama 2 は学習データを公開してくれています。

Common Crawl のデータ（圧倒的に多い）
GitHub、Wikipedia
書籍の情報、論文の情報
技術系の FAQ や機械の使い方など

Llama の C4（en バージョン）は 2.3TB ほどありますが、ダウンロードして中身を調査したところ、文科省の学習指導要領コードは入っていないことが分かりました。それを確認した上で、Llama 2 の 7B モデルを使って学習させています。

（なお、ニューヨーク・タイムズやオープンアクセスでない論文など、著作権上問題のあるものはデータに入っていません。）

エンジンとモデルの探し方

今、公開されているエンジンはたくさんあります。いろいろ探せば、皆さんも自分の目的にぴったりのエンジンを見つけられるのではないかと思います。

エンジンを探すときは Hugging Face Hub です。GitLab のようなもので、AI 関係のモデル、データセット、コードがすべてここに集約されています。まずは Hugging Face でいろいろ探してみるのがいいと思います。

私もここからコードやモデルを落としてきて、Google Colaboratory 上で計算してファインチューニングを行う、ということをこの3か月ずっとやっていました。

具体的なやり方は東大松尾研の教材で

詳しいやり方はここではとても説明できませんが、東大の松尾研で今年（8月後半から9月いっぱい）LLM のサマーセミナーがありました。私もこの授業を受けたのですが、ちょうど2日前にそのスライドが公開されました。5日目のスライドでファインチューニングのやり方が公開されていますので、普段 Jupyter Notebook をお使いの方ならこれを読めばファインチューニングできると思います。

一点、メモリがかなり必要です。Google Colab でやっていると結構メモリ不足で落ちます。データを16ビットから4ビットへ量子化してメモリ使用量を減らすといった工夫が必要になってきます。

結果 ― ほぼうまくいっていません

そうして実際にやったのですが、ほぼうまくいっていません。

本当にいろいろな人が今やっているのですが、「ファインチューニングがやはりうまくいかないのではないか」「コールセンターのデータを入れても全然ダメだよ」といった話の方が多いです。

次の手 ― RAG

もう1つの方法として RAG があります。これは LLM にデータベースや計算機を使わせてしまおうというもので、LLM が SQL を吐いてデータベースを検索してくれる。

この RAG のシステムを使って学習指導要領をうまく検索できないか——これがこのお正月にこれからやろうとしているものです。

可視化ツールとして ― Weights & Biases

最後に可視化の話です。

Jupyter Notebook 上のデータやプロンプトを比較検討しなければいけないので、私は Weights & Biases（W&B） というシステムをよく使っています。

プロンプトをゼロショット、フューショットなどいろいろ変えて順列組み合わせしたときに、どれくらいの結果が出たのかを突き合わせてくれて、それをグラフで可視化してくれるところまで全部やってくれる、すごく便利なツールです。皆さんも W&B などを使って Jupyter Notebook 上で可視化をしてみるのが、1ついい方法ではないかと思っています。

今日はまだ研究途中ということで、ここまでで終わらせていただきます。どうもありがとうございました。

LLM on Data Visualization Japan

LT：藤井 政登／LLMに学習指導要領をファインチューニングしてみた