Q1： GPT非公開部分の解明のめどは立っているのか、あるいは 1,750億パラメータという同規模までたどり着かなければ明確にならないのか？

基本的には、作らないと解らないというところが大きい。現状は元の学習コーパスが非公開となっているので、例えばそのモデルのハルシネーション（事実や文脈に合わない内容の出力）などは観察できても、内部で何が起こっているかは、解らない。そこで、学習コーパスをはっきりさせ、入力に対して学習コーパスを検索しながらLLMの振る舞いを分析できる環境を作る、それを第一歩として、その後、数理モデル的な研究も進めていくことを予定している。

Q2：1,750億パラメータの学習データはどこから得るのか？その著作権はどうなっているか？

クロールプログラムが世界中のWebサイトを巡回して集めたデータを Common Crawl（コモン・クロール）という非営利組織が蓄積し、データセットを無料で提供している。その中から日本語 Web ページを取り出し、ある程度整備されたデータがあり、まずはそれらのデータで進める。

ただし、パラメータが大きくなってくると、元の学習コーパスも大きくしないと過学習、データの精度が偏るため、1,750億パラメータのモデルを作る頃までに、コモン・クロール全体からフィルタリングして整備し、学習することを基本に考えている。最近の研究でも良質なデータであるほど良いモデルになるという報告があり、著作権の問題もデリケートだが、国内の様々なところと交渉して、このプロジェクトに使わせてもらえるデータをさらに増やしていきたい。

新聞社さんの記事データなども、今ネット上にあるものはクロールされ、使わせていただいているものもあると思うが、それも今後、新聞社さんのデータとして何かを入れてみて、本当にそれが丸写しのように出てくるのか、咀嚼した文章で出てくるのか、このモデルを使って実験していきたい。ぜひご協力願いたい。

Q3：GPT言語モデルがある点で離陸するように爆発的に性能が上がったというのは、量的な性能向上が質的な何かに変わったのか？

言語モデルの性能を測るいろいろなタイプのタスク（テキスト要約、質問応答など）があるが、それぞれのタスクで、言語モデルのパラメータ数を 10倍、100倍と増やしていくと、どこかの地点で急激に性能が上がり、1,750億パラメータまで行くと相当程度のタスクで性能が上がるという現象が確認されている。ある意味で量が質に転化していると言える。

Q4：今後さらにモデルを大きくしていくと、意図しない創発のようなことが起きるのか？

非常に難しい質問で、学習を増やしていくと創発して、言語モデルが意識を持ち、人間に危害を加えるのではないか、という議論は常にある。未来予測においてどのようなことも可能性がゼロとは言えないが、特に意識が生まれるかどうかの議論は難しい。ただし、言語モデルのプロンプトとして、人類に危害を与えなさいと言ったら、そのような回答をすることはあり得るので、言語モデル自身の意識はなくても悪いことはできる。それは包丁が美味しい料理も作り、人も傷つけられるという議論と同じで、健全に使えるような社会の枠組みを考えていくという話であり、そこにセーフティネットを与えるために、AIの言語モデルの使い方に関する議論もきちんと行なっていくことが重要と考える。

Q5：LLM勉強会で今後、LLMを媒介にした製造業など産業界とのコラボレーションは考えているか？

それは全く否定するものではなく、この活動は完全にオープンなので、様々な産業界の方の参加も徐々に増えている。研究者も会社の方も、ここでの議論はオープンにするということだけ了解してもらえれば、誰でも参加できるということにした結果、今ここまで発展できたので、当面この考え方で進める。ただ、その先でいろいろな分野に特化していく場合、企業との個別の相談となる可能性はあるが、LLM勉強会のハブとしての情報交換の機能は現状の形で維持したい。

Q6：言語モデルの学習が進むと情報量が飽和し、人間が新たに作り出すものがない限り、新しい答えが生み出せない限界はあるのか？

あらゆる知識を与えたら、その範囲は答えられるが、それ以上のことが起こるかというと、ある種のひらめき的なものが急に出てくるとは思いにくい。しかし、多くの場合、異分野の専門家の連携によって解決策が見出せることはある。例えば、医学でこんなことで困っているが、工学でこのような技術があり、法律のこの問題さえ解決すれば、こういう治療ができるのではないか、というような新しい提案が、あらゆる分野の大量の知識を持つ言語モデルには思いつける可能性がある。アインシュタインのような創発は考えにくいとしても、言語モデルで様々な分野の知識を繋ぐことによるイノベーションは十分起こり得ると考える。

記事へのご意見等はこちらへ