概略
日本語での文章表現に焦点を当てた実用的な本。
AIの歴史から技術的な内容、この時代をどう生き抜くべきかまでを包括している。
難しい技術の説明は、端折って簡易な説明に留めている。
くわえて、これらの技術がどのように活用され、社会にどのような影響を与えるかにも言及している。
レビュー
AIの経験が少ない読者でも読む価値がある。
ChatGPTの活用法やAIネイティブ時代を生き抜くための能力についてなどは、読者の興味をそそるところだろう。
AIに関する包括的で洗練されている内容として高く評価できる本。
この本自体がGPTを使って生成されており、その効果的な生成の仕方も非常に参考になる(全自動で生成しているわけではないことに注意)。
ポイント
Transformer
多層パーセプトロンの一種。
マルチヘッドアテンションという仕組みで、特徴を決める。
マルチヘッドアテンションとは、入力されたデータのどの部分に着目すべきかを学習する仕組み。
入力されるデータは画像でも、言葉でもなんでもいい。
扱うべきトークン数が多いほど、過去の文脈のどこに注目して、どんな結果が出てくるのがふさわしいか考えることになる。
トークン全体の辻褄を合わせるということを目的にしたとき、かなり合理的な方法。
ChatGPT活用法
- 要約させる
- 企画を100本考えさせる
翻訳＆要約
ニューラル機械翻訳の原理はseq2seqと呼ばれている
seq2seq: あるシークエンスから別のシークエンスに変換する
英語の論文を翻訳＆要約する事例があり、さらに質問にも回答してくれる外国語の文章に日本語で質問する
- 物語やシナリオを執筆させる
- ゴーストライターになってもらう
書き始めるまでのやる気の充填時間がかかる
下書きが先にあると、考えるキッカケができて、書く意欲が湧きやすくなる
誰かにインタビューをする際にも、質問文をGPTに考えてもらう
ディープラーニングがもたらしたブレイクスルー
AIML: Artifical Intelligence Markup Language(人工知能マークアップ言語)
チャットボットの開発に用いられるマークアップ言語
主にパターンマッチングを使っている
- 代表例: チャットボット A.L.I.C.E.
本質はELIZAから受け継いだパターンマッチと応答を行うだけ。
受け答えの品質は、書かれたスクリプトの量と質に正比例する。
2014年にGoogleによって開発されたseq2seq。
対話における2つの大きなポイントとして、以下が挙げられた。
- 文脈を考慮すること
- 回答が自然に聞こえること
seq2seqは回帰型ニューラルネットワーク(RNN)の一種である長・短期記憶(LSTM)という時系列に配慮したアーキテクチャで作られている。
これも「それっぽい受け答えを統計的・確率的に選んでいる」だけ。
エキスパートシステム
問題点
エキスパートシステム(第2次AIブーム)への期待値は急速にトーンダウンした。
有名な問題点は以下の2つ。
- 表面的な知識しかなく、単純なタスクでも計算コストが高くなる恐れあり
- 知識のあるエンジニアがデータを入力する必要があるため、データの取得が困難
これから
実は、分野は絞られるが、そこかしこで使われていて研究が進んでいる。
ディープラーニングによる生成AIと、エキスパートシステムのような知識ベースのシステムはアプローチがまるで逆。
しかし、いずれ相補的な関係になるという予想もある。
身近な例
鉄道の乗換案内
出発地と目的地の駅を入力すると、的確に乗り換えを提案してくれる
word2vec
言葉を「ベクトル化」することで、計算機上で扱いやすくする。
- 例: 「王様 - 男 + 女 = 女王」
DALL-E
言葉から画像を生成するAI
語源は、以下の2つの合成語
作曲するAI
人によって好みが千差万別である「音楽」にAIが必要なのかは疑問。
ただし、動画の心情的な動きに組み合わせて音楽を生成(劇伴)するという応用は興味深い。
-> コメント: FF16の戦闘シーンでアクションの盛り上がりの部分で、音楽のサビがくるように調整していたはず。これと似たようなことか。
ディープラーニングによるAIとは何か？
一言で表すならば、「機械化された直感力」
ディープラーニングの三大巨人の一人であるヨシュア・ベンジオ教授も「Artifical Intuition(人口直感)」という言葉を使っている。
強化学習
まず、AIはデタラメに行動
↓
成功か失敗かわかるときが来る
↓
あらためて過去の行動を振り返り
↓
「この場面でこういう行動をしたときはダメだった」と反省するかのように学習を繰り返す
この学習を繰り返すと、AI自身が「現在の状況」を判断する能力がどんどん上がっていく。
社会・産業に与える影響
半ば意図的に、2021年9月までの情報しか学習していない。
それ以降の情報は、AIが生成したものを含んでいるから。
不正確な表現が含まれたAI生成のテキストを大量に学習すれば、新しいAIは自家中毒的にどんどんバカになっていくリスクがある。
Hyena(ハイエナ)
Transformerの欠点を乗り越えたアーキテクチャ
100万トークンを処理する性能まで見えてくる
このような時代に価値を持つ能力
- 人のやらないことをやる: 自分なりの工夫をしようとする能力、クリエイティビティ
- ホスピタリティ: 他人を思いやる能力
クリエイティビティとホスピタリティを育むために、プログラミングは有効な手段
クリエイティビティを育む
プログラミングを思い思いに改造することで、プログラミングを1つの表現手段として獲得できるホスピタリティを育む
どうすれば相手の関心を引けるのか、どうすれば使ってもらえるかといったことに目を向けることができる
この本の執筆方法
最初にまとまった文章量を書く
こんな本を書きたいと言って、構成案を出させる
↓
その章には何が書いてあるのかをしつこく聞き出す
↓
8万字ほどの下書きを書かせる
自分で読んでみる
読んでみて、「直しようがない事実だな」「これは調べないとダメだな」、というところがわかってくる
↓
自分の文章を肉付けしていく
↓
あとから読み返すと、GPTが書いたところも自分が書いたところも、だんだん区別がつかなくなっていく
↓
繰り返し読むと、「これは変だな」というところがどんどん削られていく
↓
最終的にGPTが書いた部分はなくなっていく
AIを使いこなす人間になるには？
AIに使われるのではなく、AIを使いこなす人間になるためには、プログラミングは習得しておくべき必須スキル。
