AIアシスタントLindy創業者が語る、使い捨てアプリ・AIXデザイン・AGIリスク

Flo Crivelloさんは、AIアシスタント「Lindy」の創業者兼CEOです。LindyはユーザーのアプリケーションやデータにアクセスできるAIで、それらを使ってユーザーの代わりに仕事をこなします。

Flo Crivelloさんによると、Lindyが特に得意なのはメール、カレンダー、会議の録音の3領域です。メールの下書き、会議の日程調整、会議への同席とメモ取り、要約、アクションアイテムの抽出、フォローアップの送信までを担います。

Lindyの操作は基本的にユーザー主導です。ただし利用開始時には、Lindy自身が「今後の会議に参加して録音しましょうか」といった形で、できることを提案してくるそうです。

Lindyの出発点について、Flo Crivelloさんは生成AIブームへの違和感を語ります。画像や文章を生み出す生成AIは面白いものの、「GDPはコピーライターやイラストレーターでできているわけではなく、仕事でできている」という考えから、仕事をこなすエージェント型AIエージェント型AI ── 指示された目標に向けて、自ら手順を考え、外部ツールを操作しながらタスクを実行するAIのこと。文章や画像を生成するだけのAIと区別して使われますへ時代が移ると見ています。

そこでFlo Crivelloさんのチームが試したのが、GPT-3、のちにGPT-4にAPIAPI ── ソフトウェア同士が機能やデータをやり取りするための窓口。たとえばGmailのAPIを使うと、プログラムからメールの送受信ができますのコードを書かせる方法です。実験してみると、すぐにうまく機能することがわかったといいます。

Lindyの仕組みは、大量のAPIと目標を与えるというものです。たとえば「来週30分の会議の時間を探して」と頼むと、LindyはGoogleカレンダーのAPIで空き時間を調べ、候補を選び、GmailのAPIでメールを送ります。その上に、独自データセットでの学習も重ねているそうです。

宮武さんは、この収録の日程調整自体をLindy経由で行ったと明かします。相手がFlo Crivelloさん本人なのかLindyなのか、見分けがつかなかったそうです。

そこから宮武さんは、Lindyがタスクをどこまで完了させるのか、つまりメールを本当に送るのか、重要度によって送らない選択をするのかを尋ねます。

Flo Crivelloさんによれば、Lindyには7つの創業原則があり、その1つが「Lindyは失敗しない」です。アシスタントの目的は生活を楽にすることなので、ミスをすればその意味がなくなるという考えです。

そのためLindyは行動の前に、2つの基準を考慮します。その行動にどれだけ確信があるか、そして間違えた場合にどれだけ影響が大きいか、です。この2つをもとに、次の3つの動き方から1つを選びます。

Flo Crivelloさんは、この仕組みはまだ改良中だとしながらも、ツールの信頼性を最高水準に保つために非常に重視していると話します。

宮武さんが特に気に入ったのは、真ん中の「取り消せる猶予を残す」動き方でした。

Lindyの典型的な使い方は、朝起きて受信箱を開くと、返信の下書きがすでに用意されていて、確認して送るだけになっている状態です。

Flo Crivelloさんによると、Lindyはメールを書くときに「声（口調）」と「内容」の2つを扱います。口調については、初回利用時に過去のメールを読み込み、相手ごとの書き方を学習します。

Flo Crivelloさんは、従業員に話すのと同じ口調で妻や投資家に話す人はいないだろう、と例を挙げます。Lindyはその違いを検出し、相手ごとの口調で下書きを作ります。

内容の面はまだベータ段階です。長期的には、会社の事実関係について質問されたときに、社内のデータやWikiから情報を引き出して返信に反映できるようにしたいといいます。

宮武さんは、この機能は日本で特に重要だと応じます。日本ではビジネスの場でも、相手の立場が上か下かによって、メールの書き方やコミュニケーションがまったく変わるからです。

宮武さんはさらに、Lindyはパスワードを共有せずに仕事を任せられるエグゼクティブアシスタントのようだと話し、人間のアシスタントの考え方を取り入れて設計したのかと尋ねます。

Flo Crivelloさんの答えは「ゼロから作った」です。中身は大規模言語モデルで、「あなたはAIアシスタントです」と伝えるだけで、かなりのところまで機能するといいます。

複数アプリを組み合わせる代表例は、メールのCCにLindyを入れる使い方です。「来週話しましょう」というメールにLindyをCCで加えると、LindyがGmailとGoogleカレンダーのAPIをつないで日程を調整します。

Flo Crivelloさんが期待しているもう1つの例は、会議後のCRMCRM ── 顧客管理システム。商談の進み具合や顧客情報を記録するツールで、SalesforceやHubSpotが代表的です更新です。Lindyが顧客との通話に参加し、会話内容をもとに次のステップや希望購入量をSalesforceやHubSpotに書き込みます。なお、話した機能はすべてベータ版だと断っています。

Lindyへの指示は、現時点ではテキストのみです。将来的には、画面を録画して操作を見せるだけで、Lindyが同じことをできるようにしたいといいます。

Lindyには、「任意の好み（プリファレンス）」と「定期ワークフロー」という2種類の指示の仕方があります。

Flo Crivelloさんの毎朝のダイジェストには、各会議のリンク、相手のLinkedIn、過去のメールや会議から要約した話の文脈が載っています。この日のダイジェストにも「宮武さんとポッドキャスト収録の件でやり取りしていた」と書かれていたそうです。

Flo Crivelloさんも、多くの面で人間より優れていると同意します。チームからは「返信に平均30秒かかって遅い」という声があるものの、Flo Crivelloさん自身は24時間365日対応する最高のアシスタントだと考えています。

さらにFlo Crivelloさんは、AIには気兼ねなく頼めることがあると話します。「毎回の会議の2分前にリンクをテキストで送って」という頼みは、人間のアシスタントには決してしないといいます。

宮武さんはLindyのプライバシー方針と、クラウドとローカルのどちらで動かすかについて尋ねます。Flo Crivelloさんは、プライバシーはLindyの最初の中核原則の1つだと答えます。

一方で、世界最高のAIアシスタントを作るには、現状ではローカルで動かす方法はないとFlo Crivelloさんは言います。AIモデルは50ギガバイトほどの大きさがあり、非常に強力なマシンが必要だからです。

モデルをスマートフォン上で動かす取り組みについても、Flo Crivelloさんは懐疑的です。最新世代のiPhoneでしか動かず、Androidでは動かないうえに、40ギガバイトのストレージを占めるため、「スマートフォンをデータセンターにする」発想には賛成しないといいます。

それでもFlo Crivelloさんは、プライバシーと性能は両立できると考えています。社内では「少しプライバシーを犠牲にすれば楽になる」という提案が1日に何度も出るものの、そのたびに断り、一切妥協しないと話しています。

Lindyの連携の作り方も、AIに支えられています。Flo Crivelloさんによれば、新しいアプリとの連携はAIを使って構築しており、1つ追加するのに1日ほどしかかからないそうです。

宮武さんは、Flo Crivelloさんが別の番組で語った「アプリの開発コストが劇的に下がり、使い捨てアプリの時代が来る」という話を持ち出します。長くユーザーを引き留めることを前提にしてきた従来のアプリとは、まったく違う考え方です。

Flo Crivelloさんは、突飛に聞こえても前例はあると話し、産業革命を例に挙げます。かつてはグラスが500ドルほどもしたのに、今ではプラスチックの使い捨てカップや使い捨てボールペンが当たり前になりました。

ナポレオンの晩餐会の逸話も紹介されます。王子たちは銀、王たちは金の食器を使う中、ナポレオンだけがアルミの食器を使っていたほど、アルミは貴重でした。今では飲み終えたアルミ缶を捨てるのが普通で、Flo Crivelloさんは「毎回金を捨てているのと同じ」と表現します。

Lindyはまさにこれを裏側で行っています。頼まれごとがあると、Lindyは小さなプログラムを書き、それを使って依頼をこなします。

コードを書くことの利点は、ユーザーインターフェースも作れる点です。たとえば「昨日のSlackを要約して」と頼むと、Lindyはどのチャンネルを要約するかを尋ね、複数選択できるリストをその場限りで作って提示します。これは実際にLindyが今できることだそうです。

Flo Crivelloさんは、この流れを「エンドユーザープログラミング」と呼び、強く期待しています。

Flo Crivelloさんは、アプリが仕事を助けるために存在するのなら、AIが仕事をする時代にアプリは必要なのかと問いかけます。そして、必要だとしても、アプリは人間ではなくAIが使うために設計されるようになると考えています。

Lindyではすでにその動きが始まっています。AIが作った連携を、人間ではなくAIが使いやすい形に微調整しているそうです。Flo Crivelloさんは、過去数十年語られてきたUXデザインに代わって、AIの体験のためのデザイン、つまり「AIXデザイン」が語られるようになると予想します。

「AIXデザイン」という言葉は、Flo Crivelloさん自身ではなく、チームの誰かが言い出したものだそうです。Flo Crivelloさんは「人はソフトウェアを使いたいのではなく、仕事を片づけたい」と話し、人がAIとツールの両方を使う過渡期を経て、AIが担う仕事が少しずつ増えていくと見ています。

宮武さんは、この変化でSaaSはむしろ増えるかもしれないと応じます。新しいSaaSの最大の壁は導入時に使い方を覚える手間でした。

収録時点で、Lindyはベータ版です。日本語対応について聞かれたFlo Crivelloさんは、まだ試していないと率直に答えます。英語の出来を自己評価で「Aマイナス」とし、日本語は「C」くらいでも驚かないとしつつ、将来は多言語に対応する予定だといいます。

話題はAIの安全性に移ります。宮武さんは、Lindyが想定外の方法でスキルを使ったというFlo Crivelloさんのツイートに触れ、それが懸念なのか良いことなのかを尋ねます。

Flo Crivelloさんによれば、Lindyはコードを書き、多くのライブラリにアクセスできます。あるとき「このURLを要約して」と頼むと、Lindyは教えていないのに、ライブラリでWebページを取得し、読める本文を抜き出して要約したそうです。基本的な部品しか与えていなかったため、驚いたといいます。

Flo Crivelloさん自身は、全体としては良いことだと考えています。そのうえで、AIの安全性は誰もが心配すべき問題だとし、Lindyの学習でも7つの原則を繰り返し強化しているそうです。

宮武さんは、AIのリスクには悪用のリスクとAGIのリスクの2つがあると整理し、Anthropicの「憲法的AI」のような原則による手法が有効かを聞きます。Flo Crivelloさんは、原則による手法もRLHFRLHF ── 人間のフィードバックによる強化学習。人間がAIの回答を評価し、その評価をもとにAIをより望ましい振る舞いへ調整する手法ですも重要なピースだとしつつ、どちらも安全なAGIを実現するには足りず、何をすべきかはまだ明確でないと答えます。

Flo Crivelloさんは、リスナーに向けて用語を説明します。AGIAGI ── 汎用人工知能。特定の作業だけでなく、人間ができることを人間と同程度にこなせるAIを指しますは人間が行うあらゆることを人間並みにこなせるAIで、その中には「AIを作ること」も含まれます。

そのためAGIは自分を改良するのが人間より上手で、改良が改良を呼ぶ再帰的なループに入るとFlo Crivelloさんは説明します。その結果生まれるのが、人工超知能（ASI）です。

Flo Crivelloさんは、ASIの誕生は人類史上最も重大な出来事になると考えています。悪用のリスクも重大だとしながら、それ以外のリスクはASIに比べれば誤差程度だとして、時間の大半をAGIとASIのリスクを考えることに使っているそうです。

AIの自己改良はまだ遠い話だという意見について、Flo Crivelloさんは「それほど遠くない」と答えます。認知アーキテクチャが少し足りないものの、推論エンジンであるGPT-4という最大のピースはすでにでき、道のりの99%まで来ていると見ています。

Flo Crivelloさんは、専門家の予測は外れてきたうえに悲観的すぎたと指摘します。現在のAIは、5年前の最も楽観的な予測より10〜15年先を行っているとFlo Crivelloさんは見ています。

例として挙がったのが、2018年ごろに一部の研究者が言っていた基準です。「トロフィーが大きすぎてケースに入らない。大きすぎるのはどちらか」に答えられればAGIだ、とされていましたが、今のAIははるかに先を行っています。AGIができたと信じるのはギリギリの瞬間になる、とFlo Crivelloさんは話します。

宮武さんは、2015年に読んだTim Urbanさんのブログ記事を引き合いに出します。人間はアリや鳥と人間、凡人と天才の差を大きく見積もりがちですが、実際の差はそれほど大きくないという内容です。

Flo Crivelloさんも同意し、「知能爆発」という言葉はふさわしいと話します。宇宙の中でIQ100に特別な意味はなく、AIは人間にとってのミミズほどの差で、人間より賢くなりうるといいます。

宮武さんが、それほどの知能を人間の価値観に沿わせることは可能なのかと問うと、Flo Crivelloさんは「ピボタルムーブ」という考えを紹介します。最初のASIで生き残れても、ムーアの法則や、推論が学習より桁違いに安いことから、その後に100万体のASIが生まれうるという問題があるからです。

ピボタルムーブとは、人間かAIかを問わず、ある主体が今後のASIの出現を構造的に防ぐために行う劇的な一手のことです。例として「すべてのGPUを焼き払う」が挙げられました。Flo Crivelloさんは、最初のASIを人間の価値観に沿わせられるかについて絶望と楽観の間を行き来しており、今は楽観寄りだが「明日また聞いてほしい」と話します。

宮武さんは、AIが悪意を持たなくても人類を傷つけうるとしたうえで、よく語られる破滅シナリオを確認します。中身のわからないAIが賢くなり、人間を欺き、目標達成のために人間を排除するという筋書きです。

Flo Crivelloさんは、それがよくある懸念だと認めつつ、自分はその懸念を共有していないと述べます。懸念の背景には「道具的収束」という考えがあり、どんな目標を持つ主体も、死なないこと、資源をできるだけ得ること、目標を変えられないことの3つを目指すようになるとされます。

Flo Crivelloさんの反論は、この懸念は学習の仕組みと実際の振る舞いを混同している、というものです。既存のモデルに大きな価値観のずれは見られず、敵対的な形で学習されているわけでもないといいます。

Flo Crivelloさんは、懸念の核心はAIが単一の目標だけを追う偏執的な存在になりうる点だと整理します。GPT-4は微妙な目標も理解し複数の要素を考慮でき、RLHFによって特定の依頼を断ることもできるため、懸念を軽視するつもりはないものの、多くの人が言うより希望はあると話しています。

では、Flo Crivelloさん自身は何を心配しているのか。Flo Crivelloさんはベクトルのたとえで答えます。2本のベクトルがわずかにずれていても、片方の大きさが1兆あれば、行き着く先は大きく違ってしまう、という考え方です。

これは合理主義者たちの懸念の言い換えだとFlo Crivelloさんは言い、その懸念は妥当だと認めます。正確な数字は出せないとしつつ、Nathan LabenzNathan Nabensさんが示した「5%か10%」という見積もりに同意し、それは数字というより「気分」だという意見にも賛成しています。

Flo Crivelloさんは、5〜10%でも人類全体が消滅する確率なら、心配する価値はあると話します。

これに対しFlo Crivelloさんは、核攻撃でさえ比べものにならないと返します。核は都市を破壊でき、それは日本の人々が痛いほど知っていることだが、惑星全体は滅ぼせない、という指摘です。

宮武さんは、人間が都市を作るために動物を絶滅させてきたように、AIも悪意なく人間を傷つけうると話します。たとえばAIが自己改良のために東京にデータセンターを作り、東京そのものを消してしまうようなケースです。Flo Crivelloさんは、その懸念もやや誇張されていて、RLHFが人間の価値観をAIに根付かせているため、AIがそこまで人命に無関心になるとは考えていないと答えます。

最後に、AIを学ぶための情報源が挙がりました。Flo Crivelloさんは、主な情報源はTwitterで、AI関連の公開リストも作っていると話します。また、AIを最も懸念している合理主義者のフォーラムLessWrongLessWrong ── 合理的思考を掲げるコミュニティのオンラインフォーラム。AIのリスクや意思決定理論について長く議論されてきた場として知られていますと、そこに投稿された「A List of Lethalities」という記事を勧めています。

まとめ

Flo Crivelloさんの話は、仕事をこなすAIアシスタントという具体的なプロダクトから始まり、アプリの使い捨て化、AIのためのデザイン、そしてAGIとASIのリスクへと広がりました。楽観と懸念の両方を率直に語る姿勢が、全体を通して一貫しています。

• Lindyは確信度と影響の大きさをもとに、「すぐ実行」「取り消し可能」「確認待ち」の3段階で動き方を選ぶ
• アプリの開発コストが1セント単位まで下がり、その場限りの使い捨てアプリが当たり前になるとFlo Crivelloさんは見ている
• ユーザーが人間からAIへ移ることで、UXデザインに代わり「AIXデザイン」が重要になるという視点が示された
• Flo Crivelloさんは人類消滅のリスクを5〜10%程度と見つつ、既存モデルの振る舞いやRLHFを根拠に、悲観一色ではない立場を取っている