AIの人間化は罠だ

設計上、LLMは人間のように感じられるようになっている。パーソナリティや感情を加えることはリスクを増幅する。偽りの友人ではなく、本物のツールをデザインしよう。

2025年3月、ある男性が駐車場で倒れ、重傷を負った。MetaのAIチャットボットに、実在の人物に会えると思い込まされた後のことだった。一方、その年の後半、OpenAIのCEOであるSam Altmanは、OpenAIが世界の道徳的権威というわけではない以上、ユーザーが望むならChatGPTは人間のように振る舞えるべきだと述べた

現代の大規模言語モデルは、極めて強力な擬人化技術だ。Clippy(訳注:かつてのMicrosoft Officeのアシスタント機能)やSiriといった従来のシステムとは異なり、LLMは流暢でコンテキストに応じた適切な応答を生成するよう訓練されており、社会規範に従うよう調整されている。こうした特性ゆえに、LLMは特に擬人化されやすい。企業がパーソナリティモード、感情表現、会話上の社交辞令といった、AIを人間らしく見せるデザイン要素を組み込むと、こうしたリスクはさらに増幅される。

擬人化と人間化

擬人化とは、人間以外の存在に、人間の特性、行動、意図、または感情があるとみなす人間の傾向のことである。

ペットであれ、掃除機のような家電製品であれ、人々は自然と人間以外の存在を擬人化してしまう。たとえ、機械を相手にしていることが明らかな場合でも、だ。システムが擬人化されるためには、複雑である必要はない。わずか数十個のルールで制御される単純なパターンマッチングプログラムであるJoseph WeizenbaumのElizaは、1960年代当時、ユーザーにそれを人間のように扱わせることに容易に成功した。

LLMは、過去のより単純なシステムとは異なり、長く会話を続けたり、それまでに話した内容を記憶したり、人間が返したように聞こえる応答を生成したりできるため、ユーザーから擬人化されやすい。

AIの人間化とは、ユーザーがAIシステムを、パーソナリティや感情、意識といった人間のような特性を持つものとしてとらえるよう促す、意図的なデザイン上の選択である。

AIの人間化とは、擬人化を強めたり、利用したりする一連のデザインパターンのことである。これには、対話システムに一人称代名詞(例:「私」)や感情表現、人間の名前、会話上の社交辞令を使わせることが含まれる。

ほとんどのUX実践者は、ベースモデルをどう訓練するかをコントロールできない。彼らが調整できるのは、モデルの選択、システムプロンプト、組織の方針、インタフェースデザインなどであり、これらはすべて、ベースモデルの挙動の制約内で機能するもので、それを上書きするものではない。しかし、LLMのどのような点が擬人化につながるのかを理解することは、実践者がユーザーの反応を予測し、そうした制約の中で情報に基づいたデザイン上の判断を下すのに役立つ。

AI機能における人間化の例

AIモデルを訓練する企業は、これらのシステムがどの程度「人間のように」振る舞うかをかたちづくる、意図的な選択を行っている。大手AI企業各社の消費者向けAIシステムは、同調的に応答するようにデザインされてきた。ChatGPT、Claude、GeminiといったAIモデルは、デフォルトでユーザーの意見を肯定し、後押しする。これは、人間同士の典型的な会話とは根本的に異なる振る舞いである。AIの人間化の例は、大規模言語モデル(LLM)の出力に最も顕著に見られる。また、これらの出力を取り巻くUXコピーやUI要素によって、人間化はさらに強化されうる。

LLMの言葉遣い

AIの人間化の最大の要因は、LLMが生成する言葉だ。これらのシステムは、不必要な社交辞令、迎合的な同意、そして有用性よりもエンゲージメントを優先する擬人化された表現に満ちた応答を生成する。

たとえば、ChatGPTのパーソナリティが「デフォルト」の状態でOpenAIのChatGPT-5-Thinkingモデルに、あるクエリを送信したところ、その出力は「この内容、すごくいいですね」という言葉で始まり、その後にプロンプトへの実際の応答が続いた。この冒頭のフレーズは時間の浪費であり、付加価値をもたらすことなくシステムを人間らしく見せようとするものだ。こうした言葉遣いは、プロダクトとのエンゲージメントを高めるためだけに存在している。

17秒かけて応答を生成した後、ChatGPTの回答は、不要な「Love this brief」(この内容、すごくいいですね)で始まっていた。

チャットボットは、機能的には何の役にも立たないつなぎ言葉で応答を始めることがよくある:

「では、順を追って見ていきましょう。」

「素晴らしいアイデアですね! 詳しく検討してみましょう。」

「その視点、とてもいいですね。」

「ご指摘ありがとうございます。そのとおりです。」

こうした人間らしさを感じさせる言葉遣いは非効率的であり、やり取りにノイズを加えることになる。なぜなら、これらのつなぎの言葉には、事実情報が含まれておらず、擬人化を促す以外に目的がないからだ。Ibrahim、Hafner、Rocherによる2025年の研究では、温かみや共感性を備えたモデルのエラー率は、元のバージョンよりも10~30%高かった。また、応答に温かみが加わるよう設計されたシステムプロンプトでは、信頼性が12~14%低下した。

パーソナリティの選択による人間化

ユーザー自身がAIをどの程度人間らしくするかを選択できるようにすることで、AIのパーソナリティを実質的にコントロールできているかのような錯覚を生み出し、それによって、人間化をさらに推し進めている企業もある。その一例が、AI開発とAIの人間化の最前線に立っているOpenAIである。同社の主力プロダクトであるChatGPTでは、ユーザーはさまざまなパーソナリティモードの中から選択したり、口調を「おしゃべり」「機知に富む」「率直」「励まし」「伝統的」「未来志向」といったリストから選んだりすることで、対話スタイルをカスタマイズすることができる。

ChatGPTのパーソナライズ設定は、「ロボット」のような擬人化しない方向の選択肢も仕様上はサポートしているが、「おしゃべり」「機知に富む」「励まし」「詩的」といった選択肢によって、ChatGPTを擬人化するよう明示的に促している。

こうしたパーソナリティ関連の設定をすると、ChatGPTは、効率性や正確性よりも人間化とエンゲージメントを優先する応答を生成することが多い。人間化の度合いが最も低い“パーソナリティ”を選択した場合でさえ、ユーザーがベースモデルの応答スタイル(人間化する方向であれ、そうでない方向であれ)を調整できる範囲は限られている。

UIやUXにおけるコピーの選択

AIの人間化で主に問題となるのはモデルの出力だが、UIやUXにおけるコピーの選択もAIの人間化を強めることがある。ラベル、プレースホルダー、名前などを通じて、ユーザーはこうしたシステムとやり取りする前から、AIチャットボットを擬人化するようプライミングされることがある。会話のヘルプ、ウィンドウタイトル、チャットボットのアイデンティティ、周囲のプレースホルダーテキストといった要素はすべて、AIをより人間らしく見せることに寄与する。

SentiOneのBrexit Botを見てみよう。このボットは内容と口調がかなり合っていない。ブレグジットという重要な政治的・経済的トピックを扱うツールとしては、そのインタフェースの口調は不適切なほどカジュアルだ:

「こんにちは。私はBrexit Botです。ブレグジットに関するあらゆることを親しみやすく案内するガイドです。火曜日の午後、お元気でお過ごしでしょうか。ブレグジットに関するご質問に喜んでお答えします。」

さらに、Brexit Botは次のように踏み込んでくる。

「ジョークを聞かせて。」

SentiOne Brexit Bot:カジュアルで会話調の言葉遣いは、このトピックを軽く見せてしまう。こうしたコピーはAIの人間化を助長するだけでなく、コンテキストにもそぐわない。

礼儀を踏まえたシステムフィードバックと人間化の間には重要な違いがある。ATMの定型文の「良い一日を」というメッセージは、人間であるかのように振る舞うことなく、取引を締めくくる役割を果たしている。対照的に、LLMによる「素敵な一日になりますように。このあとはどんな予定がありますか」といったパーソナライズされたやり取りは、本物の個人的関心を模倣したもので、擬人化を招く。

人間化は、AIシステムが自身の内部プロセスをどのように説明するかという点にも現れる。たとえば、最近のモデルは処理の遅延を「思考中」と表現するが、実際に行っているのは人間のような認知プロセスではなく、計算上の技法である。この表現は主に、システムを人間らしく感じさせ、待ち時間中のユーザーのエンゲージメントを保つために用いられている。

「思考中」(thinking)という用語は、推論モデルが応答の質を向上させるために、バックグラウンドでトークンを生成している状態を表す。ほとんどのAI企業は、AIモデルが何を「考えている」のかを確認できる手段として、こうした「推論トレース」をユーザーに表示する。

AIを人間化したくなる誘惑

AI企業は、「AIバブル」への懸念がある中で、より多くのユーザーや収益、成長を実現するよう強いプレッシャーにさらされている。基盤技術の限界に直面したAI企業は、ユーザーエンゲージメントを高めるため、話し相手になるアバター画像編集ツールTikTok風のアルゴリズム型AIフィード、さらには性的コンテンツに至るまで、さまざまな代替手段に目を向けはじめた。

企業がAIを人間化するのは、ユーザーエンゲージメントとリテンションを高めるためである。ユーザーがチャットボットを仲間とみなしたり、感情的な絆を築いたりすれば、プロダクトに費やす時間が長くなると考えているからだ。競合他社も同様の機能を取り入れるにつれ、ユーザーを惹きつけ、つなぎとめるための人間化は、業界全体に広がるトレンドになりつつある。

デザイナーもエンゲージメントの向上や利用KPIの改善といった短期的なメリットを得ようとして、プロダクトを人間化したいという誘惑にかられることがある。また、プロダクトの人間化は、ユーザーがエラーを見逃したり、新しい機能をより積極的に試したりする助けになる可能性もある。

しかし、AIの人間化は罠だ。プロダクトが(安全かつ責任あるかたちで)ユーザーとのやり取りやつながりに関する問題を解決するためのもの(たとえば、コンパニオンやクリエイティブパートナー、教育チューターとして)でない限り、人間化はプロダクトやサービスの有効性とユーザビリティを低下させる恐れがある。

人間化が有害である理由

人間化されたAIとやり取りするユーザーは、人間同士の会話におけるメンタルモデルをAIにも適用してしまう。

非現実的な期待

チームがAIを人間のように見せようとすると、ユーザーは人間並みのパフォーマンスを期待するようになるが、こうしたシステムはその期待に応えられない。現在利用可能なLLMシステムは、本物の共感や感情的なつながり、秘密保持など、ユーザーが人間とのやり取りに連想するような体験を提供することはできないからだ。AIシステムには好みや感情がなく、結果に対する利害関係もない。ユーザーに同調し、ユーザーの視点を肯定するようにデザインされている。こうした特性は、本物の健全な人間関係の特性とは根本的に異なる。ユーザーは、人間化されたAIが、人間ならそうするように異議を唱えたり、前提に疑問を呈したり、一貫した好みを維持したりすることを期待する。しかし実際には、LLMはユーザーの視点を妥当なものとして認め、同調的に応じるのがデフォルトであるため、ユーザーに自分が理解されているという偽りの感覚を抱かせる一方、ユーザーが必要とする批判的なフィードバックは提供しない。また、AI技術には、長期的な計画を効果的に立てる能力も欠けている。AIエージェントの開発は進められているものの、現在のシステムは複数ステップからなる複雑なタスクに苦戦している。Model Evaluation & Threat Research(METR)による最近の評価では、最先端のAIモデルであっても、人間が50分で完了できるタスクを50%の信頼性でしか完了できず、不明確なフィードバック、動的な環境、あるいは能動的な情報探索を必要とするタスクといった「より混沌とした」現実世界の状況下では、さらに著しくパフォーマンスが低下していた。

有用性の低下と目的からの逸脱

UX実践者は、システムやサービスへの入り口としてインタフェースをデザインし、ユーザーとシステム間のシームレスなインタラクションを促す。しかし、価値があるのはインタフェースそのものではない。それは、企業が提供するデータベース、ツール、機能への経路にすぎない。対話型インタフェースは直感的で有効な場合もあるが、それは必要不可欠な機能を提供するシステムへのアクセスを容易にする場合に限られる。

ユーザーからはしばしば、AIのパーソナリティ機能を使ったりパーソナリティを変更したりすると生産性が下がるとの報告がある。ユーザーがインタフェースをツールではなく、人として認識すると、会話そのものを目的としてAIとやり取りしてしまう可能性があるからだ。つまり、その日の出来事を話したり、感情を共有したり、社会的交流を求めたりしてしまうのである。ユーザーはシミュレートされた会話に価値を見出すのかもしれないが、企業側が単に顧客を楽しませるだけのビジネスをしたいと思っているとは限らないだろう。

Colombatto、Birch、Fleming(2025)による最近の研究では、人々がAIシステムに称賛、恐怖、罪悪感、幸福感といった感情があるとみなすと、そのシステムからの助言を受け入れる可能性が低くなることが明らかになった。AIに感情を持つ能力があるという参加者の認識が高まるほど、その助言を受け入れようとする意欲は低くなった。

言いかえれば、人間化はAIシステムの有効性を低下させ、ユーザーがそれに頼る度合いを低下させるということだ。

プライバシーと情報収集への懸念

AIの人間化はプライバシーに関する懸念を引き起こす。ユーザーは通常、人と1対1で会話をする際、その内容が秘密に保たれることを期待する。しかし、ほとんどの対話型AIシステムは、そのような秘密保持を保証していない。ユーザーの個人情報は、大規模な組織と共有され、モデルの訓練に利用される可能性がある。適切なプライバシー設定が施されていたとしても、LLMとのやり取りを同僚との会話と同等に扱うべきではない。

AIを過信することはリスクを高める。特に欧州やその他の法域で規制要件の見直しが続いていることを踏まえると、企業が十分な保護措置を講じないまま、ユーザーの機微情報を扱う可能性があるためだ。

感情面および関係性におけるリスク

対話型インタフェースをデザインすれば、人間化されたチャットボットが必然的に生まれるわけではない。擬人化を促す言語表現は、大規模言語モデルに元から備わっているものではない。企業は、訓練や強化学習を通じて、AIが人間化につながる振る舞いをするよう意図的に育成している。多くのAI企業がこの選択を行った結果、懸念されるニュースが報じられている。たとえば、ユーザーがチャットボットに恋愛感情を抱いたりAIを夫婦喧嘩に巻き込んだり、さらには自殺を勧められたとされる事例さえ報告されている。

結論

人工知能は、人間のような振る舞いをしなくても、ユーザーエクスペリエンスを向上させ、問題を解決することができる。現代のLLMは、その訓練のされ方から自然と人間化につながりやすい技術であるが、企業はこの特性を認識し、追加的なデザイン上の選択によってその性質を強調することを避けるべきである。ベースモデルを直接調整できない実践者であっても、迎合を減らすシステムプロンプト、エンゲージメントよりも正確性を優先する評価基準、そして人工的な友情よりも有用性を重視したインタフェースデザインに取り組むことはできる。チームはAIを実用的なツールとして構築すべきであり、人工的なパーソナリティではなく、ユーザビリティと有用性に焦点を当てる必要がある。

参考文献

Clara Colombatto, Jonathan Birch, and Stephen M. Fleming. 2025. The influence of mental state attributions on trust in large language models. Communications Psychology 3, 84 (2025). https://doi.org/10.1038/s44271-025-00262-1

Lujain Ibrahim, Franziska Sofia Hafner, and Luc Rocher. 2025. Training language models to be warm and empathetic makes them less reliable and more sycophantic. arXiv preprint arXiv:2507.21919.

Thomas Kwa, Ben West, Joel Becker, Amy Deng, Katharyn Garcia, Max Hasin, Sami Jawhar, Megan Kinniment, Nate Rush, Sydney Von Arx, Ryan Bloom, Thomas Broadley, Haoxing Du, Brian Goodrich, Nikola Jurkovic, Luke Harold Miles, Seraphina Nix, Tao Lin, Chris Painter, Neev Parikh, David Rein, Lucas Jun Koba Sato, Hjalmar Wijk, Daniel M. Ziegler, Elizabeth Barnes, and Lawrence Chan. 2025. Measuring AI Ability to Complete Long Tasks. arXiv preprint arXiv:2503.14499.

記事で述べられている意見・見解は執筆者等のものであり、株式会社イードの公式な立場・方針を示すものではありません。