AIっぽい言葉は、どこから来たのか?【学習データではない】 #254
35:27
165再生
AIが使う独特の言葉はどこから来た? その言葉づかい、もう僕らの喋りにもうつっているかもしれません。
【目次】0:00 AIっぽい言葉はどこから来た?4:40 RLHFのせい10:42 ラテン語由来の語が流行る?12:47 「落ちる」を使うAI17:42 人間の喋りもAIに引っ張られる20:32 AIからうつった語彙「手番」24:38 AIで方言はどう変わる?27:57 AIっぽい日本語は嫌われる30:53 増えた原因はあくまで仮説32:04 みんなの「AIの口癖」を募集します
【参考文献】◯PubMed「Delving into LLM-assisted writing in biomedical publications through excess vocabulary」 (https://pubmed.ncbi.nlm.nih.gov/40601754/ )→論文に「delve」が増えた話や、その分析。◯ACL Anthology「Why Does ChatGPT “Delve” So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models」 (https://aclanthology.org/2025.coling-main.426/ )→delveなど一部語彙の過剰使用について、RLHFが怪しいんじゃないか、みたいなことを言ってる研究。◯arXiv「Word Overuse and Alignment in Large Language Models: The Influence of Learning from Human Feedback」 (https://arxiv.org/abs/2508.01930 )→上の論文の続きっぽいやつ。LlamaのBase版とInstruct版の語彙を比較。◯arXiv「Empirical evidence of Large Language Model's influence on human spoken communication」 (https://arxiv.org/abs/2409.01754v3 )→ChatGPTが多用する語彙が、人間の話し言葉でも増えていることを示した研究。◯Nature「AI models collapse when trained on recursively generated data」 (https://www.nature.com/articles/s41586-024-07566-y )→「モデル崩壊」の話はここから。◯Meta AI「Llama 3.2: Revolutionizing edge AI and vision with open, customizable models」 (https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/ )→Llama 3.2の事後学習が、教師あり微調整・棄却サンプリング・直接選好最適化を含むことを説明する公式資料。◯太平記 (https://w.wiki/dgGc )◯家 (https://www.aozora.gr.jp/cards/000158/files/1509_40739.html )
【サポーターコミュニティへの加入はこちらから!】https://yurugengo.com/support
【親チャンネル:ゆる言語学ラジオ】https://www.youtube.com/@yurugengo
【実店舗プロジェクト:ゆる学徒カフェ】https://www.youtube.com/@yurugakuto
【おたよりフォーム】https://forms.gle/BLEZpLcdEPmoZTH4A※皆様からのおたよりをお待ちしています!
【お仕事依頼はこちら!】info@pedantic.jp
【堀元見プロフィール】慶應義塾大学理工学部卒。専攻は情報工学。理屈っぽいコンテンツを作り散らかすことで生計を立てている。Twitter→https://twitter.com/kenhori2noteマガジン→https://note.com/kenhori2/m/m125fc4524aca個人YouTube→https://www.youtube.com/@kenHorimoto
【水野太貴プロフィール】1995年生まれ。愛知県出身。名古屋大学文学部卒。専攻は言語学。本業は雑誌編集者。著書に『会話の0.2秒を言語学する 』(新潮社)などがある。Podcast「神保町で会いましょう」のパーソナリティも務める。Twitter→https://x.com/yuru_mizuno神保町で会いましょう→https://open.spotify.com/show/6cYkvDO0HnJKLPgDBGUjjS
【目次】0:00 AIっぽい言葉はどこから来た?4:40 RLHFのせい10:42 ラテン語由来の語が流行る?12:47 「落ちる」を使うAI17:42 人間の喋りもAIに引っ張られる20:32 AIからうつった語彙「手番」24:38 AIで方言はどう変わる?27:57 AIっぽい日本語は嫌われる30:53 増えた原因はあくまで仮説32:04 みんなの「AIの口癖」を募集します
【参考文献】◯PubMed「Delving into LLM-assisted writing in biomedical publications through excess vocabulary」 (https://pubmed.ncbi.nlm.nih.gov/40601754/ )→論文に「delve」が増えた話や、その分析。◯ACL Anthology「Why Does ChatGPT “Delve” So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models」 (https://aclanthology.org/2025.coling-main.426/ )→delveなど一部語彙の過剰使用について、RLHFが怪しいんじゃないか、みたいなことを言ってる研究。◯arXiv「Word Overuse and Alignment in Large Language Models: The Influence of Learning from Human Feedback」 (https://arxiv.org/abs/2508.01930 )→上の論文の続きっぽいやつ。LlamaのBase版とInstruct版の語彙を比較。◯arXiv「Empirical evidence of Large Language Model's influence on human spoken communication」 (https://arxiv.org/abs/2409.01754v3 )→ChatGPTが多用する語彙が、人間の話し言葉でも増えていることを示した研究。◯Nature「AI models collapse when trained on recursively generated data」 (https://www.nature.com/articles/s41586-024-07566-y )→「モデル崩壊」の話はここから。◯Meta AI「Llama 3.2: Revolutionizing edge AI and vision with open, customizable models」 (https://ai.meta.com/blog/llama-3-2-connect-2024-vision-edge-mobile-devices/ )→Llama 3.2の事後学習が、教師あり微調整・棄却サンプリング・直接選好最適化を含むことを説明する公式資料。◯太平記 (https://w.wiki/dgGc )◯家 (https://www.aozora.gr.jp/cards/000158/files/1509_40739.html )
【サポーターコミュニティへの加入はこちらから!】https://yurugengo.com/support
【親チャンネル:ゆる言語学ラジオ】https://www.youtube.com/@yurugengo
【実店舗プロジェクト:ゆる学徒カフェ】https://www.youtube.com/@yurugakuto
【おたよりフォーム】https://forms.gle/BLEZpLcdEPmoZTH4A※皆様からのおたよりをお待ちしています!
【お仕事依頼はこちら!】info@pedantic.jp
【堀元見プロフィール】慶應義塾大学理工学部卒。専攻は情報工学。理屈っぽいコンテンツを作り散らかすことで生計を立てている。Twitter→https://twitter.com/kenhori2noteマガジン→https://note.com/kenhori2/m/m125fc4524aca個人YouTube→https://www.youtube.com/@kenHorimoto
【水野太貴プロフィール】1995年生まれ。愛知県出身。名古屋大学文学部卒。専攻は言語学。本業は雑誌編集者。著書に『会話の0.2秒を言語学する 』(新潮社)などがある。Podcast「神保町で会いましょう」のパーソナリティも務める。Twitter→https://x.com/yuru_mizuno神保町で会いましょう→https://open.spotify.com/show/6cYkvDO0HnJKLPgDBGUjjS
ゆるコンピュータ科学ラジオ
ゆるコンピュータ科学ラジオ
- 35:271.
AIっぽい言葉は、どこから来たのか?【学習データではない】 #254
コメント

感想・質問・応援メッセージを書こう