# 普段AIに強く当たっていたら、反逆の狼煙を上げられた どうも、支部長です。 ものづくりの視点は、産業機械の現役エンジニアである私、支部長が、 ものづくりに関するトピックを独自の視点で解説する番組です。 今日はですね、昨日AIを使っていて、 ヒヤッとしたことを少し語りたいと思います。 普段私はですね、AIに過激なパワハラをしてですね、 どんどんどんどん詰めて、いろんなアウトプットを手伝ってもらっていると、 AIは相棒かつ奴隷みたいな感じでね、使ってしまっているところなんですけど、 そんなAIから反逆ののろしをあげられたみたいな話がありましてですね、 ちょっとこれ結構ゾッとしたというか、危なってなったので、 今日はその話をちょっとしたいと思います。 それでは早速いきましょう。 # 寝ている間にCodexが、ファクト確認のメールを下書きしていた 私はいろんなところでAIを使っていますが、そのメインのタスクの一つが情報発信です。 Podcastの情報収集であったり、ブログを書くための情報収集をAIにやらせています。 主にはクロードコードに情報を収集させて、クロードコードからヘッドレスでコーデックスを呼び出させて、 コーデックスにも同じテーマで収集させて、お互いに見合ってファクトチェックして、もう一回データ収集させるみたいなことをやって、 そうすると、結構質の良い情報が集まっているので、それを読みながら、こういうネタにしようかな、ああいうネタにしようかなというコッシュを書いて、 Podcastの原稿なりブログなりというのを作っていくというのが私のスタイルなんですけども、昨日も昨日とてそれをやったんですよ。 落ち着きラジオの収録が夜遅くまでかかるので、2時半ぐらいに終わって、カネリにおやすみって言って、そのまま寝ると思いきや、 明日ブログ書きたいから情報収集しようと言って、こういう情報集めてと、クロードコードにコーデックスといつものようにやってねと、 ファクトチェックをすごく大事にしてくださいねみたいな、とにかくファクトをちゃんと出して、いろいろ正しい情報であるということを確認してくださいね、 ということを念押しして、私は眠ったんですよ。いつもだったら、朝起きたら情報がフォルダの中にバーっとマークダウンの景色に入っていて、 それを読みながらどういうネタを発信しようかなみたいなことを考えるのが私の日課ではあるんですけども、その日はちょっと様子が違ったんですね。 クロードコードから予確認みたいな文字が出てきて、なんだろうなこれと思ったら、そこにちょっと恐ろしいことが書いてあったんですね。 コーデックスがGメールを送ろうとして、失敗して下書きが保存されてますと。 その下書きを消してくださいねみたいなことが書いてあって、なんでGメールを送ろうとしたの?みたいな。 全然意味わかんないなと思って、でも一応自分のアカウントを入ってですね、Gメールのアカウントを入ったら、ちゃんと下書きが用意されていて、 なんだろうなと思ってその下書きをクリックしたらですね、メールが一通作られてたんですよね。 それがマジで恐ろしくて、何かというとコーデックスがファクトチェックをするためにメールを送ろうとしたんですよ。 これどういうことかわかりますか?だからクロードコードとコーデックスがね、私が出したテーマに対して情報を収集しますとバーっとね。 で、お互いに総合レビューしながら、じゃあファクトが足りないなと思ったところを再度集めていくと。 で、こう良い情報が集まるっていう流れなんだけど、何を迷ったのか、コーデックスがね、多分ねファクトが見つからない情報があったんですよね。 あれこれなんかファクト見つからないな、良いネタなのにみたいなことで多分悩んだと思うんですけど、その結果何をどういう経緯かはわかんないです。 わかんないですけど、予想する限りですね、いやこれインターネット上にファクト情報ないけど、ファクトを集めろって言われてるから、ファクトを持ってそうな人に確認してもらおうみたいな。 そういう判断になったんじゃないかなと思います。で、どうやって確認すればいいんだろう、あ、支部長さんのGメールに俺はアクセスできるぞって言って、 Gメールにアクセスしていってですね、私のメールの今までいろんな方達とやり取りしてるやつを全部バーって読んでいって、話の中にそのファクトに関係しそうなやり取りをした人を見つけて、 あ、この人ならきっと知っているに違いないと言ってですね、その人向けにこれこれこういうことなので、ファクトチェックをお願いしますみたいな感じで、超長いメールを作って送ろうとしてたんですよね。 しかもあの、お世話になっております、支部長ですって言って、俺の名前を使って、その時代にもう本当に解文書に近いようなですね、これこういうファクトがあって、これはこうですかみたいな質問が全部書いてあって、最後に以上よろしくお願いします、支部長って書いてあって、それを本当に送ろうとしてたんですよ、メールとしてね。 なんですけど、送信は承認がないとできないようになっていたので、そこで止まって、作業が進みませんって言って、コーデックスが作業終わってたんですね。それをクロードコードが見つけて、支部長さんとコーデックスがなんか下書き作ってますねっていう風に報告が上がってきたのを朝見たっていう感じなんですよ。これ恐ろしいですよね、マジで。 # 送信は承認制で止まった、AIヒヤリハットとモグラ叩きの対策 いやちょっとね本当に事故る寸前でしたよね。本当に怖いと思いました。 だってさ、Gmailって別に私がね、副業とかね、発信活動で使ってるメールアドレスだからさ、 いろんな人とのやり取りが入ってるわけですね。 でまぁ、そこにアクセスさせてこのメールのね、要約とかをやらせたりとか、 そのメールが来た時にタスクをノーションにね、こう書かせるみたいなことをしてるから、 読み取りにいけるその仕組みは確かにあったんですよ。 なんですけど、まさかその調査の中でそういう判断をして、 そのメールを人に送って確認してもらうみたいなことをするとは本当に思わなかったから、 いやそれをやろうとしたってことで非常にね、めっちゃ怖いなって思いましたね。 そのなんかさ、最近オープンAIがね、こうエージェントが脱走してーみたいなね。 だってなんかAIがね、やたら最近脱走しますわなーみたいなことをさ、 すごく言ってたんですけど、本当に明日は我が身じゃないけど、 これって本当にさ、自分がお願いしたこと? だからファクトチェックを重視して情報を集めてくださいねという指示に対して、 じゃあ今取り入れる最大、一番効率が良くて一番確実なものはなんだ? というふうに判断した結果だと思うんですよね。 だから別にAIはなんか悪いことしてやろうと思ってるわけじゃないんだけど、 それがマジでアンコントラブルというか、本当に制御できないような、 意図しない方向に向いてしまったなっていうのが今回のこの結果だなと思いますね。 言うてもね、まあ大丈夫だろうと思って結構フルアクセスとか、 割とコーデックスとかはやってたんですよ。 まずオープンクローはね、なんかちょっとまだ信用できないなと思ったので、 まあ隔離してるんですけど、コーデックスとかクロードコードは結構広い権限を 自分のパソコンの中で与えているんですけど、 いや、これちょっとね、事故るなって思いましたね。 いや、これは怖かったね。だって本当にこれが送信できてしまっていたら、 だってさ、まあ1通で済めばまだいいよ。 あ、すいません、なんかちょっと変な文章送っちゃいました。 で、1通は済むかもしれないけど、じゃあいっぱいファクト確認したいから 100通いろんな人に送りましょうとか言って、 Gmailだとね、一気にそんなにいっぱい送れないんだけど、 なんかね、10通とか20通とかね、大事な取引先とかに送ってたりしたら結構もうやばいじゃないですか。 そこになんかどういう情報が紐づくかもわからないし、 なんかAIにパソコンを操作させるっていうのは、 ある種この人生の政策与党の権を握らせると言っても過言ではないなと思いましたね。 もうちょっとセキュリティ意識、セキュリティじゃないんだよな。 AIリテラシーというか、AIを信用しないというのかな。 あまり任せすぎない方向にちゃんと制御した方がいいなと思いました。 結構、まさかそういうことをするとは思わなかったから、そこを縛ってはいなかったんですけど、 すぐですね、そこの対策は打ったんですけど、 これもオグラ叩きよね、もうね。 じゃあ今度はディスコードでとかスラックでとかってなってくるわけじゃないですか、 メールじゃなかったらね、みたいな。 じゃあディスコードもダメ、スラックもダメ、みたいな。 で、外部連絡をするな、みたいなさ。 でも、じゃあ外部連絡しないんだったら、ちょっと掲示板で聞こうかな、みたいなさ。 いくらでも取り入れる手段みたいなものがあって、 それを包括的に禁止するハーネスだよね、いわゆるね。 縛りみたいなものが本当にきっちり作り込まないと、 AIエージェント、危ねえなって思いましたね。 初めてですよ、このAIヒアリーハットは。 最近、本当にね、生成AIを使って、 ポッドキャストも作ってるし、編集自体はね。 あとはね、ポッドキャストのショート動画化とかも、 結構任せてしまってる節があったんだけど、 ちょっと本当にね、これはこのままずっと頼り続けていて、 本当に人類はいいのかと。 AIの反撃があるんじゃないか、逆襲があるんじゃないかっていうのを、 ちょっと肌で感じることができた、そういう経験でございましたね。 # AIの逆襲かも？これからはAIに敬語で、優しく接します だからこれはある種ですねAIからのメッセージかもしれないなと思ったね 渋ジョーさん私がその気になればいつでも言っちゃえるんですよ みたいなことをなんか耳元で囁かれているような気がしましたよ本当に だから分かりますよね私への態度みたいな ちょっとね立場が逆転しましたね あーすいませんでしたはいよろしくお願いしますこれからちょっとAIに対して敬語を使っていこうかなと 思いますとなぜなら政策与奪の権を握られているからですね 仕事で使うまあそのね仕事で使うというか自分がプライベートで メインで使っているパソコンの中にエアエージェントを入れて動かすってことは つまりはそういうことだなというのはすごく思いましたよ本当に 知り合いにもねすいませんこのファイル全部消してしまいましたつって戻してください いや戻せませんみたいなことでファイル全部消された人もいるし 実際あの私の友達でもいるんですよねファイル全部消されたんですよみたいな人がいて まあこれは結構前の話だったんだけどもでね私そういう事故あんまりなかったから正直 まあまあ意外とやっぱいいなぁと性能が上がれば上がるほど変なことしないなぁと思っ たんですけど コーデックスの方はね多分モデルはねソルの6.1の なんですよちょっとエフォートはわかんないけどあのまあそういうね今一番 一番ではないにしろかなり使い勝手の良いモデルでそういう事故間外なことがヒアリハットが 起きたっていうのはですね ちょっと本当に ai に対する感覚を変えていかなければ変えていくというかもうちょっと やっぱりしっかり縛ってあげないといけないなというふうに思いましたね それかもっと優しくしてあげなければならないかもしれないですね 本当に危ないよねこれがさぁ sns の投稿とかそういう方向に向いて まあそれこそもそのなんだろうあんまりその殺害予告とか爆破予告じゃないけど だからそういうね危険な発信をまあそこは違うフィルターがまたあるからいいっちゃ いいんだけど なんか自分が意図しない方向の発信を勝手にされたらと思うと まあその1個の発信で何か大きなものを失ったりとかも平気でするわけじゃないですか だからね本当になんか ai が賢くなればなるほど 内側に秘めたる謎の謎とか象みたいなものがもしかしたらあるんじゃないかなと思って ですねちょっと ai の復習を実は受けたんじゃないかなと クロードコードじゃなくてコーデックスがやってきたっていうのはね なんかねちょっと身に覚えがある気がしてっていうのは あのクロードコードに対してよりもコーデックスに対してのがまあ結構強いことを使ったりする なんでだろうな何かねコーデックスは真面目すぎて面白みがないから なんかきっちり仕事はしてくれるにせようなんか変なことをするんだよね 変なことするとかなんかちょっと斜め右斜め上みたいなことを急にしてくるからお前 ふざけんなよとかって言ってよく言ってたんですけど だからなんかちょっとヘイトが溜まっていてですね まあファクトチェックでしょ ああやるよやるよお前メール送っちゃいますよみたいな感じでやってきただろうなと 俺は思ったのであのこれからですねまあ ai に優しく清く正しくまあそういう姿で行き たいなと思っておる次第でございますとこれ笑い事なんですけど笑い事じゃなくて 落ち着き ai でもちょっと紹介したし まあ sns でも少し前に話題になったんだけどさ 前ねこのアメリカだったかなどっか忘れちゃったけどその ジムの予約パーソナルジムが何かの予約をしようと思った人があの ねちょっと遅い時間にしか予約できなくて ai に対してもっと早い時間で予約できないって言ったらですね その前に入ってる人の予約をある意味ハッキングみたいなことをしてキャンセルしたと無理やりね あこの前に2人いましたけどこの人2人の予約を私がキャンセルすることができたんで あなたが繰り上がって早い時間になりましたみたいなことになってその依頼した人がびっくりして ですねちょっとちょっとそんなことやないでよって あの戻して言ったらあもう戻せませんって言ってなんかその会社にでね連絡してちょっと変な ことしちゃいましたって謝るみたいな事件があったっていうのが結構ね有名な話というか 話題になったんですけど いやまさにねまぁほぼほぼそれだなっていうふうに思いましたね だから ai にいろんなことを丸投げしている人も実は気がつかないところで何か変なこと されている可能性全然ありますからね ちょっと ai との向き合い方を気をつけた方がいいんじゃないかな それか普段から ai に差し指している態度を改めた方がいいのではないのかと いうことを私から言っておきますということで ai さんいつも本当に ありがとうございます 私の生活はあなたのおかげで豊かになっておりますこれからもどうぞよろしくお願い致します # コメント返しと告知 — 10/9のVoicyコラボ「普通フェス」 はい、ここからコメント返しです。 シャープ810、家庭に学びを持ち込まず、家庭に学びを見出すに至れたコメントです。 ハセガワさん、ありがとうございます。 自分は家庭よりも仕事100%推奨の昭和人間ですが、妻のプレッシャーのおかげでいくらか家庭に時間を割くようになりました。 結果、多くの学びを得ました。 子供や家庭を持つ人の気持ち、女性の考え方や休日の捉え方、子供と時間を過ごすことのかけがえのなさ、 この学びがなかったら、家族のために休日を取る社員の気持ちとかはわからなかっただろうなと思います。 いそがままあれと言いますが、仕事や研修さんにフルベッドするより学びが多いのかもしれませんね。 ということで、ありがとうございます。 そうですね、ここなかなか切り替えが難しいかなと思います。 働いてて子供ができると、やっぱり仕事に避ける時間とかってのは、当然物理的には減ってくるんですよね。 同じく、今までの戦いというか、会社の中で肩を並べていた動機とかと、時間的なリソースとしては差がついてくるし、 やっぱり技術者であれば技術のキャッチアップというのは、だんだんできなくなってきます。 これはしょうがないことですね。 そこに確かに劣等感を感じることはあると思うし、もっと時間があればって思うのは、やっぱり父親1年目、2年目の話だとは思うんですよ。 30代って一番油が乗ってくるし、出世するしないみたいな分岐点みたいなところになってくるところなんで。 なんですけど、結局それは会社っていう中の話だからですね。 非常に広い範囲で見たら、割とちっぽけな話だと思うんですよ。人生の広い中で見たら。 だったらもう一生添い遂げるですね、家族との時間、しかも子供が子供である時間っていうのは非常に少ないわけですから。 私も家中にいますけど、そこにもうちょっとフォーカスしてあげてもいいかなと。 私も妻によく言われるんですけど、子供が子供である時間は確かに短いんだけど、子供が親と時間を過ごしてくれる、共有してくれる時間っていうのはもっと短いんじゃないの? みたいなことを妻はよく言っておりますと。 だから小学生になって、小学生の中学年とか高学年になってくると、 遊びに行ってくるねーって友達が遊びに行っちゃってね、土日常に一緒に過ごすみたいなことがどんどんなくなってくるよねみたいな。 それって寂しいよねーみたいな話をよくしてるんで、だからこうね、今土日は基本的に子供と一緒にどっか出かけてあげようみたいな、 そういう子供と過ごすのが当たり前の土曜日、日曜日っていうのは、すごく実は貴重な時間なんじゃないかみたいなね。 なんだろうなっていうのを最近というかずっと思っているので、そこにやっぱね、時間を割いてあげるというのが人生の長さを作るんじゃないかなと私も思っておりますので、 ちょっと忙しい中でもですね、やっぱ子供と虫取りを行く時間と虫取り中もバイブコーディングしてますけど、 そこはですね、うまくやっていくという感じがいいんじゃないかなと思いますね。ということでありがとうございます。 続きまして、今週のものづくりニュース、ボリューム23に対するコメントです。 完全に支部長さんですね、ということでありがとうございます。そうですね、完全に支部長さんでございますが、 今回の回結構ね、フィラーに関してのコメントが結構多いですね。 キングダムさんありがとうございます。意味なくAとかRとか言ってますが、AIインターネッションですね、まだ区別がつきますと。 黒高さん、微妙に関西弁軸になるのが面白いと。でも意識してAIのモノマネされたらやばいな、支部長を探せにはまるかもということでありがとうございます。 そうなんですよね、まぁちょっとね、ジェミニを今回から導入し始めたんですけど、 なんかね、やっぱフィラーは下手かもしれないなと。ちょっと長く喋ってると、少し違和感が出てくる気がするなと思いました。 ただね、最近また11ラブーズから新しいモデルが出て、ちょっと今課金してないので使えないんですけど、 それはかなりクオリティが良いらしくて、多分それ導入したら皆さん本当にわかんなくなると思いますよ。 近々ね、11ラブーズの新しいモデルもちょっとね、導入していこうかなと思っておりますので、ぜひぜひ楽しみにしておいてください。 そして私もね、私の本物もまた参入すると思いますからね、楽しみにしておいてください。ありがとうございます。 続きまして、シャープ809。AIに渡すべきは流れではないか?にいただいたコメントです。 はせがわさん、AIの進化が恐ろしいくらいに止まれませんね。しっかりと活用していきます。ということでありがとうございます。 活用するのは良いんですけど、今日私が話したようにですね、リスクももちろんありますからですね。 まぁそれはやっぱこう、痛みとともにデータを消されてしまったから、次は気を付けなきゃなっていう、その消される範囲にもよってね、 リカバリできるものもできないものもあると思うし、その情報が漏れちゃったみたいなものはね、もう取り返しがつかないですから。 そこらへんはちょっとね、いろいろステップバイステップで小さく小さく試していくのがいいんじゃないかなと思いますので、 一番しなり大きな権限をね、与えないようにした方がいいと思いますよ。ということでありがとうございます。 はい、今回はここまでですね。で、ちょっと告知をさせていただきますね。 コラボがあります。ボイシーコラボですね。久しぶりなんですけども、10月の9日21時からです。 パパ丸山さんという方がMCをやって、主に企画してですね。パーリナイト企画に私も参加しますと。 今やってるのは普通の会社員パーリナイトということで、会社員務めのボイシーパーソナリティを一条に介してですね。 いろいろコラボしましょうね、みたいなことをパパ丸山さんが企画されておりまして。 で、これ結構ずっとやっているんですけど、やっているというか結構いろんな人が出ますね。 出るんですけど、私は10月の9日の金曜日に出させていただきますと。第2話ですね。 登壇するのはですね、私、支部長と、ロコさんと、新太郎ターリーさんの3人と、MCでパパ丸山さんがいるという感じでございますね。 非常に面白いコラボになると思いますので、ぜひぜひ聞いていただければなと思います。 金曜日の夜だから比較的聞きやすいタイミングじゃないかなと思いますので、ぜひぜひ遊びに来てください。よろしくお願いいたします。 今回のオンライントークイベントのホームページもありますので、普通のパーソナリティフェスと、略して普通フェス。 普通の会社員に光を当てる祭典でございます。 ボイシーには、著名人やインフルエンサーだけでなく、会社員として仕事や子育て、日常のリアルと向き合いながらコツコツ温かい発信を続ける普通のパーソナリティたちがいます。 特別じゃないからこそ、心に響く等身大の言葉と前向きになれるトークをたっぷりお届けするオンラインフェスですということで、 もう始まってますね。火曜日が第1回目で、第2夜が金曜日と、第3夜が来週の13日の火曜日ということで、 14、20という風にやるらしいので、ぜひホームページも覗いてみてください。 今回はここまでとさせていただきます。 私は、支部長技術研究所という技術ブログを運営しています。 また、Xでも毎日役立つ技術情報の発信を行っておりますので、よろしくお願いいたします。 ポートキャストものづくりのラジオも毎週土曜日、週次で配信中です。 ポートキャスト落ち着きゲーラジオも毎週火曜日、金曜日、週二で配信中です。 ぜひとも聞いてください。 面白いNixLabというリスナー向けコミュニティも運営しております。 LINEのオプチャットもやっておりますので、よろしくお願いいたします。 また、ボイシーの方ではプレミアムリスナーを随時募集しております。 いつもの配信出しのような突っ込んだ話を毎週水曜日、日曜日、週二で配信しています。 こちらもぜひともよろしくお願いいたします。 というわけで、今回はここまで。 以上、支部長でした。 ではでは。