# タイトルコール テスティングチャーニーへようこそ。 このチャンネルでは、ソフトウェアテストの世界を探索する、をコンセプトに、 エンジニアリングマネージャー兼QAリーダーのサミーが、 ソフトウェアテストのコツや品質保証の奥深さ、そして日々考えていることをお話します。 # Fine-Tuning LLMs for Test tasks こんにちは、さみひです。 今日もワクワクしてますか? 私はですね、怒涛の三連休を終えまして、 今少し昼寝をして起きたところでございます。 はい、ということで今回は、 ISTQBのシラバス、 Testing with Generated BIの 4.2.1章を扱っていきます。 4.2.1章は、Fine Tuning LLMs for Test Tasksということで、 テストタスクのための LLMのファインチューニングについての話です。 今回の流れもですね、最初、 ノートブックLMでの和訳を読み上げた後に、 また、コメントだったり、感想だったりとか、 クイズだったりを考えております。 4.2.1章はですね、あれですね、 PDF1枚弱ぐらいの、そんなに長くない量になっております。 はい、ということで読んでいきます。 4.2.1、テストタスクのための LLMのファインチューニング。 ファインチューニング、かっこ微調整は、 LLMやSmall Language Model、SLMなどの 事前学習済み言語モデル、かっこLMを、 特定のタスクを実行するように適合させたり、 特定のドメインに合わせて調整したりします。 これには、ターゲットを絞ったデータセットで、 モデルをさらにトレーニングできることが含まれ、 モデルがドメイン固有の知識や ニュアンスを学習できるようにします。 ファインチューニングによって、モデルのパフォーマンスは 特殊なアプリケーション向けに強化され、 意図したユースケースに対して、 より正確で関連性の高いものになります。 実際には、ファインチューニングは、 一般的なLLMに、特定のドメインに関連する 専門的な推論能力を身につけさせたり、 その分野に固有の語彙を採用させたりするのに適しています。 ファインチューニングは、 リソース消費が少ないSLMとして知られる より小さなモデルにも適応できます。 SLMをファインチューニングすることで、 LLMに必要な計算オーバーヘッドをかけずに、 特定のタスクで高いパフォーマンスレベルを達成できます。 この比較は、タスクの特定の要件に基づいて、 LLMとSLMの両方を使用する際の 柔軟性と効率性を際立たせます。 例えば、ソフトウェアテストにおいて、 ファインチューニングにより、 LLMやSLMは、組織のコンテキストに固有の出力形式で、 ユーザーストーリーからテストケースを生成できるようになります。 組織のユーザーストーリーと対応するテストケースで、 モデルをトレーニングすることにより、 モデルは組織の特定のテストプロセスや用語と整合します。 ソフトウェアテスト用に生成AIモデルを ファインチューニングすることには、いくつかの課題があります。 課題は4つ挙げられています。 1つ目、高品質でタスク固有のトレーニングデータセットを確実に使用することで、 バイアスのかかったあるいは正確な結果を回避する。 2つ目、科学習。 かっこ、モデルがトレーニングデータに特化しすぎて、 新しい未知のデータに対するパフォーマンスに悪影響を与えることを軽減し、 様々なシナリオにわたる繁華を維持する。 3つ目、 LLMがどのように意思決定を行い出力を生成するのかという透明性の欠如。 かっこ、不透明性に対処する。 これはデバッグやバリデーションを困難にします。 4つ目、 ファインチューニングプロセス。 かっこ、LLMの場合に必要な多大な計算リソースを管理する。 本文ここまでです。 ファインチューニングってやったことあります? 私ちょっとあんまり、あんまりというか、やったことがなくて、ちょっと具体的にこうしてるみたいな話はできないので、 今読み上げた本文の後に、実はハンズオンの内容が書いてあるので、ちょっとそこの内容も読み上げてみます。 実践目標を4.2.1、特定のテストタスクと言語モデルのファインチューニングプロセスの例を観察する。 このデモンストレーションでは、特定のテストタスクのためにLLMをファインチューニングする際に含まれる様々なステップを示します。 適切なLLMまたはSLMの選択から始まり、次に特定のテストタスクに合わせて調整されたデータセットが提示されます。 その後、ファインチューニングプロセスの模範的な解決策、かっこ機械学習フレームワークなどが示されます。 最後にファインチューニングされたモデルにプロンプトが送信され、生成された出力の品質について議論されます。 このデモンストレーションは、このプロセスのいくつかの主要な側面を示し、特にトレーニングデータの品質に焦点を当てます。 という感じでですね、ファインチューニングって一体何するのってところが今の部分でちょっと分かりやすくなったかなという風に思ったりもします。 最初にモデルを選ぶ、LLMなのかSLMのモデルを選び、その後にテストタスクですね。 テスト計画とかテストケースを作成するみたいなテストタスクに合わせてデータセットを提示する。 この前のシラバスの内容だと確かユーザーストーリーとかでしたっけね、あとテストケースとかだったと思うんですけれど、データセットを提示する。 その後機械学習フレームワークなどを使う。 最後に生成された出力の品質を確認するという感じですかね。 ファインチューニングなんかやってるよとかあればぜひ教えていただけるとですね、嬉しいです。 こういう風にやってるよとか、こんな事例聞いたことあるよとかっていう情報もぜひぜひ知りたいです。 ではここからは理解度を確認するクイズに入っていきましょう。 1問目。 LLMのファインチューニングは、自然学習済みモデルを特定のタスクやドメインに適用させるために行われる。 正解は〇です。 ファインチューニングの革新的な目的は、汎用的なモデルに特定のドメイン知識やタスク、特有の能力を学習させ、性能を向上させることです。 続いて2問目いきます。 ファインチューニングは大規模言語モデルLLMのみに適用可能であり、スモール言語モデルSLMには適用できない。〇か〇か。 正解は〇ですね。 SLMはファインチューニングが可能であり、リソース効率を重視する場合の有効な選択肢となります。 続いて3問目です。 ファインチューニングにおける化学習、オーバーフィッティングとは、モデルが訓練データに特化しすぎてしまい、未知のデータに対する性能が低下するリスクを指す。〇か〇か。 正解は〇。 化学習は、モデルが特定のデータセットのパターンを学習しすぎることで、新しい条件の対応力、繁華性能を失ってしまう現象です。 続いて4問目いきます。 LLMをファインチューニングすることで、モデルがどのように意思決定や出力を行ったかという透明性が向上し、デバッグが容易になる。〇か〇か。 正解は〇です。 ファインチューニングを行った後でも、モデル内部の複雑な推論ロジックが人間にとって理解しやすくなるわけではありません。 最後5問目です。 ソフトウェアテストにおけるファインチューニングを行うことで、組織固有の用語やテストプロセスの形式に合わせたテストケースの生成が可能になる。〇か〇か。 正解は〇です。 組織内のドキュメントや既存のテスト資産を学習させることで、その組織の文化やルールに沿った出力を得ることが可能になります。 はい、クイズここまでです。 ちょっとこのクイズを見ながら1個思い出したことがありまして、ファインチューニング。 ファインチューニングに該当するのがあまり自信ないんですけど、1個やってることあるなということが気づきました。 何かというと、いつもの業務の中でテスト計画書だったりテストケースだったり、テスト分析の一部を先生にやってもらっている部分があるんですけど、 そのときに組織内のドキュメントを入れているなと、スキル図に今の会社のフォーマット、テストケースのフォーマットだったり、テスト観点のフォーマットだったり、テスト計画書のフォーマットというものをインプットしていたりするので、 これがファインチューニングに当たるのであれば、そういえばやってるなということを今クイズを読みながら考えながら思ったりしました。 本日は以上です。 # 今日のほっこり話 今日の誇り話です。着物の話をします。 実はですね、この3連休の3日目は、いとこの結婚式でして、 久しぶりに着物を着ました。このチャプターに写真1枚入れております。 おばあちゃんに、清新式の時に買ってもらった着物を、ちゃんと袖切ってですね、 ずっと着てるんですけど、紫すごい綺麗なんですよね。 あと帯は、この間自分で買った青い帯、白いというか、青い帯かな、を買いまして、今回初めて着用しました。 1個だけトラブルがあって、下駄か、下駄って言うんだっけ、 ゾーリ、ゾーリか、ゾーリの裏側がピリッて剥がれちゃって、半分ぐらい剥がれちゃって、 まいったなぁ、どうしようかなぁと思ったんですけど、会場がね、発泡園というところもありまして、 絶対会場にあるだろうということで、瞬間接着剤か何かありますか、みたいな感じでなんとか、 一時的にくっつけることができて、なんとかなりました。 で、実はね、このゾーリ大丈夫かなっていうのは不安があったんですよね。買ったのが20歳の時でしょ。 もう十何年も経っていますし、普段全然履かないから、どっちかというとね、鼻尾の方が取れちゃうんじゃないかなと思って、ちょっと事前に一応箱から出して、 玄関の中を少しだけ歩いて、大丈夫そうだなと思ったんですけど、ちょっとテストが足りませんでしたという話でした。 以上、今日のほっこり話でした。 # 次回予告 今回も最後までのお聞きいただきありがとうございました。 明日の放送は、悩む時間は無駄であるという話をします。 次何やろうかな、これやったらいいのかな、どうしたらいいのかな、とかいろいろ自分で調べたり、うん、わかんないな、みたいな、そんな時間もあると思うんですけど、 悩むと考えるって別だと思ってて、みたいなそんな話をしていきます。 今回の話が役に立った方はハートマークで応援をお願いします。 ぜひぜひフォローもお待ちしております。 それではまた明日お会いしましょう。ごきげんよう。