どのAIモデルがテストの作成とレビューを行うべきですか?
CycleMantleには、固定された1つの脳が同梱されているわけではありません。クラウドAIプロバイダー、PC上で動作するモデル、または内蔵モデルのいずれかを選択でき、チャットごとにこの選択を変更することも可能です。この選択により、プロンプトがどこに送信されるか、そして提案されるテストの品質が左右されます。
モデルを接続する3つの方法
クラウドAIプロバイダー
標準的なAPIエンドポイントのアドレスとAPIキーを「設定」に入力すると、CycleMantleはチャットをそのプロバイダーに送信します。大規模なクラウドモデルは、通常、長いクラスや複雑なロジックの処理に長けています。キーはあなたのPC内に留まります。クラウドモデルを使用する場合、プロンプトとエージェントが読み取るファイルのテキストはプロバイダーに送信されますが、ローカルモデルの場合はPCから何も外部に出ません。利用料金はプロバイダーから請求されるため、利用規約を確認してください。エージェントに読み取らせるファイルにパスワードや秘密鍵を含めないでください。
PC上のモデル
CycleMantleを、ご自身で実行しているエンドポイントに接続します。プロンプトはローカルアドレスに送信され、ローカルモデルを使用する限り、データはあなたのPCから外部に一切送信されません。これは、第三者にコードを送信したくない場合に適しています。小規模なローカルモデルは処理速度が遅く、長いファイルの処理能力が低い傾向があるため、タスクを適切に選択してください。例えば、1つのクラス、1つのフィクスチャ、または1つの失敗するテストに限定します。ローカルモデルの起動と更新は、すべてご自身で管理します。チャットカード、差分表示、承認モードは、クラウドモデルを使用した場合と全く同じ外観です。
組み込みのモデル
組み込みモデルは独自のエンドポイント不要で利用可能なので、インストール直後のアプリ体験には最も手軽な方法です。まずは小さな関数のテストを依頼し、差分を確認して、カードの表示や承認モードの動作を確認してみましょう。より深い分析が必要な場合は、チャットをクラウドまたはローカルのモデルに切り替えてください。プロジェクトフォルダ、チャット履歴、承認モードはそのまま維持されます。これらはアプリに属する設定であり、モデルに依存するものではないためです。
「テスト」ボタンで接続を確認
エンドポイントを入力したら、エージェントに実際の作業を任せる前に「テスト」ボタンを押してください。このボタンは小さなリクエストを送信し、モデルの応答時間とコンテキストウィンドウを表示します。応答時間は、長時間の実行中に各ステップが待機する時間を示します。コンテキストウィンドウは、1つの会話にどの程度のコードと出力が収まるかを示します。ウィンドウが小さくても1つの関数では問題ありませんが、テストフォルダ全体では苦労します。テストが失敗した場合は、アドレス、キー、またはモデル名を修正して、再度ボタンを押してください。
タスクにモデルを一致させる
リファクタリングや複雑なロジックには大きなモデルを使い、フィクスチャの名前変更やアサーションの追加といった小さな編集には小さなモデルを使いましょう。チャット全体を切り替える必要はありません。run_on_modelツールは1つの重要なステップを大きなモデルに送信し、通常のステップは選択したモデルのまま処理されます。例えば、小さなモデルにテストコマンドの実行と終了コードの読み取りを任せ、複雑なテストクラスの設計を大きなモデルに任せることができます。どちらの場合でも、結果はカードで確認できます。
モデルによって品質に差があるため、各提案を草案として扱ってください。変更はAsk firstで待ち、差分を1行ずつ確認し、承認後にテストコマンドを再実行してください。テストが難しすぎる場合は却下し、より平易なものを依頼してください。バージョン管理履歴を保持して、必要に応じて戻れるようにしてください。テストが成功することは有用な証拠ですが、保証ではありません。