公式資料には、記憶の一覧取得、観察の消去、文書の削除という別々のAPI操作が記載されています(記憶一覧、観察の消去、文書の削除)。Hindsightの記憶削除を始める前に、対象が単一の事実、派生した観察、元文書のどれかを特定してください。修正や失効、観察の消去は同じ操作ではなく、失効を完全削除とみなすこともできません。
この記事は、Hindsightを使うAgentの記憶変更を本番前に検収する技術責任者向けです。
誤った記憶が召回される問題を直したいバックエンド開発者やプロダクトエンジニアにも役立ちます。
Hindsightの記憶削除は、対象のデータ層を見分けて選ぶ
「Agentが間違った回答をした」という症状だけでは、直す場所は決まりません。Hindsightのデータは、少なくとも次の層に分けて考える必要があります。
- 元文書:記憶を作る元になった入力や文書です。古い事実がここに残っていると、再処理後に同じ内容が再び取り込まれる可能性があります。
- 記憶:AgentがRecallで利用する、事実や内容を表す単位です。誤りがこの記憶にあるなら、修正または失効の対象を検討します。
- 観察:記憶からまとめられた派生情報です。記憶そのものを残しつつ、観察だけが現状に合わなくなっている場合があります。
まず公式の記憶管理ドキュメントで記憶の修正・失効に関する操作を確認し、一覧APIで対象を特定します。内容の一部だけが誤っているのか、記憶全体が不要なのかを分けてください。どの層を変えるのか決めないまま削除操作を進めると、記憶は残っているのに観察だけが消える、といった食い違いを見落とします。
誤った記憶をAgentに使わせたくない場合
記憶の内容そのものが間違っているなら、まず修正できるかを確認します。正しい情報に直せる場合は記憶の修正を検討し、現在は有効でない事実なら失効の扱いを確認します。失効後にどのような情報が保持され、Recallにどう影響するかは、利用中のAPI仕様と実際の結果で確かめてください。
公式のRecall APIを使う検証では、対象の誤った記憶が回答の根拠として戻ってこないかを確認します。画面上の表示が変わっただけでは、Agentが参照する経路まで変わったとは限りません。Hindsight Agent記憶の変更前後で、同じ検索条件を使って結果を比べることが重要です。
失効した記憶のデータが残るかをどう見るか
失効は、完全削除と同義ではありません。公式の記憶管理仕様を確認し、対象がRecallから除外されることと、データ自体が保持されないことを別々に扱ってください。監査や復元のために情報が残るかどうかは、バージョンやAPIの仕様を確認せずに断定できません。
削除要求の要件がある場合は、「Agentに使わせない」だけで満たされるのか、「元データも消す」必要があるのかを先に決めます。保持や削除の根拠をチームで共有するなら、適用するルールと実際の確認結果を記録してください。契約やデータ取り扱いの条件が関係する場合は、利用条件も確認対象に含め、サービス上の条件とHindsight側のAPI動作を混同しないようにします。
派生観察のずれと、元文書に残る古い情報を切り分ける
観察だけが古い場合は、記憶の消去と分ける
元の記憶が正しく、そこから作られたまとめや観察だけが古いなら、観察を消去する操作が候補になります。公式の観察消去APIが扱う対象は観察です。これを記憶自体の削除だと解釈しないでください。
消去後は、処理の完了を確認してから、観察が更新されたかを調べます。APIが非同期処理を返す場合は、非同期操作の説明に沿って完了状態を追います。受付応答を受け取った時点で作業が完了したと決めつけると、古い観察が残ったまま次の検証へ進むおそれがあります。
元文書を削除しても記憶が消えたとは限らない
文書を削除する操作と、そこから作られた記憶や観察を消す操作は分けて確認します。公式の文書管理ドキュメントと文書削除APIで、利用中の版がどの対象を削除するのかを読んでください。元文書の削除だけで派生データまで消える、と先回りして判断してはいけません。
また、誤った情報が元文書に残っていれば、文書の再処理によって同じ事実が再生成される可能性があります。順序は、まず元文書を正しい内容に直す、または対象として削除すること。その後に必要な再処理を行い、最後に記憶・観察・Recallの結果を確認します。操作後も古い事実が返るなら、どの層に残っているかをもう一度調べます。
変更後のRecallと処理完了を再現可能な手順で確かめる
削除や修正の成否は、管理画面の表示だけで判定しないでください。次の手順をテスト環境で実施し、要求と結果を対応づけて記録します。
-
変更前の状態を保存する
対象の記憶、関連する元文書、観察を一覧で特定します。対象を識別する情報と、変更前のRecall結果も記録します。利用中の版におけるリクエストと応答の形式を、公式API仕様と照合してください。 -
変更の目的を決める
誤りを正しい事実へ直すのか、無効な事実として扱うのか、観察だけを消すのか、元文書を削除するのかを決定します。「Agentに出さない」と「保持データを削除する」は別の要件として整理します。 -
元文書を先に確認する
元文書に古い事実が残っていないか確認します。再処理する予定なら、先に文書を修正してから進めます。変更せずに再処理すると、同じ誤記憶を作り直すことがあります。 -
対象の操作を実行する
記憶の修正・失効、観察の消去、文書の削除から、決めた目的に合うものだけを実行します。実行したAPI、対象の識別情報、応答内容を記録します。 -
非同期処理の完了を待つ
完了状態が返る仕様なら、状態を確認してから次へ進みます。処理の受付だけを示す応答と、処理完了の応答を区別します。 -
同じ条件でRecallを再実行する
変更前と同じ条件で検索し、対象の誤った事実が戻らないことを確認します。修正版を残した場合は、期待する正しい事実が参照されることも確かめます。 -
関連データを再点検する
観察、元文書、記憶の状態をそれぞれ確認します。再処理後に古い情報が再生成されていないかも調べ、結果とAPI応答、処理完了状態を一緒に記録します。
| 選択肢 | 変える対象 | 選ぶ目安 | 完了確認で見る点 |
|---|---|---|---|
| 記憶を修正 | 記憶の内容 | 正しい事実へ置き換えたい | 修正後のRecallが期待する事実を返す |
| 記憶を失効 | 記憶の有効性 | 現在は使わせたくない | 対象がRecallに現れず、保持の扱いも確認できる |
| 観察を消去 | 記憶から派生した観察 | 元の記憶は残し、まとめだけを更新したい | 処理完了後に観察が更新されている |
| 文書を削除 | 元文書 | 元情報そのものが不要 | 文書と派生データを別々に確認できる |
今週はテスト環境で対象層と再召回を確認する
今週の作業では、最初に「記憶・観察・元文書」のどこを直すのかを記録し、変更前のRecall結果を保存してください。次に適切な操作を選び、API応答と非同期処理の完了状態を確認します。最後に同じ条件でRecallを行い、元文書の修正や削除後に古い事実が再生成されないことまで検収します。
- [ ] 対象が記憶・観察・元文書のどれか特定した
- [ ] 失効を完全削除と混同していない
- [ ] 観察の消去を記憶の削除と混同していない
- [ ] 元文書に古い事実が残っていないか調べた
- [ ] API応答と非同期処理の完了状態を記録した
- [ ] 変更前後で同じ条件のRecallを実行した
現在の本番環境だけで確認すると、共有データへの影響を避けにくく、処理の再実行や切り戻しの検証もしづらくなります。一方、Macを使った一時的な検証環境なら、本番と切り分けた動作確認に利用できますが、長期稼働の本番バックエンドや大規模な常時負荷、物理機器との接続が必要な用途には適しません。短期間だけ独立した環境が必要なら、Hashvpsのサービス案内を確認し、手元の環境や既存クラウドで十分な場合はそのまま使うなど、検証期間と運用要件で選んでください。
Agentの検証・運用に、専用のクラウドMacを
HashvpsのMac miniなら、Apple Silicon M4とネイティブmacOSの環境でAgentの処理やビルドを実行できます。
インスタンスごとの専用IPv4と最大1Gbpsの専用帯域幅で、接続環境を分けた検証やリモート操作に活用できます。