Сначала определите, что именно нужно исправить: отдельную запись памяти, производное наблюдение или исходный документ. В Hindsight доступны операции изменения либо признания памяти недействительной, а также очистки производных наблюдений; ни одну из них не следует автоматически считать физическим удалением данных. На этой неделе проверьте каждый объект в изолированной среде, запишите ответы API и подтвердите результат повторным Recall.
Это руководство для технических руководителей, которым нужно принять изменение памяти перед выпуском.
Оно также подойдёт backend-разработчикам и инженерам продукта, отвечающим за корректность ответов Agent.
Если вы выбираете систему памяти с нуля, здесь важнее всего раздел о проверке семантики удаления.
Удаление воспоминаний Hindsight: сначала выберите нужный объект
Когда Agent повторяет неверный факт, легко принять первое исчезновение записи из ответа за успешное удаление. Но в процессе участвуют разные уровни данных. Запись памяти может быть связана с исходным документом, а ответ на запрос Recall — содержать вывод, построенный на основе памяти и её наблюдений. Поэтому начинайте не с команды удаления, а с локализации источника.
Для диагностики удобно разделить систему на три объекта:
- Исходный документ — текст, из которого система получила сведения. Проверьте, остался ли в нём старый факт и может ли документ обрабатываться повторно.
- Запись памяти — сохранённое утверждение, которое можно искать, проверять и, если это допускает используемая версия API, редактировать или признавать недействительным.
- Наблюдение — производный результат, связанный с памятью. Его очистка не равнозначна удалению исходной записи.
Такое разделение соответствует разным группам операций в документации Hindsight по управлению памятью, описании работы с документами и справке по списку воспоминаний. Важный практический вывод: проверяйте идентификаторы и связи между объектами, а не только текст, который показал интерфейс.
Зафиксируйте до изменения: формулировку ошибочного факта, пример запроса, на котором Agent его воспроизводит, идентификатор найденной памяти и, если доступно, сведения о связанном документе. Это создаст исходную точку для сравнения. Без неё можно увидеть новый ответ, но не понять, какая именно операция изменила поведение.
Важно. Скрытая из ответа память не обязательно удалена. Если ваша задача связана с удалением персональных или конфиденциальных данных, отдельно проверьте судьбу документа, памяти, наблюдений и журналов в соответствии с актуальной документацией вашей версии API.
Исправление факта и признание памяти недействительной
Выбирайте действие по требуемому результату. Если утверждение должно оставаться актуальным, но содержать правильные сведения, рассмотрите изменение текста записи. Если оно больше не должно участвовать в будущих ответах, проверьте доступную операцию признания памяти недействительной. Эти варианты решают разные задачи: первый корректирует содержание, второй влияет на статус или дальнейшее использование записи.
Документация по управлению памятью Hindsight описывает операции управления записями. Однако конкретное поведение, включая сохранение связанных данных, может зависеть от версии API и реализации. Поэтому не переносите свойства одного окружения на другое без проверки. В частности, пометка недействительности не является доказательством физического стирания.
Перед изменением сформулируйте критерий приёмки. Например: «При запросе, который раньше возвращал неверное утверждение, Agent больше не использует его; при запросе о правильном факте возвращается новая версия». Если требуется именно удаление данных, критерий должен дополнительно указывать, какой объект и какое связанное содержимое должны исчезнуть. Это отдельная проверка, а не следствие успешного изменения текста.
После операции сохраните ответ API и повторите запрос Recall, соответствующий реальному пользовательскому сценарию. Описание интерфейса Recall помогает ориентироваться в запросе и его результате. Сравнивайте не только дословное совпадение, но и смысл: старое утверждение может вернуться в перефразированном виде или через связанную память.
Очистка наблюдений и удаление памяти
Если сам факт верен, но Agent делает на его основе неточный вывод, проблема может быть не в исходной записи, а в производном наблюдении. В таком случае отдельная операция очистки наблюдений может быть уместнее правки памяти. Официальная справка по очистке наблюдений описывает эту операцию отдельно от управления записями памяти.
Практически важно проверить два результата по отдельности:
- Удалось ли очистить или обновить наблюдение, из-за которого возникал неверный вывод?
- Сохранилась ли исходная память, как и ожидается, либо её также требуется изменить?
Не трактуйте исчезновение наблюдения как удаление исходного воспоминания. И наоборот: правка памяти не доказывает, что все производные данные уже пересчитаны. Если операция выполняется асинхронно, дождитесь её завершения и проверьте итоговое состояние. В описании операций Hindsight следует свериться с тем, как текущая версия сообщает о ходе фоновой работы.
Пока статус не подтверждён, не запускайте проверку так, будто все изменения уже вступили в силу. Иначе вы можете принять промежуточный ответ за окончательный и повторить очистку без необходимости. Запишите идентификатор операции, если API его возвращает, и дождитесь завершённого состояния способом, предусмотренным документацией.
Источник ошибки и риск повторной обработки
Исправление памяти не обязательно меняет документ, из которого она появилась. Если исходный текст по-прежнему содержит неверный факт, повторная обработка может создать его снова. Это особенно важно после очистки или переиндексации: кратковременное отсутствие утверждения ещё не означает, что источник ошибки устранён.
Используйте последовательность:
- Найдите исходный документ и установите, содержит ли он ошибочную версию.
- Если документ должен оставаться в системе, исправьте его содержимое до повторной обработки.
- Если документ подлежит удалению, выполните предусмотренную для вашей версии API операцию и зафиксируйте её ответ.
- Дождитесь завершения обработки, если она выполняется не сразу.
- Повторно проверьте записи памяти, наблюдения и Recall по исходному запросу.
Для удаления документа сверяйтесь с официальной справкой по соответствующему API. Сам факт успешного ответа на запрос ещё не подтверждает, что связанная память и производные наблюдения очищены именно так, как требует ваша политика. Сначала выясните семантику удаления в документации, затем подтвердите её в тестовой среде.
Если один и тот же факт мог попасть в систему из нескольких источников, проверяйте их отдельно. Удаление одного документа не означает, что другие документы или записи памяти с аналогичным содержанием тоже исчезли. Для устойчивого результата исправьте первоисточник, выполните нужные операции над памятью и проверьте ответы Agent после завершения всех связанных задач.
Сравнение действий перед приёмкой
| Действие | Когда выбирать | Что проверить после операции | Чего операция сама по себе не доказывает |
|---|---|---|---|
| Изменить запись памяти | Факт нужен, но его содержание неверно | Новое содержание записи и ответ Recall на старый запрос | Что исходный документ тоже исправлен |
| Признать память недействительной | Запись больше не должна использоваться как актуальный факт | Статус записи и отсутствие ошибочного факта в Recall | Что содержимое физически удалено |
| Очистить наблюдение | Неверен производный вывод, а не обязательно исходный факт | Завершение операции, новое наблюдение и состояние исходной памяти | Что сама память или документ удалены |
| Удалить исходный документ | Источник должен быть удалён или больше не должен обрабатываться | Ответ API, состояние документа, связанные записи и Recall | Что все производные объекты исчезли без отдельной проверки |
Эта таблица — не утверждение, что каждая версия Hindsight предлагает одинаковый набор операций. Она помогает выбрать проверяемый результат. Сопоставьте действия с актуальной справкой API и документацией конкретной версии, установленной в вашем окружении. Если описания расходятся, ориентируйтесь на фактическое поведение тестовой установки и фиксируйте расхождение как блокирующий вопрос приёмки.
Проверка результата через повторяемый сценарий
Соберите тест в изолированной среде, прежде чем менять данные, которые использует работающий Agent. У теста должны быть исходный запрос, ожидаемый ответ и список объектов, на которые распространяется изменение. Для каждой операции сохраняйте запрос API, ответ, идентификаторы объектов и статус фоновой задачи, если она создаётся.
Далее действуйте по шагам:
- Воспроизведите ошибку. Отправьте запрос Recall, который ранее приводил к неверному факту. Сохраните полученный результат как исходное наблюдение для сравнения.
- Определите объект. Найдите запись памяти и проверьте её связи с исходным документом и наблюдениями. При необходимости используйте документированные операции списка и получения данных.
- Выберите одну операцию. Измените запись, признайте её недействительной, очистите наблюдение либо удалите документ — в зависимости от причины ошибки. Не объединяйте разные действия в один тест: иначе будет сложно установить, что именно повлияло на результат.
- Дождитесь завершения. Если API сообщает об асинхронной обработке, следите за её состоянием согласно описанию операций. Не считайте принятие запроса подтверждением завершения.
- Повторите Recall. Используйте первоначальную формулировку запроса, затем проверьте близкий по смыслу вариант. Убедитесь, что неверное утверждение не возвращается в изменённой форме.
- Проверьте соседние объекты. Если меняли наблюдение, отдельно проверьте исходную память. Если удаляли документ, проверьте связанные записи и возможность повторной обработки.
- Запишите решение. Сохраните фактическую семантику операции для используемой версии API. Укажите, что было изменено, что осталось доступным и при каких условиях проверка считается пройденной.
Не ограничивайтесь сообщением интерфейса «готово». Надёжная приёмка состоит из ответа API, подтверждённого завершения операции и повторного теста Recall. Если эти результаты противоречат друг другу, изменение нельзя считать проверенным: вернитесь к идентификаторам объекта, исходному документу и связанным наблюдениям.
Для команды это также способ отделить функциональную проверку от политики хранения. Тест Recall отвечает на вопрос, получает ли Agent ошибочный факт. Он не отвечает автоматически на вопрос, удалены ли данные из хранилища, журналов или резервных копий. Для второго вопроса нужны документированные гарантии конкретной версии и отдельная проверка предусмотренных механизмов хранения.
Контрольный список для технического руководителя
Перед выпуском отметьте каждый пункт:
- [ ] Определено, что содержит ошибку: документ, память или наблюдение.
- [ ] Выбранная операция подтверждена документацией именно используемой версии API.
- [ ] Сохранены ответ API и идентификаторы затронутых объектов.
- [ ] Для фоновой операции подтверждено завершение, а не только принятие запроса.
- [ ] Исходный документ исправлен или удалён, если он мог повторно внести старый факт.
- [ ] Повторный Recall не возвращает ошибку ни в исходной, ни в близкой формулировке.
- [ ] Отдельно зафиксировано, что операция изменила и чего она не гарантирует.
- [ ] Для требований к физическому удалению проверена семантика хранения, а не только поведение Agent.
Если вы не можете подтвердить один из пунктов, оставьте изменение на проверке. Это особенно важно, когда пользовательские данные должны удаляться, а команда пока проверила только то, что Agent перестал их упоминать.
Частые вопросы
Как Hindsight перестать возвращать ошибочный факт Agent?
Найдите конкретную запись и проверьте, не приходит ли неверный вывод из связанного наблюдения. Исправьте или признайте запись недействительной согласно актуальному API, а затем повторите Recall. Если исходный документ всё ещё содержит прежнее утверждение, исправьте или удалите источник до повторной обработки.
Сохраняются ли данные после признания памяти недействительной?
Не считайте изменение статуса физическим удалением. Оно может изменить дальнейшее использование записи, но фактическое сохранение данных определяется документацией версии и проверкой конкретного окружения. При требованиях к удалению зафиксируйте отдельно, какие объекты должны быть очищены.
Удаление наблюдений стирает исходную память?
Очистка наблюдений и удаление исходной записи — разные операции. После очистки проверьте состояние памяти отдельно и повторите Recall. Исчезновение производного результата не доказывает, что исходная запись или документ удалены.
Как убедиться, что удаление документа очистило память?
Проверьте статус документа, связанные записи и Recall по прежнему факту. Дождитесь завершения асинхронной обработки, если она предусмотрена. Если факт возвращается, ищите другие источники и проверьте, не была ли старая версия создана повторно из необработанного документа.
Когда политика требует точного контроля над пользовательскими данными, дополните техническую приёмку внутренними правилами обработки и хранения. На странице условий Hashvps можно сверить опубликованные условия сервиса; для вопросов, требующих уточнения, используйте канал связи Hashvps. Это не заменяет проверку Hindsight API и не является подтверждением его семантики удаления.
После проверки памяти выберите среду по требованиям к изоляции данных, доступу к API и поддержке тестовых запусков. Если вам нужно временно поднять окружение для проверки Agent, аренда Mac у Hashvps может быть удобнее, чем использовать рабочую машину: локальная среда может быть занята другими задачами, а самостоятельная подготовка отдельного узла требует времени на настройку и обслуживание. Но для постоянной тяжёлой нагрузки или обязательного физического оборудования сначала сравните аренду с покупкой собственного Mac. Для начала изучите доступные варианты Hashvps и выбирайте их только после того, как определили требования к вашему тестовому процессу.
Запустите облачный Mac для рабочих процессов с ИИ-агентами
Hashvps предоставляет выделенный Mac mini с macOS для удалённой работы, тестирования и автоматизации.
Подключайтесь по SSH или VNC и управляйте средой через панель управления после активации.