Оценивайте agent через agents-cli: запускайте проверки на датасете, измеряйте качество ответов и работы с инструментами, анализируйте провалы и сравнивайте результаты до и после изменений. Навык помогает настроить цикл улучшения для проектов на разных фреймворках.

Возможности

  • Подсказывает, как подготовить датасет EvaluationDataset для одиночных и многошаговых сценариев.
  • Помогает выбрать встроенные метрики: например, multi_turn_task_success, hallucination и safety.
  • Показывает, как настроить custom metrics: детерминированные проверки на Python или LLM-as-judge.
  • Описывает цикл запуска, анализа ошибок и повторной проверки; для сравнения результатов используется eval compare.
  • Разбирает причины низких оценок и связывает их с правками инструкций, tool descriptions и логики agent.

Когда использовать

  • Нужно запустить оценку agent или проверить изменения перед deploy.
  • Нужно составить датасет для eval или выбрать метрики.
  • Оценки упали, и нужно понять, что исправлять.
  • Нужно сравнить результаты до и после правок или настроить custom metric.

Установка

uv tool install google-agents-cli

Примеры

Запустить eval на стандартном датасете:

agents-cli eval run

Выбрать датасет, метрики и каталог результатов:

agents-cli eval run --dataset tests/eval/datasets/custom.json --metrics final_response_quality,safety --output ./out/

Сравнить результаты до и после изменений:

agents-cli eval compare baseline.json candidate.json

Похожие навыки

google-agents-cli-adk-code#56

google/agents-cli

Этот skill следует использовать, когда пользователь хочет «писать agent code», «построить агент с ADK», «добавить инструмент», «создать callback», «определить агент», «использовать…»

google-agents-cli-deploy#59

google/agents-cli

Этот навык следует использовать, когда пользователь хочет «развернуть agent», «развернуть мой ADK agent», «настроить CI/CD», «настроить секреты», «устранить проблемы развёртывания», или…

google-agents-cli-publish#61

google/agents-cli

Этот навык следует использовать, когда пользователь хочет «опубликовать agent», «опубликовать мой ADK agent», «зарегистрировать agent в Gemini», «опубликовать в Gemini» (ранее…

google-agents-cli-workflow#64

google/agents-cli

Этот навык следует использовать, когда пользователь хочет «разработать an agent», «построить an agent с использованием ADK», «запустить an agent локально», «отладить agent code», «протестировать an agent»,…

find-skills#1

vercel-labs/skills

Помогает пользователям обнаруживать и устанавливать agent skills, когда они задают вопросы вроде «как сделать X», «найти skill для X», «есть ли skill, который может…», или выражают…

hyperframes-cli#2

heygen-com/hyperframes

HyperFrames CLI — создание каркаса проекта, проверка кадров, редактирование таймлайнов, предварительный просмотр, рендеринг, публикация и просмотр истории проекта; чтение JSON и восстановление после сбоев.