Brave продаёт ИИ доступ к поисковому индексу. Ваш сайт может быть в нём
Через платный Brave Search API разработчики ИИ получают результаты из поискового индекса Brave. Сервис может вернуть и готовые фрагменты страниц, которые модель использует в ответе. Для владельца сайта здесь есть подвох. У робота Brave нет отдельного идентификатора, по которому ему можно было бы закрыть доступ в robots.txt, сохранив сканирование тех же страниц Googlebot.
Что показала проверка сайта No Hacks
3 ноября основатель No Hacks Слободан Манич ввёл в Brave Search запрос site:nohacks.co. По его подсчёту, на первой странице выдачи было 16 страниц его сайта, включая 13 статей. В результате для главной страницы Brave показывал прежнее описание, хотя Манич изменил его в тот же день.
По словам Манича, в его robots.txt указаны 13 ИИ-роботов. Двум из них, роботам Meta и ByteDance, он запретил доступ. Для Brave такое же отдельное правило составить не получилось.
Свой сайт можно проверить тем же способом. Откройте Brave Search, введите site:example.com и подставьте свой домен. Найденные страницы уже видны в выдаче Brave. Чтобы установить, получал ли их текст конкретный ИИ-сервис, понадобятся другие данные.
Почему robots.txt не позволяет отдельно запретить Brave
В robots.txt правило для конкретного робота задают по его идентификатору. Brave прямо объясняет в справке, почему у её робота нет отдельного User-Agent. Некоторые сайты разрешают сканирование только Googlebot, и отдельное имя закрыло бы Brave доступ к таким страницам. Компания утверждает, что её робот пропускает страницы, закрытые для Googlebot.
Для удаления страницы из выдачи Brave предлагает noindex. Общую директиву noindex обрабатывает и Google, поэтому страница может исчезнуть из обеих выдач. Чтобы обработать директиву, робот должен иметь возможность открыть страницу и прочитать её. Запрет сканирования в robots.txt может этому помешать. Это различие стоит учитывать при проверке индексации в Google.
Что покупают ИИ-сервисы у Brave
Обычная выдача показывает заголовки, ссылки и короткие описания. Интерфейс LLM Context выдаёт ещё и извлечённые фрагменты страниц вместе с данными об источниках. ИИ-сервис может использовать эти фрагменты, чтобы составить ответ без отдельного запроса к сайту. Покажет ли он ссылку и перейдёт ли по ней читатель, зависит от самого сервиса и пользователя.
Среди пользователей API Brave называет Cohere, Mistral, Perplexity и You.com. С Claude ситуация менее ясная. В марте 2025 года Anthropic добавила Brave Search в список субподрядчиков, а разработчик Саймон Уиллисон обнаружил совпадение всех десяти результатов в одном поисковом тесте. В июне 2026 года Brave описала подключение своего поиска к Claude Cowork через MCP. Для встроенного веб-поиска Claude поставщик на ноябрь 2026 года остаётся неподтверждённым.
О чём спорят Brave и издатели
2 ноября The New York Times подала иск против Brave Software. Издатель утверждает, что компания копировала защищённые авторским правом материалы и предоставляла их ИИ-сервисам без разрешения. Daily News, Chicago Tribune и Orlando Sentinel в тот же день подали отдельный иск. Anthropic и xAI фигурируют в претензиях The New York Times как предполагаемые клиенты Brave. Ответчиком по делу выступает Brave Software.
В отдельном споре с News Corp, начавшемся в марте 2025 года, Brave защищала индексацию открытых страниц как обычную практику поисковых систем и ссылалась на добросовестное использование. В июле 2026 года News Corp подала встречный иск. Для вебмастера вопрос уже вполне практический. Он может хотеть сохранить страницу в Google и при этом ограничить её сбор для коммерческого API Brave. Документация Brave не описывает способ разделить эти два решения через robots.txt.
