Продолжая делать самые крутые отчеты для предпринимателей ?, я столкнулся с тем, что облачные нейросети не очень в курсе изменений API Яндекс.Директа, поэтому совершают ошибки при написании запросов ?.
Сначала я закидывал нужные страницы документации прямо в чат, но в итоге мне это надоело, потому что способ так себе:
- Контекст переполняется ?,
- Старые страницы забываются ?,
- Основа идут ошибки ❌.
Да и бегать по докам в поисках нужной инфы, чтобы закинуть в чат, тоже не очень удобно.
И тут на помощь приходит RAG ?. Это локальная база знаний, к которой локальная нейронка имеет доступ и к которой она обращается при написании ответа. Но чтобы собрать RAG, нужно загрузить в него документацию. А здесь возникает сложность: у Яндекс.Директа нет доков в скачиваемом формате, а ссылки на доки нельзя загрузить в RAG.
Сначала я хотел сохранить страницы вручную, но после 5 сохранений понял, что заниматься этим можно долго ⏳. И это я еще не знал точного количества страниц! Но даже если делегировать кому-то эту работу, то при обновлении документации придется опять привлекать человека и оплачивать то же самое ?. И тут еще остаются вопросы по срокам и качеству, потому что делать это будет какой-нибудь фрилансер, а все, кто работали с фрилансерами, понимают, какая это рулетка ?.
Так что я решил написать скрипт на Питоне ?, который пробежит по всем страницам и сохранит их в PDF. А чтобы было удобнее проверять результат, каждая страница сохраняется отдельно и называется, как пункт из оглавления. Оказалось, что там 370 страниц ! Как же хорошо, что я не стал сохранять их вручную ?.
Скрипт выложил в открытый доступ, с некоторыми доработками им можно парсить любые доки.
? Ссылка на репозиторий: https://github.com/vshlykov/parse_yandex_docs
__✨ Пишите в комментариях, какую интересную автоматизацию вы делали или использовали? __?
