📚 Убегаем от копирования документов. Как собрать документацию из Интернета в PDF? На примере API Яндекс.Директ

Продолжая делать самые крутые отчеты для предпринимателей 📊, я столкнулся с тем, что облачные нейросети не очень в курсе изменений API Яндекс.Директа, поэтому совершают ошибки при написании запросов 🚫.

Сначала я закидывал нужные страницы документации прямо в чат, но в итоге мне это надоело, потому что способ так себе:

• Контекст переполняется 💥,
• Старые страницы забываются 🔁,
• Основа идут ошибки ❌.

Да и бегать по докам в поисках нужной инфы, чтобы закинуть в чат, тоже не очень удобно.

И тут на помощь приходит RAG 🤝. Это локальная база знаний, к которой локальная нейронка имеет доступ и к которой она обращается при написании ответа. Но чтобы собрать RAG, нужно загрузить в него документацию. А здесь возникает сложность: у Яндекс.Директа нет доков в скачиваемом формате, а ссылки на доки нельзя загрузить в RAG.

Сначала я хотел сохранить страницы вручную, но после 5 сохранений понял, что заниматься этим можно долго ⏳. И это я еще не знал точного количества страниц! Но даже если делегировать кому-то эту работу, то при обновлении документации придется опять привлекать человека и оплачивать то же самое 💸. И тут еще остаются вопросы по срокам и качеству, потому что делать это будет какой-нибудь фрилансер, а все, кто работали с фрилансерами, понимают, какая это рулетка 🎲.

Так что я решил написать скрипт на Питоне 🐍, который пробежит по всем страницам и сохранит их в PDF. А чтобы было удобнее проверять результат, каждая страница сохраняется отдельно и называется, как пункт из оглавления. Оказалось, что там 370 страниц ! Как же хорошо, что я не стал сохранять их вручную 😅.

Скрипт выложил в открытый доступ, с некоторыми доработками им можно парсить любые доки.

🔗 Ссылка на репозиторий: https://github.com/vshlykov/parse_yandex_docs

__✨ Пишите в комментариях, какую интересную автоматизацию вы делали или использовали? __💬