Прочитал интересную статью на Хабре 📰 про синтетические и нарративные тесты для оценки нейронок. Получается, что синтетика не показательна, так как нейронки тренируют для того, чтобы с ней справляться, поэтому нарративные тесты лучше.

Для примера в статье используют серию вопросов по содержанию “Звездных Войн” 🌌 и в итоге Qwen начинает галлюцинировать и выдумывать то, чего не было на самом деле.

То есть DeepSeek лучше? Я решил проверить, начав параллельно задавать одни и те же вопросы по написанию кода каждой из них.

Что за код я пишу? Сейчас хочу сделать крутые отчеты по Директу 📊, которые собираются полностью на Питоне (от сбора сырых данных по API до формирования pdf с цветными отметками, на что обратить внимание). А в перспективе этот скрипт будет обсчитывать все данные внутри нашей id:CRM и выдавать для собственника ключевые показатели его бизнеса на одном экране.

Так вот, делюсь результатами своего теста:

Qwen периодически впадала в цикл и повторяла одни и те же ответы, которые не решали задачу. Сброс контекста не помогал, “по шагам” тоже. На ее фоне DeepSeek с 1-2 раза находила решение этих же задач.

Там где Qwen справлялась, она делала это очень быстро. ⚡ DS отвечает медленнее.

Контекст DS меньше и она периодически посреди решения закрывает чат и заставляет создавать новый, в котором приходится заново объяснять задачи. Qwen помнит реально много 🧠. Уж не знаю, насколько правдива инфа про 1.000.000 токенов контекста, но как говорится “не было ни единого обрыва”.

И еще об обрывах. DS довольно часто теряет связь с сервером 🔁. На столько часто, что даже появилась мысль поставить ее локально. Потому что это сильно мешает работе. Квен работает 100% стабильно (по крайней мере у меня).

Что в итоге? В итоге я хотел оставить 1 нейронку из 2, а получилось, что пока DeepSeek не глючит, то пользуюсь ей, а при тормозах и обрывах возвращаюсь в Qwen. То есть DS действительно выдает более качественные ответы касающиеся кода, но при написании текста, если не требуется высокая точность (как в примере с содержанием произведения) они показывают себя одинаково.

✨ __Пишите в комментариях про свой опыт использования нейронок. __💬