Прочитал интересную статью на Хабре ? про синтетические и нарративные тесты для оценки нейронок. Получается, что синтетика не показательна, так как нейронки тренируют для того, чтобы с ней справляться, поэтому нарративные тесты лучше.
Для примера в статье используют серию вопросов по содержанию «Звездных Войн» ? и в итоге Qwen начинает галлюцинировать и выдумывать то, чего не было на самом деле.
То есть DeepSeek лучше? Я решил проверить, начав параллельно задавать одни и те же вопросы по написанию кода каждой из них.
Что за код я пишу? Сейчас хочу сделать крутые отчеты по Директу ?, которые собираются полностью на Питоне (от сбора сырых данных по API до формирования pdf с цветными отметками, на что обратить внимание). А в перспективе этот скрипт будет обсчитывать все данные внутри нашей id:CRM и выдавать для собственника ключевые показатели его бизнеса на одном экране.
Так вот, делюсь результатами своего теста:
Qwen периодически впадала в цикл и повторяла одни и те же ответы, которые не решали задачу. Сброс контекста не помогал, «по шагам» тоже. На ее фоне DeepSeek с 1-2 раза находила решение этих же задач.
Там где Qwen справлялась, она делала это очень быстро. ⚡ DS отвечает медленнее.
Контекст DS меньше и она периодически посреди решения закрывает чат и заставляет создавать новый, в котором приходится заново объяснять задачи. Qwen помнит реально много ?. Уж не знаю, насколько правдива инфа про 1.000.000 токенов контекста, но как говорится «не было ни единого обрыва».
И еще об обрывах. DS довольно часто теряет связь с сервером ?. На столько часто, что даже появилась мысль поставить ее локально. Потому что это сильно мешает работе. Квен работает 100% стабильно (по крайней мере у меня).
Что в итоге? В итоге я хотел оставить 1 нейронку из 2, а получилось, что пока DeepSeek не глючит, то пользуюсь ей, а при тормозах и обрывах возвращаюсь в Qwen. То есть DS действительно выдает более качественные ответы касающиеся кода, но при написании текста, если не требуется высокая точность (как в примере с содержанием произведения) они показывают себя одинаково.
✨ __Пишите в комментариях про свой опыт использования нейронок. __?
