Нейросеть не тупит, её завалили
Нейросеть не тупит, её завалили #разборы [9/12] Пришёл руководитель юридического отдела крупной компании. Больше 5 лет рулит юристами. Директор у них айтишник до мозга костей и так сформулировал политику компании: юристы не должны думать. Думает нейросеть. Юристы принимают решения. Ну он и пользуется. Корпоративный GPT, шаблонные договоры, корпоративные процедуры. Всё по наитию, без всякого обучения. Болит две вещи: 🔹GPT со всем соглашается. Поправишь его: - да-да, вы правы. А может не прав?! 🔹Через пару итераций GPT напрочь забывает, что было в ТЗ и в файлах. Начали копать, откуда амнезия. Выяснилось, что документы грузит в чат в три захода. Файлов около 30, каждый страниц по 10. Посчитали на коленке - за несколько кругов выходит под миллион токенов. Ровно потолок контекстного окна. GPT не тупит. Его просто завалили ))) Что посоветовал: 1️⃣ Никуда не переезжать. Алиса и бесплатный DeepSeek нормальны для поздравлений и писем, но анализ большого массива документов тянут только платные модели топ-уровня: GPT, Gemini, Claude. Уже сидите на GPT - сидите, менять шило на мыло смысла нет. 2️⃣ Проекты внутри GPT + системный промт. Туда же прописать роль критика, чтобы не поддакивал. Вводные давать порционно, а не всё подряд что "может пригодиться". Разговор разросся - просим саммаризировать - это уменьшает нагрузку памяти диалога. 3️⃣Его мечта - база, где лежат все юрлица, уставы, директора, системы налогообложения, а нейронка сама понимает, нужно ли одобрять сделку. В интерфейсе чата такое собрать - может и можно, но лучше, сделать агента с RAG, векторной базой. А это, не решишь в одном чате. Нужна уже разработка. У компании свой отдел разработки и своя ERP - так что идею можно нести директору. Работа с нейронкой сейчас - менеджерская задача. Не понимаете, какой результат хотите - получите ерунду. Поентому сначала надо разбираться с ожиданиями результата.