Доклад Баланс точности и полноты: ML vs if'чики
Доклад Баланс точности и полноты: ML vs if'чики #owasp #митап Последний доклад тоже мне запал в душу, за счет обильного присутствия метрик и очень высокой схожести пути Эээксперементов с WAF и то как я пытался строить Guardrail, не по тупому LLM-as-judge, а с регулярками, ML и уже на последнем этапе может быть LLM. Путь и метрики реально схожие оказались и я для себя подкрепил уверенность, что мыслил в правильном направлении. Фоток с доклада много, советую их сохранить - очень ценная информация для тех, кто с этим ранее не сталкивался, а задача такая будет или уже стоит Хорошим дополнением было: иметь несколько gold set (промптов или запросов) на которых вы сможете тестить не деградирует ли ваша ML модель или в целом система. Важно иметь именно несколько, иначе вы не заметите деградацию, а метрики будут фейково расти. Эти сеты не должны попадать в обучающую выборку, иначе в них нет смысла. И также стоит делать регресионные тесты, когда на давно отработанных тестах и новых данных, которые вы собираете за время работы сервиса Спасибо за организацию OWASP_RU