На странице представлено визуальное средство для изучения механизма внимания (attention...
На странице представлено визуальное средство для изучения механизма внимания (attention) в больших языковых моделях — можно наглядно увидеть, какие прошлые токены влияют на генерацию каждого нового слова. Визуализация строится на анализе весов внимания и позволяет понять, почему модели так хорошо копируют фрагменты текста: система каждый раз выбирает, к каким токенам обратиться для следующего шага. Для этого разработчик использовал специальную версию языковой модели, модифицированную для вывода внутренних данных. Код проекта и обученная модель доступны на GitHub и Hugging Face. Источник: https://ishamf.dev/p/llm-attention-visualizer/
34 просмотров