9 ключевых работ, заложивших основу современного ИИ
9 ключевых работ, заложивших основу современного ИИ Развитие исследований в области искусственного интеллекта идёт стремительными темпами — каждый месяц публикуются тысячи новых работ. Однако есть несколько ключевых статей, которые заложили фундамент современных технологий. Вот список важнейших публикаций, которые должен знать каждый, кто интересуется ИИ: 1. В 2013 году была представлена модель word2vec, которая позволила понять семантическое значение слов и сделала возможной «математику» типа «король — мужчина + женщина = королева». 2. В 2017 году появилась архитектура Transformer, которая заменила RNN и легла в основу всех крупных языковых моделей. 3. В 2018 году BERT внёс вклад в развитие архитектуры Transformer, представив двунаправленное предобучение для глубокого понимания языка. 4. Также в 2018 году появился GPT, который запустил целую революцию в области языковых моделей благодаря комбинации неконтролируемого предобучения и контролируемой тонкой настройки. 5. В 2022 году метод Chain-of-Thought Prompting показал, что пошаговое «размышление» улучшает качество рассуждений в три раза. 6. В 2020 году были сформулированы законы масштабирования для нейронных языковых моделей, объясняющие, почему «больше — лучше». 7. В 2020 году был представлен метод RLHF, который лежит в основе «полезности» ChatGPT. 8. В 2021 году LoRA позволила настраивать модели с миллиардами параметров, обучая лишь 0,01 % весов, что сделало кастомизацию языковых моделей доступной для всех. 9. В 2020 году была представлена концепция Retrieval-Augmented Generation, которая объединила извлечение информации и генерацию и легла в основу всех систем ИИ, основанных на знаниях.