Нашел ИИ забытый метеорит в архивах 400-летней давности
Нашел ИИ забытый метеорит в архивах 400-летней давности Наткнулся на историю одного инженера, который прочитал пост историка про то, как тот через Opus 5.5 нашел в архивах Голландской Ост-Индской компании новое свидетельство очевидца про дронта (это вымерший такой нелетающий голубь, если кто не помнит). И решил повторить, только в разы масштабнее. Собрал пайплайн из нескольких моделей и направил на архив GLOBALISE - это 4.35 миллиона страниц рукописных документов компании с 1600-х по 1790-е, плюс старые голландские и американские газеты. Если читать это вручную по 2 минуты на страницу, 8 часов в день, 5 дней в неделю - уйдет 70 лет. Домашняя ИИ-установка прошла весь архив за одну ночь, превратив 5.7 млн фрагментов текста в смысловые отпечатки, чтобы искать не по словам, а по смыслу (носорог в XVII веке писался на голландском штук пятнадцатью разными способами). Дальше дешевая быстрая модель отсеивала мусор - прочитать 59 тысяч упоминаний слонов стоило около трех долларов. И только то, что прошло отбор, читала более крупная модель, а потом каждую находку сверяли со сканом оригинальной страницы. И вот тут самое интересное - перед реальным поиском он сначала проверил пайплайн на уже известных событиях, типа как закопать свои часы и проверить, найдет ли их металлоискатель. А когда проверка прошла, система нашла в газете из Батавии 1812 года письмо про упавший с неба камень, который обходили каталоги метеоритов все эти 200 лет. Судя по всему, это самое раннее зафиксированное падение метеорита в той местности, на 26 лет раньше текущего рекорда. Плюс всплыли упоминания потерянных носорогов и незафиксированных извержений вулканов. Как по мне, это ровно та история, про которую я постоянно думаю - ИИ тут ценен не тем, что он умный, а тем, что он не устает читать то, что человек физически не осилит. А дальше все равно решает человек - куда копать, когда остановиться и чему верить. Без этого автор просто утонул бы в ложных находках. Вывод простой - самые крутые применения ИИ сейчас не в замене человека, а в том, что он открывает доступ к данным, которые до этого были погребены под объемом, а не под сложностью. https://jessewaites.com/blog/post/i-pointed-ai-at-400-years-of-archives/ А как думаете, сколько еще такого забытого лежит в архивах, библиотеках и подвалах архивариусов, просто руки не доходили прочитать?)