Рубрика: Uncategorised

  • Как я инвестирую

    Как я инвестирую

    Я вообще могу больше не работать. Есть в любой крупной компании прослойка коллег, которые в курилке, после особенно шершавого совещания, могут такое заявить. Большинство из них, конечно же, гонят пургу. Но есть некоторые, которым веришь.

    Если втереться им в доверие, окажется, что там акции, заводы, пароходы, что-то свое, что-то по наследству от бабушки, которая разбогатела еще при царе. Но суть от этого не меняется. Действительно обеспеченные люди. Почему работают? По привычке?

    Ответа на этот вопрос нет. Но прелесть ситуации конечно в том, что такой вопрос в принципе возможен. Я пока еще не добрался до этого момента. Но процесс идет. Расскажу про часть процесса, а именно о том, как сейчас выглядит моя инвестиционная стратегия в части фондового рынка.

    Краткая справка

    После первых двух лет экспериментов со стоимостным подходом, мне попалась в руки книга Мэба Фабера Global Asset Allocation. Ее не нужно покупать — она свободно доступна для всех желающих.

    В книге приведен бэктест 8 самых популярных портфелей, из которых я в свое время выбрал самый понятный мне — Global Asset Allocation. Я его чутка изменил, потому что не понимал суть REITs и у меня получилась вот такая история.

    Под эту аллокацию были выбраны соответствующие ETF, которые я не менял уже 8 лет. Это IVV как S&P500, IEFA — Акции развитых рынков, VCLT — корпоративные облигации, VGLT — 30 летние казначейские облигации США, PCY — облигации развивающихся рынков.

    Тогда мы все портфели прогоняли через бэктест в portfoliovisualizer и результаты портфеля были внушительными.

    Здесь Portfolio 1 — это как раз мой GAA, а Portfolio 2 — это классический 60/40. GAA выдавал почти на 1% доходности больше (7,84% против 6,98% у 60/40).

    Текущее состояние портфеля

    Прелесть пассивного портфеля в том, что если про него забыть и не подходить к нему долгое время, есть довольно существенная вероятность, что он отработает по рынку.

    В моем случае, этого не произошло. По ряду причин.

    В 2021 году я выгодно закрывал часть позиций, развлекался с дорогими покупками в реальном мире, переезжал в другую страну, в общем пытался вернуться в нормальный ритм после ковида.

    В итоге была полностью закрыта позиция PCY, все остальное продано частично.

    Вот как выглядел мой портфель в начале 2021 года и как он выглядел в конце 2024. Стоит обратить внимание, что я его практически не трогал — то есть аллокации после продажи PCY не восстанавливал.

    Существенно увеличилась доля акций до 72% суммарно, в то же время облигации сократились до 28%. При этом в начальной аллокации акций 45%, а облигаций в том или ином виде всего 55%.

    Вопрос в том, как это отразилось на доходности.

    2014 и 2015 год мы отбрасываем (стратегия была другой и 2014 был не полным годом). По всем остальным годам сложно сказать о решительном преимуществе моего портфеля над 60/40.

    5 лет портфель был лучше, чем бенчмарк. 4 года хуже. В итоге 60/40 за этот период показал доходность 9,4% годовых, а мой портфель 8,75%. При этом если прогнать этот же портфель через Portfolio Visualizer за тот же период — результат будет еще хуже — 8,57% у 60/40 против 6,01% у GAA.

    Если быть до конца честным, то искривленная с 2021 года аллокация сильно улучшила ситуацию. Если бы я следовал изначальной стратегии — то скорее всего результат был бы еще более грустным.

    Что дальше?

    За первые 10 лет я сделал два вывода.

    1. Никакая теория не сравнится с практикой. Можно сколько угодно гонять бэктесты, когда дело дойдет до реального портфеля — никто не знает будущего. Прошлые результаты не гарантируют будущих.

    2. Пассивные инвестиции это надежно, но невозможно скучно. Выбрав портфель на основе бэктеста бесполезно задавать к нему вопросы и менять веса. Ты пассажир. Сел в поезд и поехал. Надейся, что конечная станция где-то в хорошем месте.

    Последние несколько лет все было на авто-пилоте. Пассивный подход, для меня, был скорее вынужденным решением, на активные инвестиции не хватало времени.

    Есть у меня несколько идей

    Несколько лет назад завезли генеративный ИИ. И есть у меня такая идея. Что если всю ту аналитическую работу, которую я раньше делал доверить модели? Насколько это сложно? Будет ли от этого толк? Уверен, что все уже поэксперементировали с этой темой. Тоже хочу попробовать.

    Хотелось бы сделать еще один подход к энергетике. Как нефтянику, мне эта тема близка, но до сих пор у меня не получалось найти для себя альфу в этой истории, сколько я не пробовал. Скоро расскажу о последних попытках и проблемах, которые с этим возникли.

    AGI обещают уже к 2027 году. А значит следующая задача — это человекоподобные (боевые) роботы. Типа тех, что были в легендарном кино I, Robot с Уиллом Смитом.

    В общем планов у меня много. Хочется много инвестировать. Обо всем буду подробно писать. Для этого есть телеграм, подписывайтесь.

  • Я был здесь

    Я был здесь

    Рефлексия на тему 10 лет личных инвестиций и личного блога

    Копался в своих документах и офигел от осознания того, что инвестирую уже больше 10 лет.

    Полное ощущение, что это все было вчера. Вот я прихожу к брокеру, открываю брокерский счет, он мне что-то там рассказывает про какие-то структурные продукты, я ему невнятно киваю, мол “на кой черт я тебе с моими 10 тысячами долларов сдался, почему ты мне все это пытаешься продать”. Потом мучаюсь с установкой QUIK, бросаю все это дело, звоню по телефону трейдерам подаю заявку, чтобы купить …

    Кстати, что я купил?

    Тесла (TSLA), 1 акция куплена, спустя 8 минут продана, явно разбирался с тем как все работает. Думаю парни на том конце конкретно недоумевали о том, что именно я пытаюсь достичь, но мне просто было интересно. А потом понеслась.

    Первые два года я много учился. Прочитал все, что рекомендовали на Quora. Оценивал акции, разные методы, но в основном все вокруг стоимостного инвестирования (value investing). Считал внутреннюю стоимость (intrinsic value), оценивал запас прочности (margin of safety) и пытался понять что из себя представляет Mr. Market. Было важно об этом с кем-то разговаривать, поэтому я даже завел блог, в который регулярно писал и делился своими оценками.

    Господи, как же это было круто.

    А потом это стало занимать так много времени, что превратилось во вторую работу. Стало не хватать времени на основную, я сменил стратегию. Купил на всю котлету пассивный портфель и только регулярно его пополнял.

    Кстати ни пассивный, ни стоимостной подход тогда в России не был популярен. Из гуру того времени был только Спирин, который если и учил, то тоже на мой взгляд криво через российский фондовый рынок. Покупать американские ETF из России было сложно — нужен был статус квалифицированного инвестора. Поэтому все развивалось еле еле. А я был там, на переднем фланге, на линии боевого контакта с западной финансовой грамотностью.

    Я религиозно следовал правилам, которые сам же и придумал. Распространение этих правил было моим крестовым походом.

    1. Только доллары

    2. Деньги лучше сжечь, чем вложить в индекс ММВБ

    3. Покупай сразу, покупай всегда

    4. Никому не верь на слово, все проверяй сам

    Но затем случилась жизнь. Случилась карьера. Случилось все, о чем мечтает любой 27-ти летний парень и стало не до того. Писать я стал реже, чаще о работе, а мой внутренний Уоррен Баффет постепенно ушел на досрочную пенсию.

    Инвестиции сделали меня свободным.

    Не полностью, но в той части, которая была нужна. Я ушел с высокооплачиваемой работы на место по-проще, когда нужен был своим самым близким людям. При этом в моей жизни ничего не поменялось — я жил на накопленное. В нужный момент и без лишней суеты появились новые возможности для роста и я ими воспользовался. Инвестиции помогли не торопиться, а выждать нужно момента.

    Инвестиции справились с покупкой новой машины. Выдержали бесконечный поток дорогих хобби. Они же помогли без проблем переехать в другую страну.

    Как так вышло?

    Ведь могло быть совсем по-другому. Вместо поста на Quora с рекомендацией 10-ти полезных книг со стоимостным инвестированием мне могла попасться какая-то реклама с форексом, который тогда еще был популярен. Или с лучшей стратегией автоследования. Или еще каким-то лохотроном.

    Наверное, мне повезло.

    И я помню, как счастлив был нести это везение всем остальным, случайным свидетелям того неистового блоггерства в Бороде инвестора.

    Последнее время постоянно думаю о том, что — моё?

    Думаю о будущем. Без остановок и перерывов на обед. Прокручиваю сценарии, как все будет завтра, к чем нужно подготовить детей, к чему нужно готовиться самому. Где и как достичь какого-то заветного состояния спокойствия, удовлетворения, единения с бесконечным-вечным. Ответов нет.

    Но похоже нужно смотреть в другую сторону. Подсказки нужно искать в своем прошлом. Генри Оливер (автор Second Act) прекрасно (хоть и немного затянуто) изложил это в своем недавнем посте.

    You are either sitting on a dormant vocation, such as musical skills left unused for years. Or, you are not thinking enough about your own history.

    Our lives are fractal: similar patterns repeat themselves with increasing complexity. A fractal pattern is a very simple pattern or a similar pattern, and it repeats itself on a bigger and more complicated scale, the way that a seed will go from a little sampling with the leaves like this, and it will grow out to be a big canopy.

    So the more interested you are in what am I going to do, the more interested you should be in what have I already done? Probably you’re sitting on the answer.

    Мне нравилось заниматься личными инвестициями, нравилось писать об этом, нравилось спорить с теми, кто во всем искал подвох. Это легко, когда тебе ничего не нужно продавать. Ни курсы, ни секретный канал с сигналами.

    Профит простой. Помог хотя бы одному человеку найти этот верный путь, так же как нашел когда-то сам — это и есть успех. А я точно знаю, что помог. И уверен, что помогу еще.

    А еще я неплохо заработал, примерно 8,75% годовых за 10 лет. Это были потрясающие 10 лет для фондового рынка США, вне всякого сомнения.

    Были и сложные моменты. Например, недавно я занимался тем, что менял брокера, после того, как IB сказал что закроет счет за 30 дней и попросил вывести все средства. Но это другая история.

    И сейчас ситуация на рынке такая, что требует определенного внимания.

    Тем интереснее возвращаться в дело.

  • ИИ против

    ИИ против

    Продолжаем смотреть на то как ИИ бьется с бенчмарками, пытаемся понять насколько далеко мы AGI и доработаем ли мы до заслуженной пенсии

    Давайте начнем с небольшого теста. Я предлагаю вам картинку, паттерн. Ваша задача — понять закономерность и заполнить пустое поле.

    Не сомневаюсь, что после нескольких секунд раздумий у вас получилось что-то типа такого:

    Если да, то вы на сегодняшний день, скорее всего, все еще превосходите по своим интеллектуальным способностям самый топовые ИИ модели.

    ИИ против человека

    Про тест ARC-AGI я как-то рассказывал в своем телеграм-канале. Он легко решается человеком, а у генеративного ИИ вызывает боль и страдания.

    Бенчмарк (как и многие другие) продержался не долго. И новые модели, в частности o3 от OpenAI показала результат, который в принципе можно засчитывать за успех.

     (4 of 4)

    И я в общем воспринял это как сигнал к тому, что мы движемся ближе и ближе к общему ИИ, который сможет решать инженерные задачи.

    Одним из ключевых нюансов, на который все обратили внимание — это то, сколько стоило решение каждой задачи. Модели, сколько бы умными они не были, в основном атаковали тест брутфорсом, заливая сложные задачи инференсом.

    Авторы ARC-AGI это учли в новой версии теста. Он все еще решаем людьми (как это видно из примера выше), но теперь также измеряется эффективность решения.

    Даже самые умные из reasoning-ИИ, вроде o1-pro и R1, набрали всего 1–1.3%. GPT-4.5, Claude 3.7 и Gemini 2.0 — не заточены под рассуждение — набрали еще меньше. Для сравнения: человек в среднем решает 60% этих задач.

    Попробовать свои силы можно по ссылке.

    ИИ против покемонов

    Прогресс вроде есть. Но создается впечатление, что все, что пока получается — это затачивать модели под бенчмарки. Конечно, модели можно затачивать под решение конкретных тестов. Нельзя сказать, что это не честно. Ведь именно так они придут в нашу повседневность — как инструмент для решения конкретной задачи в конкретной области.

    Поэтому вот вам еще один пример, демонстрирующий пропасть между современным ИИ и человеческим интеллектом.

    Anthropic экспериментировали со своей моделью Claude 3.7 Sonnet — дав ей в прямом эфире играть в Pokemon. Это старая игра и нельзя сказать, что она сильно сложная для восприятия человеком. Я в нее играл школьником, даже не зная толком английского языка.

    Claude 3.7 Sonnet, испытывает серьезные трудности даже на начальных этапах игры. 80 часов провел в Mt. Moon, боролся со стеной и забывал что нужно делать в игре в принципе.

    Но это эксперимент, настолько чистый, насколько это возможно. Модель специально не обучали игре, она руководствовалась только общими знаниями о покемонах. Были и проблески интеллекта. Например, когда у модели долго ничего не получалось — она понимала, что нужно менять подход и начинала искать новые варианты решения своих трудностей. Предыдущие поколения моделей в аналогичных ситуациях застревали навсегда.

    Основная проблема сейчас — это ориентация в пространстве. Графика старых поколений приставок настолько простая, что ИИ не понимает, что именно она представляет. Там, где все мы видим дерево или дорогу — ИИ может видеть стену или в принципе не распознать суть объекта.

    Так где мы сейчас?

    Сложно сказать.

    Я все больше склоняюсь к тому, что AGI в том виде, в каком его представляет себе большинство — пока далековат. Мы быстро перескочили с масштабирования моделей к прикручиванию к ним CoT и дистилляции. Для меня, как стороннего наблюдателя, это значит, что базовая планка установлена. Где-то на уровне GPT 4.5. Дальше все равно нужно будет модель адаптировать к тем задачам, которые перед ней будут стоять. Почти как с человеком, которому нужно сходить в институт и получить высшее образование, прежде чем быть полезным.

    А значит кроме изменений в базовом уровне, теперь нужно особое внимание уделять тому, как именно модели адаптируют к задачам. А это уже совсем другая дисциплина, где нужны как ИИ-инженеры, так и subject matter experts.

  • Я разучился концентрироваться. Вы, скорее всего, тоже.

    Я разучился концентрироваться. Вы, скорее всего, тоже.

    В конце пятого курса я проходил производственную практику в московском офисе крупной нефтегазовой компании. Всего было человек десять таких же практикантов. Большинство из них — отличники, у которых оставалось пол года до красного диплома. Я же был нефтяником в третьем поколении и красным мой диплом мог стать, только если я бы случайно уронил его в макароны с кетчупом. Но не смотря на зияющий провал между нашими умственными способностями, я не чувствовал себя отсталым, по сравнению с ними.

    В любом вопросе, я мог складывать мысли в цепочки, а потом выдавать их на ясном и понятном языке. Мыслительный процесс был прямолинейным. Результат гарантированным. Вместе с этими отличниками я написал сильную дипломную работу. Ходят слухи, что часть этой работы попала в лекционный материал руководителя диплома и теперь ее читают несчастным студентам 4го курса.

    Мне кажется, что именно тогда, в конце пятого курса, я был на пике своих скромных интеллектуальных возможностей. Любая задача казалась решаемой. Спустя 15 лет, картина сильно поменялась. Сейчас, без должной подготовки, я выдаю такое спагетти из слов, что слыша себя со стороны, хочется закрыться в темной комнате и на двери повесить знак «не входить, тупая собака». Чтобы собрать более менее вменяемый ответ на какой-то вопрос мне нужно время. Мой процесс мышления можно сравнить с медленным движением пенопласта по стеклу.

    Financial Times приводит статистику, согласно которой в развитых странах пройден пик человеческих мыслительных способностей. Подростки и взрослые показывают худшие за последние 20 лет результаты в тестах.

    IMG_4938.jpeg

    Пик этого графика приходится именно на годы моей защиты диплома. Совпадение? Это возрастные изменения или результат каких-то более серьезных и глобальных процессов?

    Мы теряем способность концентрироваться

    В той же статье FT приводит еще 2 пугающих графика. Респонденты опроса отмечают сложности с тем, чтобы концентрироваться и учиться чему-то новому.

    IMG_4939.jpeg

    Конечно, к каждому такому опросу нужно относиться с осторожностью. Но, очевидно, что изобретение бесконечных лент и залипательных рилсов не прошло бесследно. Сложно перечислить сколько раз я отвлекся пока написал этот текст. Все пришло к тому, что сейчас 5-36 утра и это единственное время дня, когда я могу поддерживать хоть какую-то концентрацию на задаче.

    Оксфордский словарь словом 2024 года выбрал Brain Rot (примерно переводится как гниение мозгов). Потребление простого и ненапряжного контента, которое приводит к ухудшению человеческих умственных возможностей и психического состояния.

    OxfordWOTY_brainrot_graph.png.webp

    И ведь мы сами с собой это делаем. Никто никого силой не заставляет каждые 15 минут поднимать свой телефон и черпать ведрами бесплатный и легко доступный дофамин. Это приятно, не требует от нас никакой работы. Никогда раньше не было так легко активировать химию в своем мозгу и кайфануть. Но вместе с этим уничтожает нашу способность концентрироваться.

    Технологии делают нас тупее

    Война технологий с человеческим потенциалом началась не в 21 веке.

    Сократ говорил, что письменность ослабляет человеческую память. Иоганн Тритемий (1462-1516), крестный отец криптографии и аббат нескольких монастырей по совместительству, в начале своей карьеры написал целую книгу против книгопечатания, защищая рукописный текст, как метод более глубокой работы со знаниями. Учителя математики по всему миру не любят калькуляторы и заставляют несчастных детей учиться считать в уме.

    Генеративный ИИ уже вызывает вопросы ученых в части влияния технологии на интеллектуальные способности людей, которые им пользуются. Вот, например, исследование Microsoft Research на эту тему.

    И в этой цепочке у аргумента есть хотя бы две стороны. С одной стороны мы действительно теряем часть нейронных связей. А с другой — технологии нас освобождают от трудных операций, которые не приносят большой ценности, в пользу более ценных действий. Письменность сделала возможным сохранять и передавать историю. Печать сделала знания более доступными. А калькуляторы и эксель освободили время для концептуальных рассуждений и сути проводимых расчетов. Каким-то таким же будет эффект генеративного ИИ.

    Что хорошего мы получили от бесконечных лент и рекомендательных алгоритмов? Есть ли в этом что-то позитивное или только brain rot?

    16 часов

    Именно столько я провел в инстаграмме за последние две недели. Я даже не заметил как это произошло. И меня это пугает.

    Бесконечная лента это курение. Вредная привычка. К ней тянет. Она всегда под рукой, там всегда есть что-то интересное что запускает дофаминовый цикл. В результате мы теряем возможность концентрироваться. А из-за этого страдает все остальное.

    В отчете Future of Jobs Report от World Economic Forum за 2025 год есть список наиболее востребованных работодателями навыков.

    most_requested_skills_wef_future_of_jobs_2025.jpg

    Здесь пока нет такого навыка, как “способность концентрироваться на задаче”, но уверен, что в ближайшие несколько лет, мы его увидим. Эпидемия уже бушует. И пока мы сами не начнем бороться, наш мозг так и продолжить медленно разлагаться.

  • 10X Инженер

    10X Инженер

    В 1959 году была представлена первая коммерчески успешная копировальная машина — Xerox 914. Это была довольно сложная штука. Чтобы надежно ее эксплуатировать, нужно было обучить небольшой отряд техников и операторов. Самая известная проблема заключалась в том, что машина могла перегреться и загореться. Это было настолько распространено, что в комплекте поставлялся специальный огнетушитель.

    Несмотря на все недостатки нового горячего устройства, его приняли. Даже полюбили. Если не за функциональность, то за имидж. Если у вас в офисе стоял Xerox, вы считались компанией, стремящейся быть на переднем крае инноваций.

    Оператор Xerox

    Даже с выходом новых моделей для работы с копировальной машиной все равно требовался оператор. Это была полноценная работа с обучением. В начале 90-х, когда копировальные машины Xerox впервые появились у нас, я помню, что операторы даже получали молоко, потому что их работа считалась довольно вредной.

    Но затем что-то случилось. Операторы Xerox внезапно пропали. Сегодня, если вам нужна копия, вы просто подходите к ближайшему принтеру и делаете это сами. Почему? Потому что технологии продолжают совершенствоваться.

    Инструменты и миссия

    ИИ и Машинное обучение — это просто инструменты. Между инструментом и человеком с миссией есть разница.

    Копировальная машина Xerox — всего лишь инструмент.

    Знаете, что еще является инструментом? – Машинное обучение. Искусственный интеллект.

    Вроде очевидно. Но похоже не всем. И эти не все – меня раздражают. Они находятся ровно на другом конце спектра, от людей, которые закатывают глаза при словах про Искусственный интеллект.

    Вот как я это вижу. Инструменты помогают людям с их миссией. Без миссии и человека инструменты не имеют никакой ценности. Более того, человек, посвятивший себя инструменту, а не миссии – сам теряет ценность.

    Есть специалисты по молоткам. А есть плотники. Поэтому, выбирая путь развития своих навыков, сосредоточьтесь на своей миссии.

    Был как-то случай..

    Год назад я готовил дипломный проект по машинному обучению. Задача была проста: использовать алгоритм машинного обучения для предсказания температуры стали в ковше после цикла нагрева с использованием графитовых электродов.

    Датасет был разделен на партии металла с несколькими циклами нагрева для одной партии. Я проконсультировался с другом, который является начальником участка на сталелитейном заводе, и он сказал, что наиболее полезным подходом было бы выделить один цикл нагрева и создать модель, которая предсказывала бы температуру в зависимости от времени нагрева в этом одном цикле. Если сталевары одобряют этот подход, значит он правильный, верно?

    Нет, не верно.

    Оказалось, что код-ревьювер моего проекта имел другое мнение. Он настаивал на том, чтобы мы не делили датасет на отдельные циклы и работали с партией в целом. Я знал, что спорить с человеком, который может мгновенно принять или отклонить мой проект, не стоит, поэтому сделал, как он сказал.

    Когда я рассказал эту историю своему другу, он подтвердил, что со специалистами по молоткам трудно спорить. Даже если вы самый опытный плотник.

    Не становитесь специалистом по молоткам

    Это касается всех инструментов. Они эволюционируют. Становятся проще и удобнее в использовании. Я недавно потратил полтора года на изучение всего, что можно узнать о текущем состоянии машинного обучения и ИИ.

    И я не думаю, что это было на 100% правильно потраченное время. Я учился становиться специалистом по молоткам. Вместо этого я должен был учиться становиться плотником. Практика всегда перевешивает теорию.

    Сейчас в области профессионального образования существует огромный вакуум. Потребность в инструментах машинного обучения и новых ИИ в нефтегазовой отрасли очевидна. Но им нужен только ограниченный набор тех навыков, которые сегодня впихиваются всем подряд. Я убежден, что нефтегазовый инженер с базовыми знаниями о том, как сделать простую линейную регрессию или градиентный бустинг, гораздо ценнее, чем выпускник CS с 10-летним опытом различения собак и маффинов.

    Вот мой совет для любого инженера-нефтяника, только что выпустившегося из университета или имеющего 10 лет стажа:

    • Не ждите и не бойтесь — сейчас невероятно просто изучить машинное обучение.

    • Помните о своей миссии — не становитесь специалистом по молоткам, как бы круто они ни выглядели и ни звучали, практически все бесполезные нашему делу пустозвоны.

    • Будьте предельно практичны — применяйте свои знания немедленно, у вашей компании есть все необходимые данные, просто они не знают, как их использовать. Если вы пообещаете результат, они поделятся ими.

    Когда я начинал, не было надежного способа заставить LLM выдавать текст без галлюцинаций. Теперь есть RAG, векторные базы данных и langsmith. Все происходит быстро.

    Желаемая всеми начальниками идея «а можно ли задавать вопросы PDFкам», которую большинство понимают и пытаются использовать как продающую точку для своих ИИ-амбиций, может быть реализована в 10 строках кода, 5 из которых — это импорты общедоступных библиотек. Это безумие.

    Не ждите и не бойтесь. Делайте это сейчас. И станьте 10x версией нефтегазового инженера. Это так просто.

  • LLM для инженерных задач в нефтегазе возможна в ближайшем будущем?

    LLM для инженерных задач в нефтегазе возможна в ближайшем будущем?

    Мы все еще ищем реальный кейс для LLM там, где решают цифры, а не слова.

    В этом году мы решили провести бенчмаркинг некоторых LLM, чтобы понять, какие из них подходят для задач нефтегазовой отрасли. В качестве тестов мы использовали задания, которые обычно даем новым инженерам на собеседованиях. Некоторые из них были достаточно простыми, например, по транспортировке по трубопроводам. А некоторые более сложными, применяемыми в интегрированном моделировании.

    Результаты оказались ожидаемыми. Простейшие вопросы, которые можно нагуглить и которые не требуют расчетов, модели решали с 100% точностью. Вопросы, требующие математики и более глубокого понимания предметной области, давались сложнее, и производительность зависела от конкретной модели.

    Лучше всего показала себя o1 от OpenAI. Не идеально. Но близко.

    Мы сделали вывод, что главными препятствиями для прогресса LLM в технических областях остаются математика и специализированные знания. И поскольку эта проблема до сих пор не решена, мы остались пессимистично настроены в отношении применения LLM в таких отраслях, как нефтегаз. Надеюсь, Иван найдет время, чтобы написать более подробный разбор нашего подхода к бенчмаркингу.

    А сегодня я наткнулся на этот пост о o3.

    o3, судя по заявлениям OpenAI, превосходит все существующие модели. И не на чуть-чуть, а значительно.

    (Изображения из поста выше)