На этой неделе я немного отвлекусь от своих обычных статей, объясняющих концепции искусственного интеллекта или обучающих программ по программированию. Да, это философское, ностальгическое путешествие по дороге, по которой мне посчастливилось идти все это время.

Одна из редких привилегий начала работы в поле довольно рано заключается в том, что вы видите, как поле растет, как ваш ребенок. Когда десять лет назад я поступил на степень магистра в области компьютерного зрения, мой друг, выпускник факультета компьютерных наук, спросил: «Что вообще означает компьютерное зрение?» Сегодня это тривиальный вопрос: в Интернете гуляет достаточное количество видеороликов о задачах компьютерного зрения, таких как сегментация (см. Ниже).

Результат сегментации изображений — задача компьютерного зрения, которая была широко распространена в Интернете, когда десять лет назад появилось глубокое обучение.

Итак, что же изменилось за последнее десятилетие? У медали всегда есть две стороны. Кроме того, рост может быть как хорошим, так и плохим.

Закрытое сообщество — маленькое было красиво

Говорят, что люди в Исландии как-то связаны друг с другом, и если кто-то вам больше троюродного брата, вы можете на нем жениться.

Точно так же сообщество ИИ было сплоченным. Ушли те чувства сплоченного сообщества. Общаясь с кем-либо из исследователей, вы обычно знали, к какой группе они принадлежат. Вы каким-то образом относитесь к их работе и уважаете их, читая и оценивая их влияние на эту область.

Поскольку поле бесконечно взрывается, становится все труднее даже сказать, что знаешь чьи-то работы, забудь о них. Появилось слишком много новых имен и новых ветвей, за которыми даже сложно уследить.

Другой пример: PyTorch находился в зачаточном состоянии. Сообщество Slack было настолько маленьким и отзывчивым, что разработчики PyTorch напрямую отвечали на наши вопросы об использовании библиотеки. Это побуждало узнавать о нем все больше и больше. Сегодня фреймворк настолько зрелый, что появились новые фреймворки, такие как LangChain и Llammaindex. Основное внимание уделяется LLM, а не любой другой отрасли искусственного интеллекта.

Аппаратное обеспечение класса люкс

В те времена мы обучали глубокую нейронную сеть на одном графическом процессоре, чтобы создать что-то впечатляющее. Большую часть работ, опубликованных на ведущих конференциях, таких как CVPR, NeurIPS и ICML, можно обучить и воспроизвести на одной машине с графическим процессором 8 ГБ или, в худшем случае, на одной машине с 4 графическими процессорами, в редких случаях.

Изображение новейших кластеров графических процессоров, используемых Tesla для искусственного интеллекта (источник: https://www.hpcwire.com/off-the-wire/tesla-to-roll-out-advanced-supercomputer )

Я хорошо помню, как был рад купить один-единственный товарный графический процессор всего с 8 ГБ оперативной памяти для участия в соревнованиях Kaggle. Некоторые из победивших решений Kaggle Grandmasters обучали модели глубокого обучения дома на одной машине с графическим процессором.

Сегодняшнему миру искусственного интеллекта нужен кластер графических процессоров для обучения базовых моделей. Даже для тонкой настройки этих моделей требуются графические процессоры с объемом памяти 24 ГБ, которые являются чудовищными, дорогими и доступными только компаниям с «бюджетом на искусственный интеллект».

Спрос на набор навыков

Это были дни, когда поле еще не имело оболочки ИИ. Рекрутерам была поручена эта чуждая задача — охотиться за инженерами «глубокого обучения». Рекрутеры и основатели стартапов охотились за экспертами по глубокому обучению по всем каналам. Регулярные сообщения в LinkedIn с просьбой присоединиться к их команде в качестве инженера по глубокому обучению были нормой.

Скриншот объявления о вакансии инженера по машинному обучению, опубликованного всего 5 дней назад, получил более 100 кандидатов!

Текущая ситуация такова, что на вакансию «Инженер по машинному обучению» в LinkedIn поступает более 100 заявок в течение дня после размещения рекламы. Если вам трудно в это поверить, посмотрите на скриншот выше. Остается вопрос, насколько навыки претендента соответствуют специфике работы. Но рынок перенасыщается навыками – причем довольно быстро!

Поднавыки — Операции и Архитектура

Рост означает больше разнообразия и возможностей. Появляются новые должности, такие как ML-операторы, LLM-операторы и ML-архитекторы. Прошли времена крошечных файлов одной модели (< 1 ГБ). Рост моделей как по размеру, так и по возможностям привел к появлению новых навыков их развертывания и обслуживания.

Более того, обучение и развертывание моделей автоматизируются с помощью таких инструментов, как MLFLow. Облачная инфраструктура для обучения должна быть достаточно сложной. Все это привело к появлению штатных должностей с определенными обязанностями.

Прощай, инженер по машинному обучению, здравствуй, инженер по искусственному интеллекту

Самое интересное в работе с ИИ — это написание архитектуры модели и ее обучение с нуля, используя наши собственные данные. Хотя это требует большой предварительной обработки данных, обучение моделей и визуализация результатов обучения раньше доставляли массу удовольствия. Для этой должности существовала/до сих пор существует специализированная должность под названием «Инженер машинного обучения (ML)».

Разработка моделей фундаментов от технологических гигантов по-новому определяет эту роль. По мере роста размеров моделей бюджеты на обучение становятся огромными. На самом деле стоимость обучения модели LLama 2 составила для «Меты» 20 миллионов долларов. Очевидно, что стартапы или организации, пытающиеся внедрить ИИ, не хотят выбрасывать эту сумму денег. Сейчас установлено, что базовые модели предназначены для разработки технологическими гигантами, за исключением некоторых компаний, таких как Mistral и Anthropic.

К сожалению, это означает, что роль инженера по машинному обучению превращается в роль инженера по искусственному интеллекту. Роль инженера ML заключалась в разработке архитектур моделей, их обучении и оценке. Новая роль инженера по искусственному интеллекту в основном включает в себя разработку API или использование API, предоставляемых технологическими гигантами (OpenAI, Meta и Google), для создания базовых моделей.

В редких случаях требуется тонкая настройка этих моделей фундамента. Но у компаний есть возможность строить конвейеры RAG или использовать базовые модели «как есть», а не дорабатывать их.

Заключение

В заключение я рассматриваю это как медленное объединение ролей разработки программного обеспечения и машинного обучения. Граница между разработчиками программного обеспечения и экспертами по глубокому обучению стирается. Таким образом, в ближайшие годы инженеры-программисты будут инженерами искусственного интеллекта, которые будут работать вместе с базовыми моделями как для написания кода, так и для решения потребностей клиентов.

Кроме того, в ближайшие годы компании будут сгруппированы в две категории — компании, производящие продукты ИИ и компании, предоставляющие услуги ИИ. Компании-производители искусственного интеллекта снова будут OpenAI, Meta и Google для разработки фундаментальных моделей. Компании, предоставляющие услуги ИИ, будут предоставлять услуги API путем тонкой настройки или разработки конвейеров в стиле RAG вокруг базовых моделей ИИ для обслуживания своих клиентов.

Наконец, указывает ли резкий рост числа заявлений на работу о надвигающемся взрыве пузыря, подобного пузырю доткомов? Я так чувствую, ДА. Но давайте подождем и посмотрим…

Выкрикивать

Надеюсь, это было полезно.

Если вам понравилась эта статья, почему бы не подписаться на меня Твиттер за обновлениями исследований, ссылками на видеоуроки и новыми инструментами искусственного интеллекта из ведущих лабораторий искусственного интеллекта?

Также, пожалуйста, подпишитесь на мою YouTube канал где я наглядно объясняю концепции и статьи ИИ.