Как использовать модель ИИ без цензуры и обучать ее на своих данных

Времена, когда ChatGPT был единственным решением в индустрии искусственного интеллекта, давно прошли. На поле вышли новые игроки, такие как LLaMA и Gemini, разработанные Meta и Google соответственно. Несмотря на разные инструменты и реализации, у них есть общая черта: они имеют закрытый исходный код (за некоторыми исключениями для LLaMA) и находятся под контролем крупных технологических компаний.

В этой статье рассматривается новый претендент в индустрии искусственного интеллекта, который может похвастаться инструментом с открытым исходным кодом, который превосходит ChatGPT 3.5 и может запускаться локально. Мы также узнаем, как использовать его без цензуры и как обучать его на наших собственных данных.

Представляем Мистраль 8х7Б

Mistral — французский стартап, основанный бывшими исследователями Meta и DeepMind. Используя свои обширные знания и опыт, они успешно привлекли инвестиции на сумму 415 миллионов долларов США, в результате чего оценка Mistral достигла 2 миллиардов долларов США.

Команда Mistral начала набирать обороты, когда они разместили на X торрент-ссылку на свою новую модель Mistral 8x7B. Согласно лицензии Apache 2.0, эта модель не только более мощная, чем LLaMA 2 и ChatGPT 3.5, но и полностью открыта.

Мистраль Мощность и возможности

• Обрабатывает контекст из 32 тысяч токенов.

• Работает на английском, немецком, испанском, итальянском и французском языках.

• Демонстрирует отличную производительность при генерации кода.

• Может быть преобразована в модель следования инструкциям.

В тестах Mistral продемонстрировал выдающуюся мощность, превзойдя LLaMA 2 70B в большинстве тестов, а также сравнявшись или превзойдя ChatGPT 3.5 в других тестах.

Локальный запуск Mistral

Отойдя от цифр и таблиц, давайте перейдем к практике. Во-первых, нам понадобится инструмент, который поможет нам запустить его локально: Ollama . Пользователи MacOS могут скачать файл здесь . Для пользователей Linux или WSL вставьте в терминал следующие команды:

 curl https://ollama.ai/install.sh | sh

Затем мы можем запускать LLM локально, но мы не просто стремимся к тому, чтобы ИИ отвечал на случайные вопросы — для этого и нужен ChatGPT. Мы стремимся к созданию искусственного интеллекта без цензуры, который мы сможем настраивать и настраивать в соответствии с нашими предпочтениями.

Учитывая это, мы будем использовать dolphin-mistral, специальную версию Mistral, которая снимает все ограничения. Чтобы узнать больше о том, как dolphin-mistral устранил эти ограничения, прочтите эту статью его создателя.

Запустите следующую команду в своем терминале, чтобы запустить Ollama на своем компьютере:

 ollama serve

Затем в другом терминале запустите:

 ollama run dolphin-mistral:latest

Первоначальная загрузка может занять много времени, поскольку для нее требуется загрузка 26 ГБ. После завершения загрузки мистраль будет ждать вашего ввода.

Помните, что запуск dolphin-mistral требует значительных системных ресурсов, особенно оперативной памяти.

Обучение собственной модели

Теперь вы, возможно, задаетесь вопросом о возможностях обучения мистраля на ваших данных. Ответ – громкое да.

Начните с создания учетной записи на Hugging Face (если вы еще этого не сделали), а затем создайте новое пространство.

Выберите Docker для Autotrain

Отсюда вы можете выбрать свою модель, загрузить данные и начать обучение. Обучение модели на домашнем компьютере может оказаться сложной задачей из-за требований к оборудованию.

Такие сервисы, как Hugging Face, предлагают вычислительную мощность (за определенную плату), но вы также можете рассмотреть возможность использования Amazon Bedrock или Google Vertex AI для ускорения процесса.