Как запускать модели ИИ локально в Windows без Интернета

Основные выводы:

• Вы можете использовать такие инструменты, как Ollama, чтобы использовать возможности моделей ИИ с открытым исходным кодом непосредственно на вашем устройстве.
• При запуске этих моделей ИИ локально вы обойдете зависимость от облака и получите такие преимущества, как конфиденциальность и более быстрый вывод.

Как локально запускать модели искусственного интеллекта в Windows с помощью Ollama

Вы можете запускать модели искусственного интеллекта, такие как ChatGPT, локально на своем компьютере без подключения к Интернету. Множество сервисов помогут вам в этом процессе. Однако мы продемонстрируем это с помощью Ollama.

Загрузить и установить Ollama

< strong>Шаг 1. Перейдите на веб-сайт Ollama и нажмите кнопку Загрузить.

Шаг 2. Выберите свою ОС и нажмите Загрузить..

< p>Шаг 3: Дважды щелкните загруженный файл > нажмите Установить > следуйте инструкциям по установке.

После установки вы должны увидеть всплывающее окно с сообщением о том, что Ollama запущена.

Шаг 4: Запустите терминал. В Windows нажмите Windows + R, введите cmd и нажмите Enter.

Шаг 5: Загрузите свою первую модель ИИ с помощью команды ниже. Убедитесь, что вы заменили modelс актуальной моделью на Олламе; это могут быть Лама 3, Фи 3, Мистраль, Джемма и т. д. Будьте терпеливы; это может занять некоторое время.

Модель извлечения Олламы

Как общаться с загруженными моделями на Ollama

Теперь, когда вы установили модель ИИ, вы можете общаться с ней. Это похоже на общение с искусственным интеллектом Gemini или ChatGPT через веб-интерфейсы. Выполните следующие действия.

Шаг 1: Запустите Терминал на своем компьютере.

Шаг 2: Введите команду ниже. Вы можете заменить llama3 в команде на имя загруженной вами модели.

Ollama run llama3

Шаг 3: Наконец, введите приглашение и нажмите Enter так же, как в ChatGPT или Gemini. После этого вы сможете взаимодействовать с ИИ.