Como conectar o LocalAI ao ONLYOFFICE no Linux

A funcionalidade de IA aprimorada no ONLYOFFICE permite que você conecte qualquer modelo de IA aos editores, incluindo um modelo local. Neste artigo, exploraremos o exemplo de conexão do LocalAI no Linux.

Etapa 1: Instalar o LocalAI

curl https://localai.io/install.sh | sh

Você também pode verificar esta instrução sobre a instalação do LocalAI. A instalação via Docker é possível.

Observe os requisitos de hardware:

CPU: É recomendável usar um processador de vários núcleos.

RAM: É necessário um mínimo de 8 GB de RAM para tarefas básicas. Para lidar com modelos maiores sem problemas e evitar problemas de memória, recomenda-se 16 GB ou mais.

Armazenamento: Para um acesso mais rápido aos dados, opte pelo armazenamento SSD. Certifique-se de ter um mínimo de 20 GB de espaço disponível para armazenar o modelo e lidar com arquivos temporários.

Rede: O LocalAI funciona sem uma conexão com a Internet. No entanto, é recomendável ter uma conexão confiável para fazer download de modelos e aplicar atualizações.

Etapa 2: Instale o modelo necessário

Por exemplo, este aqui:

local-ai models install hermes-2-theta-llama-3-8b

Etapa 3: Inicie a LocalAI com o sinalizador cors

Assim, ele pode ser usado não apenas localmente, mas também na Web.

local-ai run --cors

Como alternativa, você pode adicionar a seguinte linha ao arquivo /etc/localai.env:

CORSALLOWEDORIGINS = "*"

Etapa 4: Defina as configurações do plug-in de IA no ONLYOFFICE

• Inicie qualquer editor da Web, dependendo da solução ONLYOFFICE que estiver usando.
• Vá até a guia Plugins e clique no ícone Plugin Manager. Clique em Instalar ao lado do plug-in AI. Abra os plug-ins de plano de fundo e ative o alternador para IA. Se você já tiver o plug-in AI instalado, pule esta etapa.
• Acesse a guia AI exibida. Clique em Configurações para abrir a janela de configuração. Clique em Editar modelos de IA -> Adicionar.
• Aqui, especifique LocalAI como um nome de provedor. E digite o URL http://127.0.0.1:8080 (se você não o alterou ao iniciar o local-ai).
• Os modelos serão carregados automaticamente na lista – selecione hermes-2-theta-llama-3-8b.
• Clique em OK para salvar as configurações.

Pronto! Você pode começar a usar o LocalAI para lidar com as tarefas relacionadas à IA em seus documentos.