Renan Ferreirasistemas em operação

LINUX · LLM LOCAL · FERRAMENTAS

LOCAL AI CORE

Ambiente multiagente local que combina modelos executados na própria máquina, API, interface web, CLI e ferramentas com políticas de acesso.

01 — CONTEXTO

Problema

Assistentes de IA são úteis para código e operação, mas serviços externos nem sempre combinam com dados locais, controle de custo ou experimentos de infraestrutura. Rodar um modelo é apenas uma parte: ainda faltam contexto, ferramentas, permissões e uma forma confiável de operar tudo.

02 — SOLUÇÃO

O que construí

A plataforma liga uma interface web e uma CLI a uma API FastAPI, que roteia tarefas para agentes e modelos. O runtime principal usa llama.cpp com Vulkan, enquanto PostgreSQL com pgvector mantém conversas, tarefas e memória. Ferramentas seguem níveis de permissão e limites de caminho.

03 — FLUXO

Arquitetura

  1. 01Web ou CLI
  2. 02API FastAPI
  3. 03Router de tarefas
  4. 04Agente e ferramentas
  5. 05llama.cpp com GPU
  6. 06PostgreSQL + pgvector

04 — ENGENHARIA

Decisões de construção

  • Usar llama.cpp com Vulkan porque o runtime foi validado na GPU AMD disponível.
  • Separar agentes, ferramentas, modelos e políticas em arquivos de configuração legíveis.
  • Exigir confirmação ou bloquear ações conforme o impacto, em vez de dar acesso irrestrito ao host.

05 — REALIDADE

Desafios

  • Equilibrar qualidade, velocidade e uso de memória em uma GPU com recursos finitos.
  • Enviar contexto suficiente para uma tarefa sem transformar cada requisição em uma cópia do projeto inteiro.
  • Permitir automação útil mantendo comandos destrutivos e caminhos sensíveis fora de alcance.

06 — RESPONSABILIDADE

Segurança e limites

  • Controle do host depende de habilitação explícita, allowlist de comandos e sandbox de caminhos.
  • Chaves opcionais são armazenadas fora do código e nunca retornadas pela API.
  • A interface é destinada ao loopback e não inclui autenticação para exposição pública.

07 — ESTADO REAL

Resultado atual

O ambiente funciona localmente no Fedora com aceleração por GPU, sobe por Docker Compose e oferece rotinas de healthcheck, troca de modelos e diagnóstico. Continua documentado como ambiente local de confiança, não como serviço público pronto.

08 — EVOLUÇÃO

O que aprendi

  • O melhor runtime local é o que combina com o hardware e pode ser diagnosticado, não necessariamente o mais popular.
  • Dar ferramentas a um agente exige políticas explícitas de permissão, caminho e impacto desde o primeiro protótipo.

09 — CONTINUIDADE

Próximos passos

  • Adicionar testes automatizados para roteamento e políticas de ferramentas.
  • Criar uma demonstração gravada que não dependa do download dos modelos.
  • Versionar migrations e documentar um perfil opcional de autenticação local.