Edge AI na base de Raspberry Pi com LiteRT e Gemma
Edge AI na base de Raspberry Pi com LiteRT e GemmaData de publicação: 26-08-2026 🕒 6 min de leitura
Imagine construir um robô autônomo que possa ver, ouvir e responder ao seu ambiente em tempo real sem depender de serviços na nuvem. Esta é uma das principais vantagens da IA de borda: os modelos podem processar dados diretamente no dispositivo, reduzindo a latência e permitindo que informações sensíveis permaneçam locais.
LiteRT, o tempo de execução de inferência no dispositivo do Google, oferece uma maneira de implantar modelos de aprendizado de máquina no Raspberry Pi, variando de modelos de ML convencionais a grandes modelos de linguagem. Ele suporta execução otimizada e uso eficiente de memória tanto na CPU quanto na GPU, ajudando os desenvolvedores a fazer uso eficaz dos recursos de computação disponíveis no dispositivo.
Essa abordagem pode ser combinada com Gemma, a família de modelos abertos leves do Google. O exemplo apresentado abaixo mostra como o Gemma e o LiteRT rodando em um Raspberry Pi 5 podem alimentar o robô Reachy Mini, permitindo que ele perceba e responda ao seu ambiente localmente e em tempo real.
Capacidades agenticas do Gemma
Os modelos Gemma podem ser usados para construir agentes autônomos, câmeras inteligentes e robôs sociais capazes de processar informações e executar fluxos de trabalho em várias etapas diretamente no Raspberry Pi. Para atender a diferentes requisitos de hardware e aplicação, a família Gemma inclui vários modelos com diferentes características de recursos e desempenho:
- Gemma 3 270M: Um modelo base compacto projetado para pós-treinamento e ajuste fino específicos de tarefas. Pode ser usado para aplicações de baixa latência, como análise de sentimentos ou extração de entidades em ambientes com recursos limitados.
- EmbeddingGemma 300M: Um modelo de incorporação de texto projetado para gerar incorporações diretamente no dispositivo. Pode ser usado para Geração Aumentada por Recuperação (RAG), busca semântica e classificação.
- Gemma 3 1B: Um modelo leve, multilíngue e somente texto que combina requisitos de recursos relativamente baixos com capacidades generativas. Pode ser usado para raciocínio no dispositivo, sumarização e geração de conteúdo.
- Gemma 4 E2B: Um modelo destinado a ambientes móveis e de borda com recursos limitados. Ele usa incorporações por camada mapeadas na memória e é projetado para aplicações como monitoramento contínuo, inferência de texto, imagem e áudio, e processamento de fala baseado na borda, onde o uso de RAM é uma restrição importante.
- Gemma 4 E4B: Um modelo maior projetado para fornecer capacidades de raciocínio mais fortes, enquanto permanece adequado para sistemas de borda com recursos limitados. Pode ser usado para tarefas de planejamento mais complexas e em várias etapas.
Desempenho do Gemma na CPU do Raspberry Pi
Através do LiteRT-LM, uma camada de orquestração dedicada construída sobre o LiteRT, os modelos Gemma podem ser implantados no Raspberry Pi. A execução na CPU é suportada pelo LiteRT e XNNPACK, com otimizações focadas na eficiência de recursos e inferência de baixa latência.
| Modelo | Framework (CPU) | Pré-preenchimento (tokens/seg) | Decodificação (tokens/seg) | Memória máxima (MB) |
|---|---|---|---|---|
| Gemma 4 | E2B LiteRT-LM (QAT) | 99 | 9 | 1432 |
| llama.cpp (Q4_0) | 24 | 4 | 4406 |
Configuração do benchmark:
- Hardware: Raspberry Pi 5 com 8 GB de RAM
- Configuração do benchmark: 1024 tokens de pré-preenchimento e 256 tokens de decodificação
- Execução na CPU: quatro threads
- Benchmark do llama.cpp: llama-bench com gemma-4-E2B-it-Q4_0.gguf
- Benchmark do LiteRT-LM: benchmark do litert lm com gemma-4-E2B-it.litertlm
No Raspberry Pi 5, o LiteRT-LM rodando o Gemma 4 E2B alcançou 99 tokens/s durante o pré-preenchimento e 9 tokens/s durante a decodificação, com uso máximo de memória de 1432 MB.
O Gemma 4 E2B também usa um tokenizador que representa texto usando uma média de aproximadamente 4,2 caracteres por token. No demo de voz testado do Reachy Mini, isso resultou em uma taxa de geração de ponta a ponta de aproximadamente 27,3 caracteres por segundo, correspondendo a cerca de 300 palavras por minuto. Para comparação, a fala humana normal é de aproximadamente 150 palavras por minuto.
Modelos adicionais prontos para uso no Raspberry Pi estão disponíveis através da LiteRT Hugging Face Community.
Executando inferência na GPU do Raspberry Pi com LiteRT
O Raspberry Pi 5 combina uma CPU quad-core Arm Cortex-A76 com uma GPU integrada Broadcom VideoCore VII. De acordo com os números apresentados para esta plataforma, a CPU fornece aproximadamente 153,6 GFLOPS de desempenho FP32 e até aproximadamente 2,0 TOPS para operações INT8. A GPU VideoCore VII, rodando a 800 MHz, fornece um pico de aproximadamente 76,8 GFLOPS FP32 e aproximadamente 0,24 TOPS INT8.
A CPU, portanto, oferece um desempenho de computação teórico substancialmente maior. O objetivo de usar a GPU neste tipo de sistema de IA de borda, no entanto, não é necessariamente tornar uma tarefa de inferência individual mais rápida. Sua principal vantagem é a capacidade de distribuir cargas de trabalho entre duas unidades de processamento.
Cargas de trabalho contínuas, como visão computacional ou processamento de áudio, podem ser atribuídas à GPU, deixando os recursos da CPU disponíveis para monitoramento do sistema, orquestração de pipeline, processamento de fala ou inferência de LLM computacionalmente exigente. Essa abordagem heterogênea pode, portanto, melhorar a capacidade de resposta e a utilização de recursos da aplicação completa, mesmo quando a GPU é mais lenta que a CPU para um modelo específico.
O LiteRT suporta inferência na GPU no Raspberry Pi 5 através de um backend WebGPU (Vulkan) via ML Drift. Isso torna possível executar modelos de visão computacional, áudio e incorporação disponíveis através da LiteRT Hugging Face Community, incluindo modelos MediaPipe, modelos Ultralytics YOLO e Moonshine.
A tabela abaixo compara a latência de inferência na CPU e GPU para vários modelos rodando através do LiteRT:
| Modelo | Tarefa | Tamanho de entrada | Latência na CPU (ms) | Latência na GPU (ms) |
|---|---|---|---|---|
| MediaPipe Selfie Segmenter | Segmentação | 256 × 256 | 7,88 | 26,36 |
| YOLO26n | Detecção de objetos | 640 × 640 | 101,26 | 375,73 |
| EfficientNet-Lite0 | Classificação de imagem | 224 × 224 | 29,15 | 87,85 |
| Moonshine-tiny | Reconhecimento de fala | 5 seg | 148,67 | 409,03 |
Configuração do benchmark:
- Hardware: Raspberry Pi 5 com 8 GB de RAM
- LiteRT CPU: quatro threads
- LiteRT GPU: WebGPU (Vulkan) usando drivers Vulkan Mesa V3DV atualizados
Para cada modelo listado neste benchmark, a latência na CPU é menor que a latência na GPU. Portanto, os resultados não devem ser interpretados como evidência de que a execução na GPU acelera esses modelos individuais no Raspberry Pi 5.
Em vez disso, a execução na GPU pode ser útil como parte de uma arquitetura de processamento paralelo. Descarregar uma carga de trabalho contínua, como detecção de objetos, para a GPU pode impedir que ela concorra por recursos da CPU com outros componentes do sistema. Isso se torna particularmente relevante quando vários modelos de IA e processos de aplicação precisam operar ao mesmo tempo.
Pipeline do Reachy Mini alimentado por LiteRT
O exemplo do Reachy Mini demonstra como a inferência de IA de borda de baixa latência pode ser implementada inteiramente no Raspberry Pi 5. Usando o LiteRT, as cargas de trabalho de visão e linguagem são distribuídas entre a CPU e a GPU e podem operar simultaneamente.
O pipeline de processamento é organizado da seguinte forma:
- Detecção de objetos – YOLO na GPU: Quadros da câmera são transmitidos para o Raspberry Pi, onde um detector YOLO (yolox-tiny) roda continuamente na GPU. Isso mantém a carga de trabalho de visão separada do processamento baseado na CPU.
- Reconhecimento de fala – Moonshine na CPU: Quando o usuário fala, o componente ASR processa o áudio e o converte em texto localmente na CPU.
- Raciocínio e ação – Gemma 4 E2B na CPU: O Gemma 4 E2B processa a transcrição junto com os metadados visuais mais recentes. Com base nessas informações, ele gera respostas em streaming que podem incluir respostas faladas e gestos robóticos.
- Texto para fala – TTS na CPU: O texto gerado é convertido em áudio. A fala sintetizada é então transmitida de volta para o robô Reachy Mini.
Esta arquitetura ilustra o papel do processamento heterogêneo em uma aplicação de IA de borda. A GPU lida com a carga de trabalho contínua de visão, enquanto a CPU permanece disponível para reconhecimento de fala, inferência de modelo de linguagem, processamento de texto para fala e orquestração do sistema.
O código-fonte completo para o demo do Reachy está disponível no repositório LiteRT Samples no GitHub.
Codificação agentica com LiteRT no Raspberry Pi
O LiteRT fornece ferramentas que cobrem várias etapas do processo de implantação de aprendizado de máquina, incluindo conversão de modelo, quantização, benchmarking e inferência. Essas funções podem ser acessadas através do LiteRT CLI, que combina os principais fluxos de trabalho de IA de borda dentro de uma interface de linha de comando comum.
O LiteRT CLI e habilidades adicionais do LiteRT também podem ser integrados com agentes de codificação de IA, como o Google Antigravity. Isso permite que agentes de codificação executem fluxos de trabalho de aprendizado de máquina em várias etapas usando ferramentas LiteRT.
Um exemplo é um tradutor de voz offline rodando no Raspberry Pi, como o Tradutor Gemma apresentado na demonstração original.
Implantação leve para dispositivos IoT
Os requisitos de armazenamento e memória são particularmente importantes para dispositivos IoT e de borda com recursos limitados. Os tempos de execução de IA projetados para ambientes de desktop ou servidor podem incluir componentes que não são necessários em hardware embarcado.
O LiteRT usa um modelo de distribuição modular no qual os componentes de tempo de execução podem ser instalados de acordo com a funcionalidade necessária.
A comparação a seguir apresenta o tamanho do download necessário para executar a inferência de LLM em um sistema Raspberry Pi Linux Arm64:
| Ferramenta | Tamanho do download | Arquitetura e dependência |
|---|---|---|
| LiteRT CLI com inferência de LLM | ~25 MB | Modular e sob demanda. Um frontend CLI leve em Python puro (~100 KB) instala dinamicamente os módulos de tempo de execução necessários para operações como inferência ou conversão. |
| Ollama | ~1,44 GB | Um único binário pré-compilado contendo tempos de execução de execução e componentes de aceleração. |
Executando seu primeiro modelo
O LiteRT CLI pode ser instalado no Raspberry Pi 5 usando pip, de preferência dentro de um ambiente virtual.
1. Instale o LiteRT CLI
pip install litert-cli
2. Execute o modelo
Modelos compatíveis podem ser baixados da LiteRT Hugging Face Community.
O exemplo abaixo executa o Gemma 4 E2B, como gemma-4-E2B-it-litert-lm, no Raspberry Pi 5.
Primeiro, forneça o token de autenticação do Hugging Face:
export HUGGING_FACE_HUB_TOKEN=<seu_token_hugging_face_aqui>
Em seguida, execute o modelo:
litert lm run \
--from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
gemma-4-E2B-it.litertlm \
--attachment=image.jpg \
--prompt="Você é o Reachy Mini. Identifique o objeto principal à sua frente, indique sua localização (Esquerda/Direita/Centro) e sugira uma ação de braço em 10 palavras ou menos."
A Transfer Multisort Elektronik (TME) é um dos maiores distribuidores globais de componentes eletrônicos, peças eletrotécnicas, equipamentos de oficina e automação industrial. O catálogo inclui mais de 1.500.000 de produtos de 1.300 fabricantes líderes. Os modernos centros logísticos da TME em Łódź e Rzgów (Polónia), com uma área total superior a 40.000 m², enviam quase 6.000 pacotes diariamente para clientes em mais de 150 países.
A TME também investe no desenvolvimento do conhecimento e das competências de jovens engenheiros e entusiastas da eletrónica através do projeto TME Education e apoia a comunidade tecnológica organizando a série de eventos TechMasterEvent, promovendo a inovação e a troca de experiências.
