Radxa Fogwise AirBox disponível para pré-encomenda!

A era da IA generativa local chegou — AirBox agora aberto para pré-encomendas! Experimente o Llama3 online hoje mesmo!

A Radxa Computer lançou a primeira SG2300X Mini AI Box do mundo, agora disponível para pré-encomenda na Arace.tech por apenas US$ 321!

Os principais players competem por IA generativa de ponta.

Em 2024, executar IA generativa no limite se tornou quase padrão para a próxima geração de chips de empresas como Intel, AMD e Qualcomm.

O Rabbit R1, que ganhou força na CES, promete controle de linguagem natural de muitos aplicativos de smartphone usando ChatGPT. Embora tenha despertado entusiasmo entre a mídia, os usuários que realmente testaram o produto encontraram tempos de resposta de tarefa única superiores a 20 segundos, levando a uma experiência ruim para o usuário.

Em situações em que o acesso à rede é fraco, como podemos alcançar respostas em tempo real e de baixa latência? A resposta está em colocar os serviços de IA generativa na borda, em vez de transferir constantemente entre a nuvem, os data centers e os nós de borda. Construída na plataforma SG2300x, a caixa de IA generativa de ponta Airbox possui velocidades de até 12 tokens/s e o StableDiffusion renderiza em apenas 1 segundo, colocando a IA generativa ao alcance.

Alimentado por SG2300X

O processador SG2300X, com seus 24 TOPS de poder computacional, pode executar sem problemas modelos de IA generativa como o LLAMA-2 7B.

O notável poder computacional do SG2300X permite que ele processe mais dados em períodos de tempo mais curtos, resultando em tempos de resposta mais rápidos e proporcionando aos usuários uma experiência mais suave e inteligente.

Radxa Fogwise AirBox

O Radxa Fogwise AirBox, desenvolvido pela equipe Radxa, é uma caixa de IA de ponta alimentada por SG2300X. Ele ostenta um alto poder computacional de até 24 TOPS@INT8 e suporta múltiplas precisões (INT8, FP16/BF16, FP32). Ele suporta a implantação de modelos de IA convencionais, como GPT privado e conversão de texto em imagem, e vem equipado com um invólucro de liga de alumínio, permitindo a implantação em ambientes adversos.

AirBox executa IA generativa local

Com alto poder computacional e grande memória, AirBox Run Local Generative AI Executar o modelo Llama-7B no SG2300x, com quantização de peso para INT4 e computação utilizando FP16, atinge até 80% de utilização durante o primeiro cálculo de token. As inferências subsequentes se beneficiam do kvcache, reduzindo as demandas computacionais, enquanto o tempo de transferência de dados cobre completamente o tempo de computação, mudando o gargalo da computação para a largura de banda.

Modelos como StableDiffusion exigem continuamente poder computacional intensivo. Portanto, a execução eficiente dos modelos LLM e de difusão estável exige alto poder computacional e grande memória. O controlador principal SG2300x no Airbox possui 24 TOPS de INT8, 12 TFLOPS de FP16, 16G de memória e largura de banda de 128 bits, perfeitamente adequado para a tarefa.

A execução local com tempos de resposta controlados em 1 segundo melhora muito a experiência do usuário. Por exemplo, a latência do modelo qwen-7b em execução no Airbox é de 0,6 s, com velocidades de inferência subsequentes atingindo 12 tokens/s, atendendo aos requisitos de tempo real de cenários como consulta em linguagem natural e interação de voz.

O Airbox também funciona como um servidor Ubuntu Linux completo, suportando o CASAOS de forma independente. Desde que os dispositivos estejam conectados, eles podem compartilhar seu poder computacional. PCs antigos, tablets, smartphones, NAS, alto-falantes, máquinas de histórias, TVs e outros dispositivos podem aproveitar recursos generativos de IA, transformando “um dispositivo, múltiplos usos” em realidade.

$ 321! Valor imbatível

Como a eficiência da execução de IA generativa localmente no AirBox se compara aos principais produtos de computação de ponta?

Tomando como exemplo vários modelos da série Nvidia Jetson que suportam IA generativa, a versão Jetson AGX Orin de 32 GB custa US$ 1.097 na Amazon.com, enquanto a versão de 64 GB custa US$ 2.137.

Com a aceleração MLC, o AGX Orin atinge 47 tokens/s para Llama-7B e 25 tokens/s para Llama-2-13B. No Airbox, o desempenho do Llama2-7B é de 12 tokens/s, enquanto o Llama2-13B atinge 6 tokens/s. Airbox suporta precisões int4, int8 e fp16, com desempenho semelhante para Llama2 e suas diversas variantes. Um único núcleo pode lidar com modelos de até 20B-int4.

(Observação: os dados do Orin são provenientes do site oficial da NVIDIA; valores mais altos são melhores neste contexto.)

Com base em testes, descobriu-se que o AirBox oferece uma vantagem significativa em termos de tokens por segundo por unidade de moeda (preço do produto) em comparação com o AGX Orin.

Para Llama-7B:

• AGX Orin (64 GB) ≈ 0,02199 tokens por segundo/USD
• AirBox ≈ 0,03738 por segundo/USD

Para Llama-13B:

• AGX Orin (64 GB) ≈ 0,01169 por segundo/USD
• AirBox ≈ 0,01869 por segundo/USD

No AGX Orin, a difusão estável leva 2,2 segundos por imagem, enquanto o SDXL leva 23,1 segundos. Depois de utilizar a aceleração LCM no Airbox, o SD1.5 leva 1,1 segundos e o SDXL leva 7,4 segundos.

(Observação: os dados do Orin são provenientes do site oficial da NVIDIA; a contagem de passos do Orin não é especificada, assumindo 20 passos; valores menores são melhores neste contexto.)

O rico ecossistema de aplicações

O Radxa Fogwise AirBox oferece excelente desempenho de inteligência artificial, atendendo às suas demandas por poderosos recursos de computação. Este dispositivo compacto, mas poderoso, integra-se perfeitamente às principais estruturas de aprendizado profundo, como TensorFlow, PyTorch e Caffe, oferecendo aos usuários uma experiência de IA portátil e eficiente. Seja você um fabricante, entusiasta de IA, amador ou profissional, o Fogwise AirBox é sua melhor escolha.

Suporte para LLama 3

Suporte para LLama 3: a mais recente IA generativa de código aberto da Meta

A Meta indica que o LLama 3 demonstrou desempenho excepcional em vários testes de benchmark importantes, superando modelos líderes do setor do mesmo tipo. Seja geração de código, raciocínio complexo, seguir instruções ou visualizar ideias, o LLama 3 alcançou uma liderança abrangente. O modelo se destaca nos cinco testes de benchmark a seguir:

• MMLU (Compreensão do Conhecimento do Assunto)
• GPQA (Resposta Geral a Perguntas Problemáticas)
• HumanEval (Habilidade de Código)
• GSM-8K (Habilidade Matemática)
• MATEMÁTICA (Problemas Matemáticos de Alta Dificuldade)

Diante do desempenho emocionante do LLama 3, a equipe do Airbox respondeu ativamente, portando rapidamente o LLama 3 8B e executando-o com sucesso no Airbox. O vídeo mostra LLama 3 8B rodando no Airbox.

(Nota: o conhecimento do LLama 3 8B é atualizado até março de 2023)

Como você pode ver, o LLama 3 8B roda extremamente bem no Airbox, atingindo uma velocidade de processamento de 9,6 tokens/s, demonstrando totalmente seu valor prático.

A equipe da AirBox assumiu a liderança no lançamento de uma experiência online baseada no LLama 3 8B na AirBox. Convidamos todos a vivenciar pessoalmente o excelente desempenho do LLama 3 e o poderoso poder computacional fornecido pelo AirBox.

(Observação: o serviço é baseado em uma única implantação do AirBox. Se houver um alto volume de usuários simultâneos, pode haver filas. Para uma experiência mais profunda, recomendamos experimentar fora dos horários de pico.)

Suporte CASA OS

Um sistema de painel de código aberto leve e rico em recursos

Instale aplicativos de IA generativos com apenas um clique

Os modelos populares suportados atualmente incluem Stable Diffusion, Whisper, ImageSearch, ChatDoc e muito mais. Instale-os com apenas um clique, eliminando a necessidade de configuração tediosa do ambiente.

Texto para imagem, imagem para imagem

A equipe do AirBox conduziu otimizações e adaptações profundas para o StableDiffusion, permitindo a geração de imagens extremamente rápida. Oferecemos suporte à substituição de modelos on-line para maior flexibilidade.

Suporte ChatDoc

ChatDoc: Deixe a IA entender seus documentos

Capacite a AirBox para ser seu administrador de dados pessoais.

Sussurro de suporte

Whisper: Transcrição de texto em tempo real em mais de cem idiomas O Whisper, um modelo eficiente de reconhecimento de fala, converte perfeitamente a fala em texto em tempo real, suportando quase cem idiomas. Isso aumenta muito a conveniência e a precisão da recuperação de informações. Seja gravando reuniões, traduzindo multilíngues em tempo real ou fornecendo legendas ao vivo para deficientes auditivos, o Whisper oferece suporte robusto. Vários setores, incluindo educação, saúde e direito, podem se beneficiar de seus serviços precisos e rápidos de transcrição de fala.

No futuro, aproveitar modelos de IA generativos como LLaMa, Stable Diffusion, Whisper e outros dará origem a uma infinidade de aplicações intermodais, inaugurando recursos de IA sem precedentes que abrangem domínios de fala, imagem e texto. Imagine este cenário: uma IA de assistente pessoal abrangente equipada com modelos Whisper e TTS para recursos multilíngues autênticos, fornecendo tradução e transcrição em tempo real para conversas em qualquer idioma no mundo todo. Além disso, aproveitar a Difusão Estável para criar conteúdo visual para auxiliar a comunicação revolucionaria a maneira como conferências internacionais, educação remota e colaborações globais são conduzidas, acelerando o advento do mundo digital!

Zoológico modelo AirBox

Implantação de modelos populares com um clique

Vem com uma rica coleção de exemplos de aplicativos de IA, prontos para uso imediatamente.

Para mais detalhes, por favor visitar

Ferramenta de conversão de modelos gráficos

Implante modelos facilmente no AirBox por meio de interface gráfica

Para garantir uma experiência de usuário perfeita, a AirBox desenvolveu um recurso para conversão com um clique dos modelos Civitai e Huggingface. Com apenas alguns cliques na interface GUI, implantar o modelo Stable Diffusion no AirBox agora é fácil.

Com a ferramenta de conversão de modelos, você pode implantar sem esforço modelos de IA generativa de código aberto do HuggingFace e Civitai para o AirBox, adotando as mais recentes tecnologias de IA. 

AICore SG2300X

Capacitando empresas para atingir facilmente capacidades de produtos de IA de alto desempenho

O Radxa AICore SG2300X é um módulo de computação equipado com o avançado processador SOPHON AI SG2300X, oferecendo desempenho poderoso para liberar todo o seu potencial. Com 16 GB de memória e 64 GB de armazenamento eMMC, o Radxa AICore SG2300X ostenta uma impressionante capacidade computacional INT8 de 24 TOPS, destacando-se em várias tarefas e oferecendo suporte total às principais estruturas de aprendizado profundo. Integrado com circuitos e componentes principais, ele acelera significativamente a velocidade de desenvolvimento de produtos, tornando-se a escolha preferida das empresas para desenvolver rapidamente produtos de IA de alto desempenho.

A Radxa fornece serviços ODM/OEM para parceiros do setor, aproveitando a rica experiência em engenharia na plataforma SG2300X para maximizar a aceleração da produtização em vários setores.

Radxa Fogwise AirBox agora disponível para pré-encomenda

Agora você pode pré-encomendar o AirBox em arace.tech.

Faça a pré-encomenda antes de 20 de maio e ganhe um presente grátis

• Adaptador de energia 20 V/3 A
• MICROFONE USB
• Módulo sem fio Intel WIFI6