O que é GraphQL?

Na área de desenvolvimento de software, a comunicação entre aplicações front-end e serviços back-end é um tema essencial. Tradicionalmente, as APIs REST (Representational State Transfer) têm sido o padrão de mercado para essa interação. No entanto, uma alternativa poderosa tem ganhado cada vez mais destaque: o GraphQL.

Criado pelo Facebook em 2012 e liberado como código aberto em 2015, o GraphQL é uma linguagem de consulta que propõe uma abordagem diferente das APIs REST tradicionais, permitindo que o cliente especifique exatamente quais dados precisa obter, recebendo uma resposta estruturada e de acordo com essa especificação.

Neste artigo vamos conhecer o que é o GraphQL, como surgiu, quais suas principais características, entre outros temas. Vamos começar?

1. O que é GraphQL?

GraphQL é uma linguagem de consulta (query language) para APIs e um conjunto de ferramentas de tempo de execução (runtime) para executar essas consultas com base nos seus dados.

Ao invés de ter múltiplos endpoints REST, onde cada um retorna um conjunto fixo de dados, com o GraphQL você tem um único endpoint que permite ao cliente solicitar exatamente os dados que precisa. Isso simplifica a interação entre cliente e servidor, bem como evita a sobrecarga de rede.

Pense na seguinte analogia: em uma API REST, é como se você fosse a um restaurante e tivesse que pedir um prato “combo” que vem com hambúrguer, batata frita e refrigerante, mesmo que só queira o hambúrguer. Já com o GraphQL, você pode pedir apenas o hambúrguer, e o garçom (o servidor) vai te trazer somente isso. Isso evita o chamado “over-fetching” (buscar mais dados do que o necessário) e o “under-fetching” (buscar dados insuficientes, exigindo múltiplas requisições).

O GraphQL é composto, basicamente, por três partes principais:

  • Linguagem de Consulta: define como o cliente busca pelos dados.
  • Esquema (Schema): especifica quais tipos de dados estão disponíveis na API e como eles se relacionam.
  • Resolução (Resolvers): funções que atendem às consultas, buscando os dados no back-end.

1.1. Como o GraphQL surgiu?

O GraphQL foi desenvolvido pelo Facebook em 2012 e lançado publicamente em 2015. A necessidade surgiu da complexidade crescente de seus aplicativos (web, mobile, dispositivos IoT etc.), os quais precisavam de uma maneira mais eficiente de buscar dados em seus servidores. As APIs REST do Facebook estavam gerando problemas de desempenho e lentidão no desenvolvimento de novos recursos, pois as equipes de front-end e back-end precisavam coordenar cada mudança em vários endpoints.

A solução encontrada foi a criação de uma nova abordagem onde o front-end tivesse mais controle sobre a estrutura dos dados retornados. Isso permitiu que o Facebook criasse uma API unificada que alimentasse tanto seu aplicativo móvel quanto a versão web, reduzindo a necessidade de endpoints específicos para cada plataforma e otimizando a velocidade de desenvolvimento.

2 – Principais características do GraphQL

Para entender como o GraphQL funciona, é crucial conhecer alguns termos-chave:

  • Schema: o schema define as operações disponíveis (queries, mutations e subscriptions) e os tipos de dados que podem ser consultados (object types, scalar types, enums, interfaces, etc.). Essencialmente, o schema é um contrato entre o front-end e o back-end, especificando os tipos de dados, os campos disponíveis e as relações entre eles. Os schemas são escritos em uma Linguagem de Definição de Schema (SDL).
  • Queries: são operações de leitura de dados que o cliente executa. Nelas, o desenvolvedor define quais campos o cliente pode consultar, aninhando objetos conforme a necessidade daquela operação.
  • Mutations: são operações de escrita ou modificação de dados (criação, atualização e exclusão). São semelhantes às queries, porém voltadas para alteração de estado no servidor. Uma observação é que, ao contrário das queries, que podem ser executadas em paralelo, as mutations são executadas em série para garantir a integridade dos dados.
  • Resolvers: são funções do lado do servidor que resolvem uma query ou mutation e retornam os dados para cada campo do schema. Podem acessar bancos de dados, serviços externos ou qualquer outra fonte de informação. Importante ressaltar que cada campo no schema possui um resolver correspondente.
  • Subscriptions: mecanismo para notificações em tempo real, mantendo uma conexão WebSocket ou similar para enviar atualizações ao cliente.
  • Tipos Comuns: o GraphQL é fortemente tipado. Isso significa que todos os campos e tipos de dados no schema têm um tipo definido (como String, Int, Boolean, etc.). Essa tipagem forte garante que a aplicação seja mais robusta e que os erros sejam identificados mais cedo, durante o desenvolvimento.
    • Scalars: Int, Float, String, Boolean, ID.
    • Object Types: definem objetos com campos específicos.
    • Lists e Non-Null: definem coleções e campos obrigatórios, respectivamente.
    • Enums, Interfaces e Unions: permitem modelar estruturas mais complexas e polimorfas.

3 – As vantagens e desvantagens do GraphQL

Como toda tecnologia, o GraphQL também tem seus prós e contras, os quais precisam ser avaliados antes da sua adoção.

3.1 – Vantagens:

  • Eficiência e Desempenho: permite buscar exatamente o que é necessário, reduzindo a quantidade de dados transferidos e o número de requisições de rede. Dessa forma, o cliente recebe apenas os dados necessários, evitando overfetching e underfetching.
  • Desenvolvimento Ágil e Flexível: o front-end se torna mais independente do back-end. A equipe de front-end pode solicitar novos dados sem a necessidade da equipe do back-end criar ou modificar um novo endpoint. Isso acelera o processo de desenvolvimento.
  • Documentação e Tipagem Automática: o schema atua como uma documentação viva da API. Ferramentas como o GraphiQL (um ambiente de desenvolvimento para GraphQL) usam o schema para fornecer autocompletar e validação de consultas, facilitando a vida do desenvolvedor.
  • Uma única requisição: em muitas situações, o GraphQL permite que o cliente obtenha todos os dados que precisa em uma única requisição, evitando o problema de “cascata de requisições” comum em APIs REST.

3.2 – Desvantagens:

  • Complexidade e Curva de Aprendizagem: a curva de aprendizado inicial é maior, especialmente para desenvolvedores acostumados apenas com REST.
  • Cache: o cache é mais desafiador de implementar no GraphQL do que em APIs REST. A ausência de endpoints distintos dificulta o cache HTTP tradicional. No entanto, existem soluções e bibliotecas para lidar com isso.
  • Upload de Arquivos: o upload de arquivos binários pode ser mais complexo de lidar em GraphQL.
  • Monitoramento e Limitação de Taxa (Rate Limiting): a implementação de rate limiting e monitoramento em um único endpoint pode ser mais desafiadora do que em múltiplos endpoints REST. Assim, se faz necessário, criar lógicas de negócio mais sofisticadas para controlar o acesso.

4 – Exemplo prático

A seguir, para fins de um melhor entendimento, vamos ver um exemplo simples de implementação de GraphQL usando Node.js e Apollo Server.

4.1 – Configurando o ambiente

Para começar vamos criar uma pasta chamada graphql-books-api e executar os comandos abaixo via terminal em seu respectivo diretório:

npm init -y
npm pkg set type="module"
npm install apollo-server graphql
npm install --save-dev nodemon

Após executar esses comandos, será criada uma pasta chamada node_modules e dois arquivos: package.json e package-lock.json.

Em seu arquivo package.json, você precisará inserir as informações do script de desenvolvimento, no respectivo trecho de “scripts”:

{
  "name": "graphql-books-api",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "start": "node index.js",
    "dev": "nodemon index.js"
  },
  "keywords": [],
  "author": "",
  "license": "ISC",
  "type": "module",
  "dependencies": {
    "apollo-server": "^3.13.0",
    "graphql": "^16.11.0"
  },
  "devDependencies": {
    "nodemon": "^3.1.10"
  }
}

Pronto! Nosso ambiente Node.js já possui uma configuração básica para iniciar o desenvolvimento. Agora, vamos acrescentar duas pastas nessa estrutura (schema e resolvers) e três arquivos (schema.js, resolvers.js e index.js), chegando a esse resultado:

Diretório do projeto exemplo de GraphQL

4.2 – Criando nosso serviço GraphQL

Com o ambiente criado e configurado, vamos inserir os códigos JavaScript de cada um desse nossos arquivos e na sequência vamos executar o servidor e testar a API:

index.jsschema.jsresolvers.js

import { ApolloServer } from 'apollo-server';
import typeDefs from './schema/schema.js';
import resolvers from './resolvers/resolvers.js';

const server = new ApolloServer({ typeDefs, resolvers });

server.listen({ port: 4000 }).then(({ url }) => {
  console.log(`🚀 Server ready at ${url}`);
});

import { gql } from 'apollo-server';

const typeDefs = gql`
  type Book {
    id: ID!
    title: String!
    author: String!
  }

  type Query {
    books: [Book!]!
    book(id: ID!): Book
  }

  type Mutation {
    addBook(title: String!, author: String!): Book!
  }
`;

export default typeDefs;

const books = new Map();

// Dados iniciais (mock realizado para fins de teste)
books.set("1", { id: "1", title: "Clean Code", author: "Robert C. Martin" });
books.set("2", { id: "2", title: "1984", author: "George Orwell" });

const resolvers = {
  Query: {
    books: () => Array.from(books.values()),
    book: (_, { id }) => books.get(id),
  },
  Mutation: {
    addBook: (_, { title, author }) => {
      const id = String(books.size + 1);
      const newBook = { id, title, author };
      books.set(id, newBook);
      return newBook;
    },
  },
};

export default resolvers;

Após inserir os códigos, no terminal execute o comando abaixo para iniciar o servidor Node.js:

npm run dev

Se tudo estiver certo, você visualizará essa mensagem:

🚀 Server ready at http://localhost:4000/

Com o servidor iniciado, vamos testar nossa API. Abra o navegador e acesse http://localhost:4000. Na tela que vai carregar clique em “Query your server” e execute essa query de exemplo:

query {
  books {
    id
    title
    author
   }
}

O resultado dessa query será um arquivo em formato Json com os livros que fizemos mock em nossa API de GraphQL.

Vamos testar também um mutation para adicionarmos um livro:

mutation {
  addBook(title: "O Hobbit", author: "J.R.R. Tolkien") {
     id
     title
     author
   }
}

Você terá um retorno mostrando o registro inserido no seu mock. Se executar a query de consulta novamente, o novo livro registrado aparecerá no seu retorno.

A partir desse exemplo prático veja como é simples dar os seus primeiros passos com GraphQL usando Node.js e Apollo Server. A partir desse ponto, você pode explorar recursos mais avançados, integrar com bancos de dados reais e desenvolver APIs robustas para diferentes tipos de aplicações. E não se esqueça, o GraphQL não é compatível apenas com Node.js, você pode utilizá-lo com outras linguagens de sua preferência como PHP, Python e Java, entre outras.

Conclusão

O GraphQL surge como uma alternativa moderna e eficiente às APIs REST, oferecendo maior flexibilidade e controle sobre as requisições de dados feitas pelo cliente. Ao permitir que o front-end especifique exatamente o que precisa, ele elimina a necessidade de múltiplos endpoints, reduz o tráfego de dados e acelera o desenvolvimento de aplicações mais dinâmicas e escaláveis.

Apesar de exigir uma curva de aprendizado inicial maior e apresentar alguns desafios técnicos — como cache e upload de arquivos —, o GraphQL tem se mostrado uma poderosa ferramenta para quem busca criar APIs mais intuitivas, documentadas e alinhadas com as necessidades reais do cliente.

Seja você um desenvolvedor front-end buscando maior autonomia ou um desenvolvedor back-end em busca de soluções mais eficientes, vale a pena considerar o GraphQL como parte do seu stack de desenvolvimento.

Espero que este conteúdo seja útil em sua trajetória! Se você gostou do conteúdo, compartilhe com seus amigos e aproveite para conhecer mais sobre APIs e outros assuntos de tecnologia da informação aqui!

O que é DevOps?

Em um cenário cada vez mais dinâmico e competitivo, empresas de tecnologia precisam entregar software com mais rapidez, qualidade e segurança. Nesse contexto, a cultura DevOps surge como uma resposta eficiente, promovendo integração entre equipes, automação de processos e melhoria contínua.

Mais do que uma prática técnica, o DevOps representa uma mudança de mentalidade, onde desenvolvimento e operações deixam de atuar de forma isolada para colaborar ativamente em todas as etapas do ciclo de vida de uma aplicação.

Neste artigo, vamos conhecer o que é DevOps, suas principais características e como colocá-lo em prática. Vamos começar?

1 – O que é DevOps?

DevOps é um conjunto de práticas que busca integrar as equipes de desenvolvimento de software (Dev) e operações de TI (Ops), com o objetivo de que trabalhem juntas de forma mais eficiente e colaborativa durante todo o ciclo de vida de um software, desde a concepção até a operação e manutenção. Em vez de equipes separadas, o DevOps promove uma mentalidade de responsabilidade compartilhada e comunicação contínua.

Mais do que ferramentas e processos, o DevOps é uma mudança cultural dentro das empresas de tecnologia — onde as barreiras entre desenvolvimento e operações são quebradas, promovendo integração, automação e melhoria contínua.

A cultura DevOps é uma abordagem que melhora a colaboração entre equipes, acelera o ciclo de entrega de software, aumenta a qualidade dos sistemas e garante maior confiabilidade nas aplicações.

1.1 – Principais características da cultura DevOps

Colaboração e comunicação entre equipes: este é o cerne do DevOps. As equipes de desenvolvimento e operações trabalham juntas desde o planejamento até a entrega e manutenção do software. Isso significa trabalho colaborativo, comunicação aberta, feedback constante, um senso de pertencimento a um objetivo comum e o compartilhamento de informações, objetivos e responsabilidades.

Automação de processos: a cultura DevOps proporciona a automação de tarefas repetitivas e manuais como testes, integração, deploy e monitoramento. A automação acelera os processos, reduz erros e libera as equipes para se concentrarem em tarefas mais estratégicas.

– Integração Contínua (CI) e Entrega Contínua (CD): o objetivo é entregar software de forma rápida, frequente e confiável. Isso é alcançado através de uma pipeline de integração e entrega contínua (CI/CD) responsável por automatizar as etapas de construção, testes e implantação do software.

– Infraestrutura como Código (IaC): a infraestrutura de TI (servidores, redes, armazenamento, etc.) é gerenciada e provisionada usando código, da mesma forma que o software. Isso permite versionamento, automação e repetibilidade na criação e gerenciamento da infraestrutura.

– Monitoramento e feedback contínuo: o monitoramento constante do desempenho de software e infraestrutura é essencial para identificar problemas rapidamente e garantir a estabilidade do sistema. O feedback obtido do monitoramento e das experiências dos usuários serve como fomento para melhorar continuamente o software e os processos.

Responsabilidade compartilhada: todos são responsáveis pelo sucesso do software — da qualidade do código à estabilidade em produção.

Cultura de aprendizado e experimentação: o DevOps incentiva uma cultura onde as equipes se sentem seguras para experimentar, aprender com os erros e implementar melhorias contínuas. A análise de falhas é vista como uma oportunidade de aprendizado, e não de culpabilização de integrantes da equipe.

2 – Como aplicar a cultura DevOps na prática

A aplicação da cultura DevOps traz diversos benefícios para empresa e departamentos de tecnologia da informação, dentre os quais podemos citar: entregas mais rápidas e frequentes; menor taxa de falhas em produção; maior estabilidade e performance dos sistemas; melhor alinhamento entre negócio e tecnologia; ambiente de trabalho mais colaborativo.

A complexidade de implementação da cultura DevOps está diretamente relacionada com fatores como tamanho da empresa ou departamento, nível de maturidade dos processos, experiências prévias da equipe, abertura para mudanças, entre outros.

2.1 – Etapas da implementação

O processo de implementação é composto pelas etapas a seguir:

1 – Comece pela Cultura

– A tecnologia é um facilitador, mas a mudança cultural é fundamental. Invista em treinamento e conscientização para que as equipes entendam os princípios do DevOps e se sintam engajadas na mudança.

2 – Promova a colaboração

– Integre as equipes de Dev e Ops em squads distintas.

– Use ferramentas de comunicação eficientes (como Slack, Teams, Jira, etc.).

– Realize cerimônias conjuntas (como daily meetings, retrospectives e plannings).

3- Implemente CI/CD

– Use ferramentas de CI/CD como Jenkins, GitHub Actions, GitLab CI, CircleCI, Azure DevOps, etc.

– Identifique as tarefas manuais e repetitivas que podem ser automatizadas. Comece com a automação de processos básicos de build, testes e deploy e, progressivamente, avance para os mais complexos.

4 – Automatize infraestrutura (IaC)

– Utilize ferramentas como Terraform, Ansible, ou AWS CloudFormation para criar e gerenciar infraestruturas de forma automatizada e versionada.

5 – Monitore tudo

– Utilize ferramentas como Prometheus, Grafana, New Relic ou Datadog para monitorar em tempo real o desempenho de serviços e aplicações. Também configure alertas para detectar problemas rapidamente.

6 – Adote práticas de observabilidade

– Centralize logs (ex: ELK Stack), use dashboards e métricas para entender o comportamento da aplicação.

7 – Fomente a cultura de aprendizado:

– Realize post-mortems sem culpabilizar ninguém.

– Compartilhe boas práticas e incentive sua aplicação pela equipe.

– Crie um ciclo de feedback. Estabeleça canais para coletar feedback dos usuários e das equipes de operações. Use esse feedback para melhorar continuamente o software e os processos.

8 – Mensure o Progresso

– Defina métricas para acompanhar o sucesso da sua implementação de DevOps. Isso pode incluir a frequência de implantações, o tempo de resposta a incidentes, a taxa de erros e a satisfação do cliente.

Conclusão

A adoção da cultura DevOps vai além da simples aplicação de ferramentas — ela requer transformação organizacional, comprometimento das equipes e uma postura contínua de aprendizado e adaptação.

Ao unir pessoas, processos e tecnologia em torno de um objetivo comum, o DevOps impulsiona a inovação, aumenta a qualidade das entregas e promove ambientes de trabalho mais integrados e eficientes.

Empresas que investem na implementação da cultura DevOps estão mais preparadas para responder rapidamente às mudanças do mercado e entregar valor real aos seus clientes.

Espero que este conteúdo seja útil de alguma forma para você. Se gostou do conteúdo, compartilhe com seus amigos e aproveite para acessar os outros artigos deste site.

O que é Apache Kafka?

Com o avanço da tecnologia e o crescimento exponencial do volume de dados gerados diariamente, o Apache Kafka tornou-se em uma ferramenta essencial para lidar com esses grandes fluxos de dados de forma rápida, eficiente e escalável.

O Apache Kafka é uma das principais plataformas de streaming de eventos em tempo real da atualidade. Utilizado por grandes empresas ao redor do mundo, o Kafka permite a coleta, armazenamento, processamento e distribuição de grandes quantidades de dados, garantindo alta performance.

Neste texto, vamos explorar o que é o Apache Kafka, como ele funciona, e também demonstrar seu uso prático com um exemplo simples e didático em Python. Vamos começar?

1 – O que é o Apache Kafka?

O Apache Kafka é uma plataforma open source de streaming de eventos usada para coletar, armazenar, processar e distribuir grandes volumes de dados em tempo real. Ele é utilizado em aplicações que precisam lidar com fluxos contínuos e volumosos de informações, como logs de sistemas, monitoramento de sensores, processamento de pagamentos, atualizações de estoques e muito mais.

O Kafka foi lançado em 2011, como resultado do trabalho de um grupo de desenvolvedores do LinkedIn. Inicialmente, eles criaram a ferramenta para uso interno da própria empresa. O objetivo era desenvolver uma ferramenta para o processamento diário de grandes volumes de mensagens. Em sua primeira versão, o Kafka conseguia processar até 1,4 trilhão de mensagens por dia, um número expressivo de dados.

O código desenvolvido por Jun Rao, Jay Kreps e Neha Narkhede se tornou público ainda em 2011 e desde então começou a popularizar-se entre os desenvolvedores do mundo todo. Três anos depois, em 2014, os desenvolvedores Jun, Jay e Neha abriram uma empresa chamada Confluent, que fornece uma versão comercial do Apache Kafka.

É válido lembrar que, mesmo que existam versões comerciais do Kafka, ele é um projeto de código aberto. Inclusive, a plataforma foi doada pelos seus criadores à Apache Software Foundation (dai o nome Apacha Kafka), que a mantém até os dias atuais, incorporando novas funcionalidades e melhorias ao Kafka.

2 – Como funciona o Kafka?

O Kafka funciona como uma plataforma de mensagens, utilizando o modelo de Publicação/Assinatura (Publisher/Subscriber ou Pub/Sub). Nesse modelo, temos um produtor de informações (ou mensagens) de um lado, e um receptor do outro lado. Entre eles fica um servidor que atua como um intermediador entre as partes. Observe o esquema abaixo:

Representação gráfica da estrutura do apache kafka.
Fonte: o autor

Vamos imaginar uma empresa de entregas que recebe pedidos de um e-commerce e precisa faturá-los antes de distribuí-los para os seus entregadores. No Kafka, isso funciona assim:

  1. Produtores (Producers) → São os geradores ou remetentes dos dados. Em nosso exemplo, trata-se do sistema de e-commerce enviando os pedidos de seus clientes.
  2. Tópicos (Topics) → São as “caixas de correio” onde os dados são organizados (exemplo: um tópico chamado pedidos armazena todas as informações de novos pedidos).
  3. Corretores (Brokers) → São os servidores do Kafka que armazenam os dados e garantem sua entrega aos consumidores (consumers).
  4. Consumidores (Consumers) → São os destinatários ou receptores dos dados. Em nosso exemplo poderia ser um sistema de faturamento consumindo os pedidos para gerar notas fiscais.

Com base no exemplo acima, podemos entender que sistemas de streaming de eventos do tipo Pub/Sub possuem um emissor (Publisher) de mensagens, responsável por transmitir os dados de um ponto a outro, e um consumidor (Subscriber), que lê essas mensagens.

Os Publishers, por sua vez, não direcionam as mensagens diretamente para seus receptores. Ao invés disso, eles agrupam suas mensagens em tópicos ou filas em um broker, que é um servidor que possui a função de centralizar essas mensagens publicadas. O receptor (Subscriber) “assina” o tópico específico para receber as mensagens agrupadas.

Sempre que um Subscriber ler uma mensagem em um tópico específico, ele deverá fazer a confirmação dessa leitura, através de um processo chamado commit.

2.1 Commits

No Kafka, o processo de confirmação de leitura das mensagens é conhecido como “commit”. Ele é um processo crucial para garantir a entrega confiável dos dados aos consumidores.

Para entender esse processo devemos saber que o kafka utiliza o conceito de offsets. Cada mensagem publicada em um tópico recebe um identificador único e sequencial chamado offset, o qual representa a sua posição dentro da partição do tópico.

A confirmação de leitura (Commit) ocorrerá quando um consumidor processar uma mensagem. Esse consumidor irá informar ao Kafka o offset da última mensagem processada com sucesso. Por sua vez, o kafka irá marcar como lidas todas as mensagens até aquele offset informado. Isso evitará que, em um novo processamento de dados, as mensagens sejam lidas em duplicidade.

É importante também observar que existem dois tipos principais de confirmação de leitura:

  • Confirmação automática (auto-commit): o Kafka confirma os offsets automaticamente em intervalos regulares. É mais simples de configurar, mas pode levar à perda ou duplicação de dados em caso de falhas.
  • Confirmação manual (manual commit): o consumidor controla explicitamente quando os offsets são confirmados. Oferece maior controle e garante maior confiabilidade, porém exige mais código.

A confirmação de leitura garante que o sistema processe as mensagens exatamente uma vez (ou pelo menos uma vez, dependendo da configuração). Em caso de falhas, o consumidor pode retomar o processamento a partir do último offset confirmado, evitando a perda de dados.

Realizar a confirmação de leitura é fundamental para garantir a integridade e a consistência dos dados em sistemas que consomem dados de streaming de eventos.

3 – Exemplo prático

Agora que você entendeu o que é o Apache Kafka e como ele funciona, que tal ver um exemplo prático com código?

A ideia aqui é bem simples: vamos criar um produtor que enviará algumas mensagens para o Kafka com informações de vendas realizadas por alguns vendedores, e um consumidor que escuta esse tópico e imprime as mensagens recebidas.

Para isso, você vai precisar ter instalado na sua máquina:

  • Ter o Apache Kafka rodando localmente: você pode usar o Docker ou instalar manualmente. Eu recomendo que você utilize o Docker, pois, ele facilita muito o processo de instalação.
  • Ter o Python instalado na sua máquina e o gerenciador de pacotes pip;
  • Instalar a biblioteca kafka-python: no terminal do seu sistema operacional execute o comando pip install kafka-python.

Após instalar as ferramentas necessárias, inicie o container kafka e acesse-o com o comando docker exec -it kafka bash

Após acessar o kafka, vamos criar um tópico chamado comercial, com o seguinte comando: kafka-topics.sh --create --topic comercial --bootstrap-server localhost:9092

3.1 – Criando os códigos

Para nosso exemplo, vamos criar dois códigos: um producer e um consumer.

O primeiro arquivo que vamos criar é o producer.py, que será responsável por enviar 5 mensagens para nosso tópico do kafka:

from kafka import KafkaProducer
import json

# Cria um produtor Kafka conectado ao servidor local
producer = KafkaProducer(
    bootstrap_servers='localhost:9092',
    value_serializer=lambda v: json.dumps(v).encode('utf-8')
)

# Lista de mensagens para envio
mensagens = [
    {"vendaId": "50001", "vendedor": "ana.silva", "valor": 120.50, "formaPagamento": "PIX"},
    {"vendaId": "50002", "vendedor": "joao.souza", "valor": 80.00, "formaPagamento": "Crédito"},
    {"vendaId": "50003", "vendedor": "maria.lima", "valor": 230.90, "formaPagamento": "Débito"},
    {"vendaId": "50004", "vendedor": "carlos.pereira", "valor": 45.75, "formaPagamento": "Dinheiro"},
    {"vendaId": "50005", "vendedor": "lucas.almeida", "valor": 150.00, "formaPagamento": "PIX"}
]

# Envia cada mensagem e imprime confirmação personalizada
for msg in mensagens:
    future = producer.send('comercial', msg)
    result = future.get(timeout=10) 
    print(f"Venda {msg['vendaId']} enviada com sucesso!")

producer.flush()

Além do código do producer, vamos criar o arquivo consumer.py, que será responsável por ler nosso tópico de kafka:

from kafka import KafkaConsumer
import json

# Cria um consumidor Kafka que escuta o tópico 'transacoes'
consumer = KafkaConsumer(
    'transacoes',
    bootstrap_servers='localhost:9092',
    value_deserializer=lambda m: json.loads(m.decode('utf-8')),
    auto_offset_reset='earliest',  # Começa a ler do início do tópico
    group_id='meu-grupo'  # Grupo de consumidores
)

print("Aguardando mensagens...")
for mensagem in consumer:
    print(f"Mensagem recebida: {mensagem.value}")

Com esses dois códigos, conseguiremos ver o funcionamento do kafka na prática. Para começar vamos executar nosso producer.py. O resultado obtido será esse aqui:

Print das mensagens enviadas para o tópico de kafka.

Agora que as mensagens foram enviadas para o tópico do kafka, vamos executar nosso consumer.py. O resultado será esse aqui:

Print das mensagens consumidas do tópico de kafka.

Observe nesse simples exemplo que conseguimos simular o envio e consumo de algumas mensagens através do Kafka. Na prática, os sistemas que utilizam Kafka trafegam milhares ou milhões de mensagens por hora. Sem o uso de um sistema de streaming de eventos é praticamente impossível gerenciar tal volume de informação de forma eficiente. Por isso, aprender como o Kafka funciona é fundamental para profissionais e estudantes da área de TI.

Conclusão

O Apache Kafka é uma ferramenta poderosa e versátil para o processamento de dados em tempo real, oferecendo uma arquitetura robusta baseada no modelo de publicação e assinatura.

Sua capacidade de lidar com grandes volumes de mensagens de forma confiável o torna indispensável em cenários que exigem alta escalabilidade e desempenho. Através do exemplo prático apresentado, foi possível observar como produtores e consumidores interagem com tópicos no Kafka, evidenciando seu papel central em sistemas modernos de dados.

Para profissionais de tecnologia, dominar o funcionamento do Kafka é um diferencial competitivo relevante em um mercado cada vez mais orientado a dados.

Espero que este artigo seja útil de alguma forma para você. Em caso de dúvidas, sugestões ou reclamações, fique à vontade para entrar em contato.

Ah, e se você quiser conhecer mais sobre Arquitetura de Sistemas, não deixe de acessar a categoria que tenho dedicada ao assunto.