O que são LLMs?

Vou iniciar este artigo por dizer que os LLMs são talvez uma das mais recentes e grandes evoluções no desenvolvimento da Inteligência Artificial, tendo aparecido por volta de 2018 e poder-se-á mesmo afirmar que os LLMs são um fator crucial para os chatbots modernos. Vou tentar explicar de uma forma simples, apesar de considerar ser difícil para não pessoas ligadas à tecnologia. A sua importância é a base que nos possibilita “conversar” e termos respostas superinteligentes nos nossos computadores ou smartphones, quando usamos aplicações como o ChatGPT, o Google Gemini, o Claude, ou o Mistral (chatbot europeu). Estas aplicações utilizam na base de desenvolvimento o modelo de linguagem BERT (Bidirectional Encoder Representations from Transformers), que vou tentar esclarecer melhor.

Os LLMs são um tipo específico de modelo de PLN (Processamento de Linguagem Natural) que revolucionou a forma como as máquinas compreendem e geram linguagem. Estes programas aprenderam a linguagem humana ao ler uma quantidade enorme (muitos milhões) de textos, livros, relatórios, análises e outro tipo de textos. Ou seja, tudo o que nos possibilitaria a nós humanos aprender ao longo de diversas vidas, mesmo que não fizéssemos mais nada e mesmo assim seria difícil ler tanta informação como os modelos LLMs recolhem de informação.

Os Modelos de Linguagem de Grande Escala (Large Language Models ou LLMs) representam um avanço significativo no campo da Inteligência Artificial. Podemos dizer de uma forma simples, que esta tecnologia é um tipo específico de programas de computador que usa técnicas de aprendizagem de máquina (machine learning) numa máquina (computador) e que pode processar e gerar linguagem humana.

Os LLMs, ou Modelos de Linguagem Grandes, Pense neles como:

• Leitores vorazes: Eles “devoraram” livros, artigos, sites e muito mais.
• Decifradores de padrões: Estes modelos conseguem “perceber” como as palavras se encaixam e como as frases são construídas ao nível de sintaxe e da semântica.
• Criadores de texto: Com esse conhecimento, eles conseguem escrever, responder perguntas e até traduzir idiomas.

Em termos muito simples e de forma sintética, os LLMs são ferramentas poderosas que usam inteligência artificial para entender e gerar texto, tornando a comunicação com as máquinas mais natural e eficiente.

Estes modelos são baseados em arquiteturas de redes neuronais profundas (deep learning) e que vão para além da IA Generativa e são treinados com volumes enormes de texto, o que lhes permite capturar padrões complexos da linguagem humana.

Para entender melhor o que são os LLMs, podemos pensar neles como sistemas que aprenderam probabilidades estatísticas de sequências de palavras. Eles conseguem prever qual palavra tem maior probabilidade de aparecer dado um determinado contexto. Esta capacidade é o que permite que respondam perguntas, escrevam textos e realizem diversas tarefas linguísticas.

O Processo de Desenvolvimento de LLMs

O desenvolvimento de um LLM envolve várias etapas cruciais:

1. Arquitetura do Modelo

A maioria dos LLMs modernos é baseada na arquitetura Transformer, introduzida em 2017 no artigo “Attention is All You Need”. Esta arquitetura revolucionou o processamento de linguagem natural devido a seus mecanismos de atenção, que permitem ao modelo focar-se em diferentes partes do texto de entrada de forma simultânea, em vez de processá-lo sequencialmente.

A arquitetura Transformer consiste em componentes principais:

• Mecanismo de auto-atenção: Permite que o modelo considere todas as palavras numa frase ao mesmo tempo, compreendendo como cada palavra se relaciona com as outras.
• Camadas de codificação e decodificação: Processam o texto de entrada e geram o texto de saída.
• Redes feed-forward: Aplicam transformações adicionais às representações geradas pelos mecanismos de atenção.

2. Recolha e Preparação de Dados

Os LLMs exigem quantidades enormes de dados textuais para o seu treino. Etapa que envolve:

• Recolha de corpus textual: Reunião de textos de diversas fontes como livros, artigos, websites, documentos e outras fontes de texto disponíveis publicamente.
• Limpeza e pré-processamento: Remoção de duplicatas, formatação inconsistente, e preparação do texto para o treino.
• Tokenização: Divisão do texto em unidades menores chamadas tokens, que podem ser palavras, sub-palavras ou caracteres, dependendo do modelo.

Para exemplificar, um modelo como o GPT-3 foi treinado com centenas de bilhões de tokens de texto, extraídos de livros, artigos científicos, páginas da web e outros textos diversos.

3. Pré-treino

Esta é a fase mais computacionalmente intensiva, onde o modelo aprende representações gerais da linguagem:

• Treino não supervisionado: O modelo aprende prevendo qual a próxima palavra ou token numa sequência, sem supervisão humana explícita.
• Computação massiva: Requer clusters de GPUs (Graphics Processing Unit, ou Unidade de Processamento Gráfico) ou TPUs (Tensor Processing Unit) poderosos que trabalham computacionalmente durante semanas ou mesmo meses.
• Aprendizagem de padrões linguísticos: Durante esta fase, o modelo aprende gramática, factos do mundo, processo de raciocínio e um amplo conhecimento geral.

O processo de pré-treino utiliza uma técnica chamada “modelagem de linguagem autorregressiva”, onde o modelo é treinado para prever o próximo token baseado nos tokens anteriores. Por exemplo, dado “O céu é”, o modelo aprende a prever “azul” como uma continuação provável.

4. Fine-tuning (Ajuste Fino)

Após o pré-treino, o modelo passa por um processo de refinamento:

• Ajuste com dados específicos: O modelo é ajustado a conjuntos de dados menores e mais específicos para tarefas particulares.
• Aprendizagem do por reforço com feedback humano (RLHF): Técnica onde o modelo é refinado com base em avaliações humanas às suas respostas.
• Alinhamento com valores humanos: Processo para garantir que o modelo gere conteúdo útil, inofensivo e verdadeiro.

Um exemplo concreto de fine-tuning é quando um modelo pré-treinado é ajustado para gerar respostas médicas precisas usando um dataset de literatura médica revista por especialistas obtido em diversos documentos (The Peer Review Process).

5. Avaliação e Iteração

O modelo passa por extensos testes para verificar seu desempenho:

• Benchmarks padronizados: Testes que medem habilidades como compreensão de leitura, raciocínio lógico, conhecimento factual, etc.
• Testes de robustez: Avaliação de como o modelo lida com entradas inesperadas ou maliciosas.
• Feedback qualitativo: Avaliação humana da qualidade, utilidade e segurança das respostas.

Com base nos resultados destes testes, os programadores ou desenvolvedores podem iterar no modelo, ajustando hiperparâmetros, arquitetura ou dados de treino para melhorar o desempenho.

Métodos e Processos de IA em LLMs

Vários métodos e processos de IA são fundamentais no desenvolvimento de LLMs:

Aprendizagem Profunda (Deep Learning)

Os LLMs são um caso específico de sistemas de aprendizagem profunda, que utilizam redes neuronais artificiais com muitas camadas (profundas). Estas redes são projetadas para aprender representações hierárquicas de dados:

• As primeiras camadas capturam recursos básicos (como combinações de caracteres ou palavras simples).
• As camadas intermediárias aprendem padrões mais complexos (como estruturas gramaticais).
• As camadas superiores capturam conceitos abstratos e relações semânticas.

Esta hierarquia permite que os LLMs compreendam tanto os aspectos superficiais quanto os significados profundos da linguagem.

Transformers e Mecanismos de Atenção

O mecanismo de atenção é fundamental para os LLMs modernos:

• Atenção de múltiplas cabeças (Multi-head attention): Permite ao modelo poder-se focar em diferentes aspectos do texto em simultaneo.
• Atenção mascarada (Masked attention): Utilizada em modelos autorregressivos para garantir que ao prever uma palavra, o modelo só considera palavras anteriores.
• Atenção cruzada (Cross-attention): Usada em tarefas como tradução, onde o modelo precisa alinhar elementos de duas sequências diferentes.

Para ilustrar, quando um modelo processa a frase “O banco partiu”, o mecanismo de atenção ajuda a determinar se “banco” se refere a uma instituição financeira ou a um assento, baseando-se no contexto da palavra “partiu”.

Embedding e Representação Vetorial

Os LLMs transformam palavras e frases em vetores numéricos de alta dimensão:

• Word embeddings: Representações vetoriais de palavras que capturam relações semânticas (palavras com significados similares têm vetores próximos).
• Embeddings contextuais: Representações que mudam dependendo do contexto em que a palavra aparece.
• Espaços semânticos: Os vetores formam um espaço onde distâncias e direções têm significado linguístico.

Por exemplo, no espaço vetorial, a relação entre “rei” e “rainha” pode ser similar à relação entre “homem” e “mulher”, permitindo operações como: vetor(“rei”) – vetor(“homem”) + vetor(“mulher”) ≈ vetor(“rainha”).

Aprendizagem por Reforço com Feedback Humano (RLHF)

O RLHF é crucial para alinhar os LLMs com as intenções e valores humanos:

1. Recolha de demonstrações: Humanos fornecem exemplos de respostas desejáveis para diversas entradas.
2. Treino de um modelo de recompensa: Um modelo separado é treinado para prever quais respostas humanos prefeririam.
3. Otimização de política: O LLM é ajustado para maximizar a recompensa prevista pelo modelo de recompensa.

Este processo é iterativo e ajuda a garantir que o modelo não apenas gere texto gramaticalmente correto, mas também útil, seguro e alinhado com valores humanos.

Técnicas de Paralelismo e Eficiência Computacional

Dada a escala dos LLMs modernos, técnicas especializadas são necessárias para viabilizar o seu treino:

• Paralelismo de dados: Diferentes lotes de dados são processados em diferentes GPUs.
• Paralelismo de modelo: As camadas do modelo são distribuídas entre múltiplos dispositivos.
• Paralelismo de pipeline: Diferentes estágios do processamento ocorrem simultaneamente em diferentes dispositivos.
• Treino misto de precisão: Uso de diferentes precisões numéricas para economizar memória e acelerar o cálculo.

Um exemplo prático: treinar um modelo com 175 mil milhões de parâmetros (como o GPT-3) requer sistemas de computação distribuída com centenas ou milhares de GPUs a trabalhar em paralelo por meses.

A importância do PLN (Processamento de Linguagem Natural)

A PLN fornece os fundamentos teóricos e as técnicas que permitem aos computadores processar e interpretar a linguagem humana.

Tarefas como:

• Reconhecimento de fala

• Análise sintática

• Análise semântica

• Geração de texto

Desafios e Considerações Éticas

O desenvolvimento de LLMs enfrenta importantes desafios técnicos e éticos:

Desafios Técnicos

• Viés e representatividade nos dados: Os modelos podem perpetuar ou amplificar vieses presentes nos dados de treinamento.
• Alucinações: LLMs podem gerar informações factualmente incorretas, mas apresentadas com confiança.
• Eficiência computacional: O treino e a execução de LLMs consomem recursos computacionais significativos e energia.
• Interpretabilidade: É difícil entender exatamente como os LLMs chegam a determinadas conclusões ou respostas.

Considerações Éticas

• Privacidade dos dados: Preocupações sobre o uso de textos pessoais ou protegidos no treinamento.
• Consentimento e propriedade intelectual: Questões sobre o uso de conteúdo criativo sem permissão explícita dos autores.
• Desinformação e manipulação: Potencial uso malicioso para gerar conteúdo enganoso ou prejudicial.
• Acesso e equidade: Disparidades no acesso a estas tecnologias podem ampliar desigualdades existentes.

Pode-se perguntar e o que vai acontecer quando os LLMs consumirem toda a informação disponível na Internet ?

Não há uma resposta clara para essa questão, existindo diversas teorias e respostas, embora a ideia de LLMs que absorvem toda a informação da internet seja intrigante, é importante reconhecer os desafios técnicos, éticos e sociais que acompanham essa possibilidade, podendo haver alguns desafios como: Vieses e desinformação; Privacidade e segurança; Acesso ao conhecimento (o caminho para a Inteligência Artificial Geral ou AGI); Criação e inovação, existem diversos estudos sobre esta possibilidade, mas na realidade é, na minha opinião, uma incógnita.

Aplicações Práticas dos LLMs

Os LLMs têm diversas aplicações que estão a transformar diferentes sectores:

• Assistentes virtuais: Sistemas de conversação como ChatGPT, Claude, Gemini entre outros.
• Geração de conteúdo: Criação de textos, resumos, traduções e conteúdo criativo.
• Análise de documentos: Extração de informações, classificação e resumo de documentos.
• Codificação assistida: Geração e explicação de código, debugging e documentação.
• Educação personalizada: Tutores virtuais e criação de material didático adaptativo.
• Pesquisa científica: Análise de literatura científica, geração de hipóteses e auxílio em descobertas.

LLMs Direcionados: Conceitos e Aplicações Especializadas

Os LLMs direcionados (ou especializados) representam uma evolução importante no campo da inteligência artificial. Vou tentar explicar este conceito em profundidade, abordando como estes modelos diferem dos LLMs gerais e como estão a transformar setores específicos como a saúde e a justiça.

O Conceito de LLMs Direcionados

Um LLM direcionado é um modelo de linguagem que foi especificamente adaptado ou treinado para um domínio do conhecimento em particular, como a medicina, o direito, áreas financeira ou de engenharia. Estes modelos distinguem-se dos LLMs que são generalistas de várias maneiras importantes:

Processo de Especialização

O desenvolvimento de um LLM direcionado geralmente segue um caminho que começa com um modelo de base e depois o especializa:

1. Fundação num LLM geral: Primeiro, começa-se com um modelo de linguagem de grande escala pré-treinado em dados gerais e diversos.
2. Fine-tuning com dados específicos do domínio: O modelo passa por ajuste fino usando conjuntos de dados especializados. Por exemplo, um LLM médico pode ser ajustado com literatura médica, prontuários, estudos clínicos e outros textos da área de saúde.
3. Treino adicional para tarefas específicas: Além do conhecimento do domínio, o modelo pode ser treinado para realizar tarefas particulares, como elaboração de laudos diagnósticos ou interpretação de exames laboratoriais.
4. Alinhamento com padrões do domínio: O modelo é refinado para aderir aos padrões éticos, protocolos e melhores práticas do campo específico.

Vantagens dos LLMs Direcionados

Estes modelos especializados oferecem várias vantagens sobre LLMs de propósito geral, ou generalistas:

• Precisão aprimorada: Tendem a cometer menos erros nos seus domínios de especialização.
• Vocabulário técnico mais robusto: Dominam a terminologia específica do campo.
• Contextualização adequada: Interpretam conceitos dentro do quadro conceitual correto da disciplina.
• Conformidade com padrões setoriais: São projetados para seguir práticas e regulamentos específicos do setor.
• Conhecimento especializado atualizado: Podem incorporar os desenvolvimentos mais recentes em seus campos.

Aspetos Específicos do Desenvolvimento de LLMs para o Contexto Português

O desenvolvimento de LLMs direcionados para Portugal apresenta desafios e requisitos específicos:

1. Dados e Recursos Linguísticos

• Corpus em português europeu: Necessidade de utilizar textos em português de Portugal, que difere significativamente do português do Brasil em vocabulário, construções gramaticais e expressões.
• Terminologia técnica portuguesa: Incorporação de glossários específicos dos diversos setores em Portugal, respeitando a terminologia oficial utilizada nas instituições portuguesas.
• Documentação oficial portuguesa: Utilização de documentos emitidos por entidades portuguesas como a Assembleia da República, ministérios, ordens profissionais e agências reguladoras.

2. Requisitos Regulatórios Específicos

• Conformidade com o RGPD: Adaptação às interpretações e implementações específicas do Regulamento Geral de Proteção de Dados em Portugal, incluindo as orientações da CNPD (Comissão Nacional de Proteção de Dados).
• Respeito pelas competências das entidades reguladoras: Alinhamento com as disposições das diversas entidades reguladoras setoriais portuguesas (ERSE, ANACOM, ERS, etc.).

3. Integração com Sistemas Nacionais

• Compatibilidade com plataformas governamentais: Capacidade de interagir com sistemas como o Portal das Finanças, Segurança Social Direta ou Portal do SNS.
• Interoperabilidade com bases de dados nacionais: Facilidade de integração com sistemas como o SICO (Sistema de Informação dos Certificados de Óbito), SINAVE (Sistema Nacional de Vigilância Epidemiológica) ou bases de dados jurídicas nacionais.

Exemplos de Projeto de LLMs Direcionados em Portugal

LLM Jurídico Português

Um projeto hipotético de LLM jurídico português poderia envolver:

1. Base de treino: Utilização de um modelo base treinado em português europeu.
2. Dados especializados: Fine-tuning com:
   • Legislação portuguesa completa (códigos, leis, decretos-lei, portarias)
   • Jurisprudência dos tribunais superiores portugueses
   • Doutrina jurídica de autores portugueses
   • Pareceres do Conselho Consultivo da PGR (Procuradoria-Geral da República)
3. Avaliação específica: Validação por magistrados e advogados portugueses, com testes baseados em casos reais dos tribunais portugueses.
4. Aplicações: Implementação em escritórios de advocacia portugueses, tribunais e notários para assistência na redação e análise de documentos jurídicos.

LLM para o Sistema de Saúde Português

Um LLM especializado para o SNS poderia ser desenvolvido através de:

1. Adaptação contextual: Treino com documentação médica em português de Portugal ou português europeu, incluindo normas da DGS, orientações técnicas e protocolos clínicos portugueses.
2. Integração específica: Capacidade de compreender e processar:
   • Terminologia específica do SNS
   • Sistemas de classificação utilizados em Portugal (ICD-10, ICPC-2)
   • Protocolos de referenciação entre níveis de cuidados de saúde em Portugal, protocolos de operacionalidade com emergência médica, etc.
3. Funcionalidades especializadas: Assistência na:
   • Codificação de diagnósticos segundo os critérios do SNS
   • Preenchimento de declarações obrigatórias para a saúde pública portuguesa
   • Interpretação de exames segundo os valores de referência utilizados em Portugal

Desafios Específicos no Contexto Português

O desenvolvimento de LLMs direcionados em Portugal enfrenta alguns desafios particulares:

Limitações de Recursos

• Menor volume de dados em português europeu: Comparativamente ao inglês ou mesmo ao português do Brasil, há menos dados disponíveis para treinar modelos em português europeu.
• Investimento em IA: Necessidade de aumentar o investimento em investigação e desenvolvimento de IA em Portugal para criar modelos verdadeiramente adaptados à realidade portuguesa.

Especificidades Culturais e Institucionais

• Contexto administrativo único: Adaptação às particularidades da administração pública portuguesa e ao funcionamento específico das instituições nacionais.
• Regionalidades: Consideração das diferenças regionais, incluindo as especificidades das regiões autónomas da Madeira e dos Açores.

Oportunidades Futuras para LLMs Direcionados em Portugal

Apesar dos desafios, há várias oportunidades promissoras:

Modernização da Administração Pública

• LLMs que facilitam a interação dos cidadãos com serviços públicos portugueses, simplificando processos administrativos.
• Assistentes virtuais especializados para auxiliar os funcionários públicos na interpretação e aplicação da legislação portuguesa.

Apoio ao Sistema Judicial

• Ferramentas para acelerar a análise de processos nos tribunais portugueses, ajudando a combater a morosidade judicial.
• Sistemas de assistência para magistrados na pesquisa de jurisprudência relevante do ordenamento jurídico português.

Inovação em Saúde

• Implementação de LLMs para melhorar a gestão das listas de espera no SNS.
• Assistentes clínicos para apoiar médicos de família em áreas com falta de especialistas, especialmente em regiões do interior de Portugal.

O Futuro dos LLMs Direcionados

As tendências emergentes neste campo incluem:

Hiperespecialização

Modelos cada vez mais especializados em subdomínios muito específicos, como:

• LLMs para especialidades médicas particulares (cardiologia, oncologia, neurologia, gastroenterologia, etc.)
• Modelos jurídicos para áreas específicas do direito (tributário, propriedade intelectual, etc.)

Sistemas Multimodais Direcionados

Integração de capacidades de processamento de imagens, áudio e vídeo específicas para domínios:

• Modelos médicos que analisam simultaneamente textos clínicos e imagens diagnósticas
• Sistemas jurídicos que processam documentos físicos digitalizados e áudios de audiências

Personalização Adaptativa

LLMs que se adaptam ao estilo e preferências de profissionais específicos:

• Sistemas médicos que aprendem as preferências diagnósticas de um determinado médico
• Assistentes jurídicos que se alinham com o estilo de argumentação de um advogado específico

Ecosistemas Integrados

Redes de LLMs especializados trabalhando em conjunto:

• Sistema de saúde com diferentes modelos para diagnóstico, tratamento, administração hospitalar e pesquisa
• Plataforma jurídica com modelos específicos para pesquisa, redação, análise de risco e previsão de resultados.

Consumo Energético dos LLMs: Números e Comparações

Treino de LLMs e utilização de supercomputadores

O treino e execução de Modelos de Linguagem de Grande Escala (LLMs) em supercomputadores representa um dos usos mais intensivos de energia no campo da computação moderna. O treino do GPT-3 (175 bilhões de parâmetros) consumiu aproximadamente 1.287 MWh (megawatt-hora) de eletricidade, segundo estimativas publicadas. A Nvidia H100, uma GPU comum para treino de IA, consome até 700 watts quando está em plena utilização. Um cluster com 10.000 dessas GPUs (não incomum para treinar grandes modelos) consumiria 7 MW (megawatts) de energia. Ou seja, se fizermos algumas contas, chegamos à conclusão que um grande cluster de treino de IA pode consumir aproximadamente a mesma quantidade de energia que uma cidade portuguesa de pequeno porte por dia.

Mas existem outras implicações de Sustentabilidade e que podem ser analisadas:

• Água: Os centros de dados consomem grandes quantidades de água para resfriar os sistemas. Uma instalação típica pode usar milhões de litros de água por ano.

• Minerais raros: As GPUs e ASICs necessárias para IA requerem metais raros e semicondutores cuja mineração tem impactos ambientais significativos.

• Infraestrutura física: A construção de centros de dados gigantes tem sua própria pegada ambiental, o que acrescenta a Pegada de Carbono. Ou seja, se alimentado inteiramente por combustíveis fósseis, o treino de modelos cada vez maiores poderá ter um impacto climático significativo nos próximos anos.

Já existem restrições em algumas áreas (como partes da Europa e América do Norte) onde as concessionárias de energia limitam a construção de novos centros de dados devido à capacidade da rede, já que isso pode desequilibrar todo o sector energético.

Muitas empresas de IA estão a investir em energia verde, existindo diversos compromissos de empresas como a Microsoft, a Google e mesmo a OpenAI que têm compromissos de tornar os seus centros de dados neutros em carbono ou alimentados por energias renováveis.

Conclusão

Os LLMs direcionados representam uma oportunidade significativa para Portugal, permitindo o desenvolvimento de ferramentas de IA adaptadas às especificidades legais, institucionais e culturais do país. Ao contrário de soluções genéricas ou adaptadas ao contexto brasileiro que pode ser em muitos casos bastante diferente da realidade e forma de actuação em Portugal, os LLMs especificamente direcionados para a realidade portuguesa podem oferecer um valor acrescentado significativo em setores como saúde, justiça, administração pública e educação.

O sucesso destes modelos dependerá da capacidade de incorporar adequadamente o português europeu, a terminologia específica dos diversos setores em Portugal, e o conhecimento detalhado dos sistemas e instituições nacionais. Com o desenvolvimento apropriado, estes sistemas podem contribuir significativamente para a modernização e eficiência de diversos setores em Portugal, respeitando as particularidades do contexto nacional.

À medida que Portugal continua a investir na sua transformação digital e na adoção de tecnologias avançadas, os LLMs direcionados podem tornar-se ferramentas valiosas para profissionais e instituições, desde que desenvolvidos com um entendimento profundo do contexto específico do país.

Se gostou deste artigo e o achou interessante dê o seu “Gosto” e partilhe-o com os seus amigos. Este site serve para isso mesmo: elucidar, ensinar e relembrar algum assunto a quem gosta de Informática.

Em caso de alguma dúvida ou questão, envie um e-mail para formacaoajuda@gmail.com para qualquer esclarecimento.

Subscreva o nosso blog e receba automaticamente os novos artigos,

Obrigado.