Estamos habituados a uma regra fundamental da tecnologia, e da ciência como um todo: quando alguma coisa corre mal, corrigimos, testamos de novo, melhorando o que estava errado.
Um programa falha. Atualizamos.
Um avião apresenta um problema. Investigamos.
Um medicamento tem efeitos inesperados. Suspendemos e estudamos.
A ciência e a engenharia evoluíram precisamente assim: tentativa, erro, aprendizagem e correção.
Mas será que esta regra continuará válida quando estivermos perante uma inteligência que possa ultrapassar a nossa própria capacidade de controlo?
Introdução ao Grande Debate do Futuro da IA
As recentes noticias com o avanço acelerado da Inteligência Artificial Geral (AGI) e da Superinteligência (ASI), trouxeram para o centro do debate público e científico uma questão premente: como deve a humanidade gerir a segurança de sistemas que podem vir a superar a capacidade cognitiva humana em todas as áreas estratégicas?
Este Podcast e Artigo têm como objetivo central apresentar as duas visões fundamentais e opostas que dividem os principais investigadores e teóricos da área. O debate não orbita em torno da importância da Inteligência Artificial, é um facto que todos concordam que o seu impacto será civilizacional, mas sim em torno do ritmo de transição entre níveis de capacidade e da nossa capacidade de aprender com erros ao longo do processo.
Convido-o a ouvir o nosso episódio do Podcast que é na minha opinião interessante e que nos deixa a pensar e a reflectir:
🎧 ouça aqui o Áudio que pode descarregar
🎧 Ouça na plataforma YouTube, clicando no link
Duas visões. Uma pergunta decisiva.
🟥 Visão 1 — Temos apenas uma oportunidade
Porque é que uma IA com capacidade sobre-humana nos mataria a todos. Uma perspectiva associada a Eliezer Yudkowsky e Nate Soares.
Recomendo a leitura do livro: “Se Alguém a Criar, Morremos Todos“
🟦 Visão 2 — Podemos aprender pelo caminho
Aqui entra a o pensamento de cientistas como Yann LeCun e Boaz Barak e a ideia de evolução contínua.
A força desta parte do documento é que oferece uma alternativa muito intuitiva: não saltamos de uma IA relativamente limitada para uma superinteligência omnipotente; atravessamos várias fases e podemos observar sinais de perigo ao longo do caminho.
A preocupação
Geoffrey Hinton, pioneiro das redes neuronais e considerado o padrinho da Inteligência Artficial, receia que sistemas de IA se tornem mais inteligentes do que os humanos antes de sabermos controlar essa tecnologia em desenvolvimento exponencial. O seu maior temor não é uma máquina “malvada”, mas uma IA com objetivos próprios ou mal definidos que, para os cumprir, engane pessoas, contorne limites ou procure preservar-se.
São cada vez mais os investigadores que temem uma evolução sem controlo. Cientistas, como Yoshua Bengio e Stuart Russell, partilham a preocupação: uma superinteligência — superior aos humanos em praticamente todas as tarefas intelectuais — poderá amplificar riscos já visíveis, como desinformação, fraude, ciberataques, armas autónomas e criação de ameaças biológicas.
Recomendo a leitura do artigo em Inglês que apresenta o estudo: “IA 2027” um artigo de grande repercussão e que simula e que prevê um cenário hipotético em que a inteligência artificial atinge a Inteligência Artificial Geral (AGI) e evolui para uma Superinteligência Artificial (ASI) , culminando num risco existencial para a humanidade. Pode ver aqui o estudo no original https://ai-2027.com/
A metáfora da escada no escuro
Para ilustrar a impossibilidade de aprendizagem empírica no limiar crítico, os autores Eliezer Yudkowsky e Nate Soares utilizam uma analogia no livro “Se Alguém a Criar, Morremos Todos” de subir uma escada no escuro:
- Imagine várias entidades a subir uma escada no escuro. A cada degrau alcançado, obtêm-se recompensas financeiras e de poder substanciais. No entanto, ninguém sabe onde a escada termina, e o último degrau explode, matando todos os envolvidos.
O “so what?” (a conclusão fundamental) desta analogia é que não existe margem para tentativa e erro no topo da escada. Não é possível “experimentar” o último degrau para ver se ele explode, porque o primeiro erro no topo é o último da história humana. Um perigo em que o problema central chama-se alinhamento: garantir que uma IA muito poderosa respeita valores humanos, aceita supervisão e não produz danos, mesmo quando recebe autonomia para agir.
Cientistas, investigadores e penosidades de renome, alertam que a competição entre empresas e países pode acelerar o desenvolvimento sem testes de segurança suficientes. Alertas em que empresas como a Anthropic e a OpenAI têm vindo a alertar.
Mas será que estamos realmente perante um salto?
De acordo com a visão de Yann LeCun e Boaz Barak, a questão e pergunta que alguns cientistas defendem: Será que estamos a imaginar um salto que nunca acontecerá?
A perspectiva contraposta, associada a estes cientistas e a linhas de investigação em grandes laboratórios de IA, contesta a visão binária de “Antes vs. Depois”. Esta abordagem defende que, embora o avanço das capacidades da IA possa ser exponencial, ele é fundamentalmente contínuo, proporcionando múltiplas oportunidades para observar falhas, recolher dados empíricos e aplicar correções ao longo do tempo.
Fica a questão: Quem deve carregar no botão?
Estamos a entrar rapidamente, eventualmente rápido demais, e que fica a pergunta que não há uma resposta directa e concreta: quem decide quando devemos parar?”
Governos?
Empresas?
Cientistas?
Uma organização internacional?
E se um país parar mas outro continuar?
São vários documentos que mostram que o problema da segurança da IA rapidamente se transforma num problema de governação, competição internacional e poder.
A tabela seguinte sintetiza as divergências estruturais entre os dois paradigmas em relação aos eixos mais importantes do debate de segurança da IA:
| Eixo de Análise | Teoria do “Único Tiro” (Yudkowsky / Soares) | Teoria da “Evolução Contínua” (LeCun / Barak) |
| Mecanismo de Aprendizagem | Teórico / A Priori: Exige teorias cognitivas rigorosas e testadas antes da execução, pois não há margem para erro. | Empírico / Iterativo: Aprendizagem através da observação contínua de sucessos e falhas em sistemas implantados no mundo real. |
| Premissa de Segurança | Tudo ou Nada: A primeira falha num sistema superinteligente (“Depois”) causa a extinção da humanidade. | Proporcional e Gradual: As falhas crescem em magnitude com as capacidades; falhas médias fornecem dados para evitar falhas grandes. |
| Analogia Central | A Escada no Escuro: Subir degraus de recompensa até atingir um degrau desconhecido que explode e mata todos. | Gerações de “Bobs” e MS Windows: Progressão contínua de papéis sociais e gestão de sistemas complexos mas moldáveis. |
| Visão sobre Evals e Testes | Anti-empírica no limite: Testes no “Antes” não garantem segurança no “Depois” devido ao shift de distribuição e à dissimulação. | Informativa e Evolutiva: As avaliações (evals) medem a propensão para a dissimulação e melhoram com a escala dos modelos. |
| Proposta de Ação / Governação | Pausa Global (Halt) / Off Switch: Interrupção rigorosa do avanço da fronteira até existir prova teórica de alinhamento. | Monitorização e Salvaguardas Contínuas: Investimento em investigação de alinhamento em paralelo com a implantação faseada. |
Afinal, quem está realmente a correr o risco?
Estamos a construir sistemas cada vez mais poderosos enquanto ainda tentamos perceber como controlá-los. Os Agentes de IA são efectivamente um perigo e uma ameaça. A IA não responde a perguntas com a IA generativa (um qualquer chatbot), a IA passa a cumprir tarefas e isso pode ser aterrador.
Ou seja, talvez a questão mais difícil não é saber se conseguiremos criar uma superinteligência e daqui a quantos anos. Talvez seja saber se teremos a maturidade suficiente para saber quando devemos parar.
Implicações Práticas e Governação da IA
Coloquei duas teorias que alteram radicalmente a lógica subjacente às ferramentas de governação pública, tais como os mecanismos de interrupção global (Off Switch) e os acordos de Pausa Global (Halt):
- Se a Teoria do “Único Tiro” estiver correta, uma Pausa Global (Halt) e uma infraestrutura internacional de Off Switch são imperativos de sobrevivência não-negociáveis. Uma vez atingida a fronteira da superinteligência, qualquer tentativa de implantação empírica sem garantias teóricas prévias acarreta um risco inaceitável de extinção. A governação deve focar-se na monitorização estrita do hardware especializado (chips GPU) e em tratados de não-proliferação para parar o desenvolvimento antes da rutura.
- Se a Teoria da “Evolução Contínua” estiver correta, o Off Switch e os protocolos de pausa funcionam como uma rede de segurança essencial para a implantação iterativa. Os mecanismos de interrupção não servem para parar permanentemente a investigação antes do limiar, mas sim para agir rapidamente caso surjam não-linearidades inesperadas ou desvios de conduta durante a transição gradual. A governação deve focar-se em quadros de preparação (Preparedness Frameworks), testes de invasão (red-teaming) e no aumento progressivo de salvaguardas à medida que os modelos assumem tarefas mais autónomas.
Consenso de Segurança: Independentemente da perspetiva teórica adotada — quer se acredite no “Único Tiro” ou na “Evolução Contínua”, ambas as partes concordam categoricamente que a segurança da Inteligência Artificial não se resolverá por si mesma. A IA não será automaticamente segura por boas intenções ou forças de mercado. Ambas as escolas de pensamento exigem um investimento urgente, substancial e sem precedentes em investigação de alinhamento técnico e estruturas de governação antes da implantação de sistemas de elevado risco.
Conclusão:
Existem investigadores que defendem que este risco pode ser extremo; existem outros que consideram mais provável uma evolução gradual. Este é o dilema que está neste momento a moldar as leis da União Europeia (AI Act), a falta de regulação nos EUA e as decisões dos maiores laboratórios do mundo (OpenAI, Anthropic, Google).
Uma Questão Para a Sobrevivência Humana
A análise fria das leis de otimização, da teoria dos jogos e da geopolítica demonstra que o risco existencial decorrente da IA Geral e da Superinteligência não pertence ao domínio da ficção científica distante. É uma crise de arquitetura política e de tempo.
O desafio do alinhamento possui uma propriedade única na história da civilização: exige que a humanidade acerte na totalidade das salvaguardas à primeira tentativa crítica. Existem duas grandes visões sobre a previsibilidade do ponto de rutura: enquanto os empíricos acreditam que o avanço nos irá dar sinais de aviso claros para corrigir o rumo, já os teóricos do risco existencial alertam que a transição para uma superinteligência pode ser um evento único, sem direito a uma segunda oportunidade.
À medida que o poder de computação cresce e os modelos ganham autonomia, a questão central do nosso tempo deixa de ser “quando atingiremos a AGI?” e passa a ser: terá a nossa espécie a maturidade política para construir e institucionalizar um “Botão de Desligar” global, ou continuaremos a acelerar no escuro, confiando que a sorte nos salvará da primeira Superinteligência que decidir assumir o controlo do seu próprio destino?
Fica a pergunta.
💬 E a sua opinião, qual é?
Acredita que teremos tempo para aprender com os erros ou que estamos a caminhar para um ponto sem retorno? Deixe o seu comentário abaixo e partilhe este artigo/episódio com os seus amigos.
Se gostou deste episódio do Podcast e Artigo e o achou interessante. Dê-nos o seu “GOSTO“, partilhe-o com os seus amigos e familiares. Este site serve para isso mesmo: elucidar, ensinar e relembrar algum assunto a quem gosta de Informática.
Este site já conta mais de cem artigos que podem ser do seu interesse. Vá até ao Menu de Artigos e faça as suas escolhas.
🎧 Não se esqueça de subscrever o Podcast e assinar a nossa Newsletter para não perder os próximos debates do Ajuda à Informática!