Computadores possuem uma característica inconveniente: podem fazer exatamente aquilo que pedimos.

O que acontece quando aquilo que pedimos não é exatamente o que queríamos? A série Star Trek: A Nova Geração construiu uma episódio inteiro em torno desse problema.

Em “Elementary, Dear Data”, Data e Geordi La Forge utilizam o holodeck para participar de uma aventura inspirada nas histórias de Sherlock Holmes. A ideia parece simples: Data assume o papel de Holmes, Geordi interpreta Watson e o computador fica responsável por criar o mistério.

Mas existe um problema. Data conhece muito bem as histórias de Sherlock Holmes e, quando o holodeck começa a utilizar elementos retirados delas, ele reconhece rapidamente o enredo e consegue prever o que acontecerá. Para ele, portanto, aquilo não é realmente uma investigação desafiadora. É apenas o uso de sua memória.

Então Geordi quer algo diferente. Ele pede ao computador que crie um mistério capaz de confundir Data e, mais importante, um adversário capaz de derrotá-lo. E é aqui que uma diferença de poucas palavras muda tudo.

O computador não recebe a instrução de criar um adversário capaz de derrotar Sherlock Holmes, o personagem. Ele recebe a instrução de criar um adversário capaz de derrotar Data, o "jogador". A partir daí, passa a utilizar os parâmetros necessários para cumprir aquela diretiva, e o resultado é a criação do professor Moriarty.

Mas aquele Moriarty precisa ser mais do que um personagem inteligente dentro de uma história de detetive. Para representar uma ameaça real a Data, ele precisa possuir capacidades compatíveis com o desafio recebido pelo computador. E assim, a consequência ultrapassa completamente aquilo que Geordi pretendia quando formulou a instrução.

O jogo deixa de ser apenas um jogo.

Visto apenas como ficção científica, é uma ótima premissa. Visto a partir do desenvolvimento de sistemas inteligentes, porém, o episódio apresenta um problema muito mais importante: existe uma diferença entre intenção e especificação.

A intenção existe na mente de quem faz o pedido, enquanto a especificação é aquilo que efetivamente foi comunicado ao sistema. Normalmente esperamos que as duas coisas coincidam. Mas nem sempre acontece.

Imagine que alguém peça a um programa: “Reduza o máximo possível o tempo de atendimento dos clientes.” Parece um objetivo razoável, certo? Mas o que exatamente significa cumpri-lo?

Uma possibilidade seria melhorar processos, automatizar tarefas repetitivas e oferecer respostas mais rápidas. Outra, perfeitamente compatível com uma interpretação literal, seria simplesmente encerrar todos os atendimentos imediatamente. Assim, o tempo médio despencaria.

Perceba que o objetivo certamente teria sido alcançado. O propósito, obviamente, não.

Um problema real.

Esse tipo de problema sempre existiu em software. Programadores sabem que computadores não executam aquilo que imaginamos, mas aquilo que foi definido. Em sistemas tradicionais, porém, o espaço dentro do qual uma especificação imperfeita pode produzir consequências costuma ser mais limitado. E quanto mais capaz se torna o sistema, maior pode se tornar o espaço de possibilidades utilizado para cumprir uma instrução.

É aí que a história de Moriarty ganha uma atualidade curiosa.

Quando utilizamos sistemas capazes de escrever código, acessar ferramentas, buscar informações ou dividir um objetivo em várias etapas, já não basta perguntar apenas se eles conseguem realizar determinada tarefa. Outra questão se torna igualmente importante: o objetivo que receberam corresponde realmente ao que pretendíamos?

Considere uma instrução aparentemente simples: “Organize estes arquivos.”

Mas organizar como? Por nome, por assunto ou por importância? Arquivos duplicados devem ser apagados? Documentos antigos devem ser arquivados? O que acontece quando duas regras entram em conflito?

Para um ser humano, muitas dessas questões podem parecer óbvias porque compartilhamos contexto, hábitos e expectativas. Para uma máquina, esse contexto precisa estar disponível de alguma forma. Quanto mais autonomia concedemos ao sistema, mais importante se torna definir limites, critérios e condições para aquilo que ele pode fazer.

É uma inversão interessante. Durante muito tempo, boa parte da interação com computadores consistia em aprender como expressar corretamente uma operação. Agora ganha importância outra habilidade: definir com precisão o objetivo.

Isso não significa simplesmente aprender algum conjunto mágico de palavras para conversar com inteligência artificial. O problema é maior. Significa compreender aquilo que realmente estamos pedindo: quais são as restrições, o que não deve acontecer, como reconheceremos uma resposta correta, quando o sistema deve parar e pedir ajuda e quais decisões podem ser tomadas automaticamente ou precisam permanecer sob responsabilidade humana.

Geordi queria apenas tornar um jogo mais interessante, no entanto o computador recebeu uma tarefa diferente: produzir algo capaz de derrotar o jogador e não o seu personagem.

E talvez seja essa a parte mais interessante da história. Quanto mais capazes forem nossas máquinas, menos poderemos depender da expectativa de que uma instrução incompleta produzirá exatamente o resultado que tínhamos em mente. Uma tecnologia capaz de transformar objetivos em ações torna a precisão daquilo que pedimos parte do próprio problema.

Moriarty nasceu de uma frase mal calibrada, e isso colocou todos em risco. Na vida real, as consequências assumem outras formas: dados podem ser apagados, sistemas podem executar ações indesejadas e decisões aparentemente eficientes podem produzir prejuízos consideráveis.

O problema, porém, continua sendo o mesmo.

Quanto mais capaz for uma máquina de transformar objetivos em ações, maior será a diferença que algumas poucas palavras podem fazer entre aquilo que pedimos e aquilo que realmente queríamos.