O público já conhece a história de Frankenstein. O livro gótico – dezenas, a maioria dos mais recentes do diretor Guillermo del Toro Toro Mas o alerta de Mary Shelley, famosa escritora de cultura popular. A lição não é “Não crie coisas perigosas”. “Não se afaste do que você criou.”
Esta distinção de longo alcance: a bifurcação na estrada vem da criação, não antes. Todas as tecnologias poderosas podem ser destruídas – a escolha entre produtos reside na gestão ou na mitigação. O pecado de Victor Frankenstein não trouxe vida apenas à grande criatura. Ele se recusou a tocar no assunto, insistindo que o resultado era problema de outra pessoa. Cada geração produz um vencedor. Trabalhamos com inteligência natural.
Recentemente, o tribunal pagou a um advogado US$ 10.000 depois que 21 das 23 citações no caminho curto foram comprovadas como pano disciplinar – um absurdo. Centenas de casos semelhantes foram registrados em todo o país, aumentando de alguns casos por mês para alguns casos por dia. Neste verão, um tribunal que explodiu o tribunal removeu o divórcio depois de descobrir que o versículo 15 era um tecido de IA. Quantos estão fora de controle, prontos para destruir registros legais?
O problema é mais profundo do que a mitigação sem responsabilização. Durante décadas, os sistemas de computador têm sido precisos – calculadoras de bolso podem sempre fornecer aos usuários resultados precisos de forma consistente. Os engenheiros podem demonstrar como os algoritmos se comportam. A falha refere-se a um erro de implementação, não a uma falta de confiança no próprio sistema.
A IA moderna está mudando o paradigma. Um estudo recente relatado na Science Confirma o que os especialistas já sabem: os equívocos – o que a indústria chama de “alucinações” – são inevitáveis nestes sistemas. Eles são treinados para adivinhar o que é certo, não para verificar o que é certo. Quando uma resposta confiável não é confirmada, o sistema é fechado. Seu treinamento está confiante em sua falta de confiança. Como escreveu um pesquisador de IA no relatório, ele colocou desta forma: consertar isso “mataria o produto”.
Isto levanta um problema fundamental importante. Esses sistemas funcionam extraindo modelos de grandes conjuntos de dados de treinamento – os modelos são tão grandes e interconectados que mesmo seus criadores não conseguem prever com segurança seus resultados. Só podemos ver como nos comportar bem, às vezes não até que o estrago esteja feito.
Essa incompetência leva a maus resultados. Estas falhas não desaparecerão, tornar-se-ão permanentes. Todo o tratamento legal associado aos dados não é controlado preliminarmente. Aconselhamento médico falso é galopante em todo o espaço de saúde. “Notícias” circulam pelas redes sociais. Este conteúdo sintético é realimentado nos dados de treinamento para modelos futuros. A modéstia agora é uma realidade.
Então, como vamos resolver isto sem uma reforma radical? Já temos um modelo em produtos farmacêuticos. As empresas de pesquisa não têm certeza de que existam quaisquer efeitos biológicos, por isso testam bastante, sendo que a maioria dos medicamentos não funciona nos pacientes. Mesmo os medicamentos aprovados enfrentam problemas imprevistos. É por isso que o acompanhamento regular é tão importante. Ai precisa de uma estrutura semelhante.
A gestão responsável – o oposto do abandono de Victor Frankenstein – requer três pilares interligados. Primeiro: padrões de treinamento. Os fabricantes de medicamentos devem controlar os ingredientes, as práticas de fabricação e os testes de qualidade. As empresas de IA devem enfrentar os requisitos de igualdade: o resgate escrito para formação, com a monitorização da extracção para evitar conteúdos sintéticos, categorias de conteúdos proibidos e testes de experiências em todos os grupos demográficos. As empresas farmacêuticas exigem transparência se as nossas empresas de IA precisarem de divulgar menos hoje.
Segundo: teste de pré-corte. A droga enfrenta muitos testes antes de chegar aos pacientes. Um ensaio clínico randomizado é uma grande conquista, projetado para demonstrar segurança e eficácia. A maioria deles falhou. Esse é o significado. O teste captura os riscos de mitigação antes da mitigação. Os sistemas de IA para aplicações de stocks, incluindo investigação jurídica, aconselhamento médico e gestão financeira, necessitam de testes sistemáticos dos stocks e do estabelecimento de limiares de segurança.
Terceiro: Monitoramento contínuo após expansão. As empresas são obrigadas a monitorar o desempenho de seus produtos e reportá-los aos leitores. Em troca, o revisor pode emitir uma advertência, restrição ou remoção quando a questão for levantada. A IA precisa de controle igual.
Por que precisa de disciplina e não de obediência voluntária? Porque os sistemas de IA são diferentes das ferramentas tradicionais. Um martelo não finge ser um carpinteiro. Os sistemas de IA agem, capacitam através da autoconfiança ou reproduzem ou criam a realidade. Se não houver exigência, a empresa melhora a cooperação deve ser verdadeiramente sacrificada na participação de mercado.
O truque é controlar sem descrição. A iniciativa da UE em matéria de IA mostra que é difícil. No âmbito desta iniciativa, as empresas que correm riscos elevados devem documentar o funcionamento dos seus sistemas, avaliar os riscos e monitorizá-los de perto. Uma pequena startup pode gastar mais em advogados e documentos do que na construção do produto real. Uma grande empresa com uma equipe jurídica pode cuidar disso. Equipes pequenas não podem.
A disciplina da medicina mostra o mesmo padrão. A inspeção, após milhares de protestos, interrompeu a FDA quando descobriu que o vioxx – um medicamento para artrite que afeta mais de 80 milhões de pacientes – duplicava o risco de doenças cardíacas. No entanto, o custo da regulamentação multibilionária significa que apenas uma grande empresa pode competir e beneficiar de doenças raras, talvez melhor ligadas a uma pequena empresa biotecnológica, sem ser batizada.
O relógio de graduação abordou esse problema, os requisitos e o custo dos danos apresentados. Um assistente de IA com baixa taxa de erros obtém controle extra. Quanto maior o índice melhor será o ajuste. Um problema persistente? Ele será retirado do mercado até que esteja pronto. Ou as empresas melhoram os seus sistemas para permanecerem no mercado ou desaparecem. A inovação continua, mas agora há mais responsabilidade.
A gestão responsável não pode ser voluntária. Depois de criar algo poderoso, você é responsável por isso. A questão não é construir sistemas avançados de IA – nós já os construímos. A questão é se necessitaremos de atenção cuidadosa a estes sistemas.
O sistema farmacêutico – padrões de formação, experiências estruturais, monitorização contínua – oferece um modelo comprovado para tecnologias críticas que não podemos prever totalmente. A lição de Shelley não foi de composição alguma. Isto é sobre o que acontece quando o criador vai embora. Dois séculos depois, a adaptação de Del Toro atingiu milhões este mês, a lição continua urgente. Desta vez, com a inteligência sintética a varrer tão rapidamente a nossa sociedade, poderemos não ter outra oportunidade de escolher o outro caminho.
Dov Greenbaum é professor de direito e diretor do Instituto Zvi Macerver de Tecnologias Emergentes da Universidade Reichman, em Israel.
Mark Gerstein é professor Albert L. Williams de Informática Biomédica na Universidade de Yale.
