Será que pela primeira vez um computador convenceu pessoas que era humano? Não!

Será que finalmente um computador passou no Teste de Turing? Não!

845070

A grande notícia científica da semana, que se encontra em todos os jornais e que foi divulgada em todas as televisões, foi que “pela primeira vez um computador convenceu o homem que era humano”.

A notícia está em várias páginas da internet, mas vou deixar-vos as palavras do jornal Público:

“Um programa de computador que foi apresentado como Eugene Goostman, um ucraniano de 13 anos, conseguiu convencer um júri da Royal Society, em Londres, Reino Unido, que era uma pessoa. Esta é a primeira vez que um computador consegue convencer seres humanos de que é também um, através do teste de Turing. Eugene “enganou” o painel.

O teste de Turing foi criado em 1950 por Alan Turing, matemático britânico considerado o pai da informática, sendo considerado um trabalho pioneiro no domínio da inteligência artificial. No teste, um computador entra em conversa com um humano (que não sabe se está a comunicar com uma máquina ou não). O teste é superado se o humano não conseguir perceber se estava a comunicar com outra pessoa ou com um computador. Se o computador for confundido com um ser humano mais de 30% do tempo em que duram as conversações escritas de cinco minutos, passa no teste.

Apesar de já ter sido tentado por várias vezes que um computador se saia bem-sucedido na prova, isso nunca tinha acontecido até agora, segundo reclama a Royal Society, considerada a instituição mais importante para a ciência britânica.

No último sábado, a Universidade de Reading organizou o Teste Turing 2014, onde participaram cinco programas de computadores, entre eles Eugene, desenvolvido em 2001, em São Petersburgo, Rússia, pelo russo Valdimir Veselov e pelo ucraniano Eugene Demchenko. Durante o dia foram realizadas 300 conversas através do teclado entre os computadores e os elementos do júri e Eugene conseguiu passar por humano, enganando 10 dos 30 dos elementos do júri. (…)”

Na prática o que se passou é que pela primeira vez na história, um simples programa de computador conseguir convencer 33% das pessoas (1 em 3) de que era uma pessoa de carne e osso, neste caso um adolescente de 13 anos, durante pelo menos 90 segundos (minuto e meio).

turing test

No entanto, após o anúncio deste feito, como sempre acontece no processo científico, choveram as críticas vindas de diferentes quadrantes, incluindo e sobretudo, dos cientistas.

O próprio jornal Público informa sobre algumas dessas críticas:

“(…) “Não passámos o teste de Turing. Nem estamos perto disso”, afirmou ao The Guardian. Harnad argumenta que um sistema que consiga fazer o mesmo que o cérebro humano precisa de ter “toda a nossa capacidade verbal, bem como o sensório-motor, ou robótica, qualidade em que se fundamenta”. “Não por cinco minutos, mas para toda a vida”.
(…)
Ao The Guardian, Marvin Minsky, co-fundador do laboratório de inteligência artificial do MIT, deixou uma questão em tom irónico: “Nada se aprende com experiências pobremente criadas. Pergunte ao programa se você pode empurrar um carro com uma corda. E, se não, então por que não?” (…)”

Há quem nos informe que o Teste de Turing é sobrevalorizado nos media, mas não interessa muito.
Há quem coloque em causa os “jurados”, pessoas que na verdade estavam condicionadas a acreditar naquilo, sem existir um estudo duplamente cego.
Existem inúmeras críticas científicas (de metodologia e de interpretação) a este estudo…

C3PO not going

Para mim, uma das críticas generalizadas mais forte é que este programa Eugene é semelhante ao iGod.
Falem um pouco no iGod, e falem um pouco no Eugene, e comparem as respostas.

Aliás, deixem-me dizer-vos: conversem novamente com o Eugene e atentem nas respostas dele. Alguém é enganado? Não me parece.

Aliás, algumas pessoas disponibilizam parte das conversas com Eugene (exemplos: aqui e aqui), e penso que é bastante evidente a falta de raciocínio lógico neste programa de computador.

Provavelmente, a melhor crítica é feita neste cartoon da Popular Science, com o crédito de Maki Naro:

Crédito: Maki Naro, via Popular Science

Crédito: Maki Naro, via Popular Science

É verdade que este programa não é novo (ex: iGod), e é verdade que se podem fazer inúmeras críticas a este estudo, caso queira ser validado cientificamente…

No entanto, custa-me mais a aceitar as críticas de que isto não é como no filme Inteligência Artificial, no filme Blade Runner, etc.
É óbvio que não chegamos a esse nível. Mas para lá chegar, é preciso darmos passos graduais. As tecnologias não “aparecem por milagre”, mas sim através de melhoramentos graduais. Este tipo de experiências são só o primeiro passo de uma longa caminhada que um dia nos pode levar ao… Homem Bicentenário.

futurama__bender_by_suzura-d59kq1p.png

Também tenho alguma dificuldade em entender as muitas críticas exprimidas por pessoas com formação científica.
Dizem essas pessoas de ciência que o Eugene fala de forma muito confusa, responde de forma vaga e ambígua, aquilo que diz pode ter várias interpretações, passa o tempo a tentar “pescar” coisas sobre a outra pessoa, raramente diz coisas com sentido sobre si próprio, muda de conversa frequentemente quando tentamos “apertar” com ele, não responde diretamente às perguntas mesmo sendo perguntas simples, dá respostas completamente erradas a perguntas simples (ex: tenho 2 berlindes numa caixa e coloco lá mais 2 berlindes, quantos berlindes tenho na caixa?), relativiza as questões (ex: qual é maior, uma caixa de sapatos ou o monte Everest? Einstein diria que tudo é relativo…), inclui frequentemente falácias nas suas respostas, etc.
A própria Popular Science diz: “he dodges questions, he changes the subject, he makes vague answers, he repeats things back to you in ways that no normal human does in a cute attempt to show that he’s listening, and of course he says really stupid stuff that doesn’t make any sense.”

Ora, porque tenho dificuldade em compreender estas críticas?
Porque Eugene pode não interagir connosco como uma criança de 13 anos, mas certamente prova-se que interage connosco como qualquer pseudo!
Olhando novamente para as respostas dele, percebe-se que a técnica dele nas respostas que dá é exatamente igual ao que fazem os auto-proclamados terapeutas alternativos (incluindo reiki, homeopatia, feng shui, etc), ao que fazem os auto-proclamados astrólogos, ao que fazem os auto-proclamados mediuns, etc.

Assim, pode não passar por criança, mas tem um futuro promissor como vigarista.

Aliás, o facto de já ter enganado 33% das pessoas é mais uma evidência do futuro emprego de sucesso que o espera…
Mas calma, isto pode ser bastante mau para a economia. É que o facto de um programinha de computador já conseguir fazer isto, é sinal que muito pseudo poderá ir para o desemprego em face desta concorrência.

swindle

Por fim, deixem-me dizer que não tenho conhecimentos técnicos de informática para analisar cientificamente o programa.
No entanto, numa perspetiva de educação científica e de literacia funcional, parece-me que esta experiência permite-nos tirar melhores conclusões sobre a inteligência humana do que sobre a inteligência artificial.
Neste caso, assusta-me que 33% das pessoas se tenham deixado enganar desta forma por um programinha automático de computador que é tão absurdo na maneira de falar. Por outro lado, este programa fala exatamente da mesma forma que os vigaristas, e as pessoas que costumam ser enganadas são em maior número, por isso talvez 33% até seja um número bom, baixo o suficiente para 67% das pessoas não se deixarem enganar!

Na minha opinião, existe um teste mais simples e que avalia o mesmo (a credulidade, a falta de raciocínio e a limitação na literacia funcional das pessoas):

Teste totalmente grátis para idiotas. Deixe 5 dólares e faça este incrível teste.

Teste gratuito para idiotas. Deixe 5 dólares e faça este incrível teste. Aproveite já!

11 comentários

Passar directamente para o formulário dos comentários,

  1. Pra quem tiver curiosidade sobre assunto de Chat’s inteligentes posso sugerir este link => http://forum.intonses.com.br/viewtopic.php?f=43&t=139990

  2. Apesar do teste de Turing.. já existem sistemas de chat’s que enganam pessoas desavisadas.
    Pelo que sei o país mais especializado nisto é na Rússia, primeiro um cara fez um chat que ficou muito bom e depois o governos se apoderou da ideia e fez um sistema de chat automático que conversa com pessoas e extrai informações naturalmente.
    Isso acabou sendo descoberto e pararam… será ??

  3. Carlos, Turing não determinou os 30% como critério de aprovação, ele apenas fez uma previsão de que em 50 anos nenhum juíz teria mais de 70% de chance de identificar o computador (“COMPUTING MACHINERY AND INTELLIGENCE”, seção 6).

    ” I believe that in about fifty years’ time it will be possible, to programme computers, with a storage capacity of about 10^9, to make them play the imitation game so well that an average interrogator will not have more than 70 per cent chance of making the right identification after five minutes of questioning.”

    Isto acabou sendo interpretado erroneamente por alguns pesquisadores como um limiar de aprovação no teste. Então no máximo pode-se dizer que a previsão dele já foi concretizada.

    E não foi a primeira vez que um bot passou dessa marca. O Cleverbot conseguiu 59% em 2011, também com uma amostra de 30 juízes (e essa foi mais aleatória que a do Eugene). Como os humanos tiveram um “score de humanidade” de 63%, foi considerado que ele não passou no teste (ou seja, o critério era que ele deveria ser mais humano que os humanos). E em 1991 o PC Therapist conseguiu 50% com 10 juízes.

    Aliás, considero essa falta de rigor estatístico como o principal problema desses testes. Deveria ser calculada uma margem de erro de acordo com o tamanho da amostra e só então alguma conclusão poderia ser tirada.

    No mais, parabéns pelo artigo. Finalmente alguém que não falou a besteira de que isso não é IA. Por mais estúpido que o bot seja, isso é IA.

    1. Obrigado pelo comentário 🙂

      Excelente informação! 😉

    • Nuno José Almeida on 13/06/2014 at 20:02
    • Responder

    Carlos, melhor artigo que já fizeste até agora.

    1. 😀

      Será um elogio (ao artigo) ou uma crítica (a todos os outros artigos que publiquei)? ehehehehehe 😀

      Tou a brincar… eu percebi 😉

      Obrigado 😉

  4. Olá Carlos. Gostaria de ver um post aqui no AstroPT sobre uma notícia que tenho visto com frequência sendo compartilhada no Facebook.

    Segue um link abaixo.

    http://gizmodo.uol.com.br/nasa-comeca-a-trabalhar-em-uma-versao-real-da-dobra-espacial-de-star-trek/

    Abraços e obrigado por mais esse post destruidor de ilusões. 🙂

    1. A cada 3 anos, divulgam a mesma história de sempre:
      http://www.astropt.org/2012/11/25/viajar-a-velocidades-superiores-a-da-luz-sem-passar-a-velocidade-da-luz/
      😉

      Não há qualquer novidade nenhuma desta vez 😉

      abraços!

    2. Ou melhor, a única “novidade” agora são imagens bonitas feitas em computador… 😛

      Não há qualquer novidade naquilo que ele diz… não há evidências, resultados, nem nada que se pareça com alguma novidade desde há vários anos… é somente marketing 😉

      1. Obrigado mais uma vez Carlos. É por isso que estou sempre voltando aqui. Confio no AstroPT. Abraços.

      2. Obrigado nós pela preferência 😉 . Abraços!

Deixe uma resposta

Your email address will not be published.

Este site utiliza o Akismet para reduzir spam. Fica a saber como são processados os dados dos comentários.