Tanto a Microsoft como a Alibaba alegam ter sido os primeiros a superar os humanos nos testes de leitura.
Os modelos de inteligência artificial desenvolvidos pela Microsoft e pela Alibaba conseguiram, pela primeira vez, superar humanos num desafio de compreensão de leitura.
O Stanford Question Answering Dataset (SQuAD) é composto por vários conjuntos de questões cujas respostas podem ser encontradas em mais de 500 entradas na Wikipedia.
O modelo de rede neural profunda da Alibaba atingiu 82 440 pontos na parte de “matemática exacta” do teste, superando os melhores resultados atingidos por humanos (82 304). Um modelos semelhante da Microsoft somou 82 650 pontos.
Oz resultados são de um Quem é Quem de empresas que investigam a inteligência artificial, que inclui a Google, a IBM Research, a Facebook AI Research, a Salesforce Research, a Tencent e a Samsung.
A Alibaba e a Microsoft superaram os humanos na “competição”, embora ambas as empresas assegurem que atingiram a barreira melhor-que-humanos antes da outra.
A Microsoft foi referida como tendo atingido o resultado em 3 de Janeiro e a Alibaba dois dias depois. A Alibaba diz que esas datas dizem respeito ao momento em que as empresas submeteram os seus modelos, não quando os resultados dos testes foram atingidos.
“Não obstante a meta ultrapassada, em geral, as pessoas ainda são muito melhores que as máquinas na compreensão da complexidade e nuances da linguagem”, diz Ming Zhou, director-geral assistente da Microsoft Research Asia.
“É uma grande honra testemunhar o momento em que as máquinas ultrapassaram os humanos na compreensão de leitura”, diz said Luo Si, cientista chefe para o processamento de linguagem natural (NLP) no Institute of Data Science and Technologies (iDST) da Alibaba, em comunicado.
“Estamos muito satisfeitos por ver os progressos significativos atingidos ao longo do ano. Esperamos partilhar a nossa metodologia de construção do modelo com uma comunidade mais vasta e transpor a tecnologia para os nossos clientes num futuro próximo”.
Ming Zhou, director-geral assistente da Microsoft Research Asia, disse que, “não obstante a meta ultrapassada, em geral, as pessoas ainda são muito melhores que as máquinas na compreensão da complexidade e nuances da linguagem”.
“O processamento de linguagem natural é ainda uma área com muitos desafios em que todos precisamos continuar a investir e a desenvolver”, assinalou. “Aquela meta é apenas um ponto de partida”.
As empresas que estão a apostar na IA estão a investir fortemente em modelos de leitura, compreensão e resposta. A Alibaba terá utilizado uma tecnologia subjacente durante o seu “Festival de Compras Global”, durante vários anos, para responder às questões dos clientes.
A Microsoft terá aplicado versões anteriores do modelo no motor de busca Bing. “Estas ferramentas poderiam ajudar médicos, juristas e outros peritos no trabalho penoso de ler documentos enormes sobre determinada descoberta médica ou precedentes legais raros. A tecnologia poderia fazer parte do trabalho e deixar para os peritos mais tempo para aplicar os seus conhecimentos no tratamento de pacientes e na formulação de opiniões legais,” escreveu a empresa num blogue.
Está também a trabalhar em modelos que respondem às questões que provavelmente se seguem. “Por exemplo, digamos que perguntou ao sistema: ‘em que ano é que nasceu a primeira-ministra da Alemanha?’, poderá querer que o sistema compreenda que ainda está a falar sobre o mesmo quando perguntar, em seguida ‘Onde é que ela nasceu?”.
“Está também a procurar formas para que os computadores gerem respostas naturais quando isso requer informação de várias frases. Por exemplo, se se perguntar ao computador ‘o Jonh Smith é um um cidadão norte-americano?’, essa informação poder-se-á basear num parágrafo como ‘O John Smith nasceu no Hawaii. Esse Estado é nos EUA’”, explica a Microsoft.