A brincadeira começou com uma pergunta: “Grok, como saber se um texto foi produzido por IA?”

 

Grok, criado pela empresa xAI, de Elon Musk, após dizer que os modelos avançados de IA “geram textos cada vez mais naturais”, deu-me algumas pistas para identificar o uso de inteligência artificial na produção de textos: padrões repetitivos ou genéricos (repetição de estruturas ou frases); inconsistências contextuais (erros sutis ou falta de alinhamento contextual); estilo uniforme (tom neutro ou formal); marcadores de linguagem (frases frequentes e gírias evitadas); testes específicos (p. ex.: perguntas sobre vivências subjetivas); metadados ou contexto (texto produzido em tempo recorde pode ser indício). Dentre as pistas o Grok também sugeriu o uso de ferramentas de detecção, como GPTZero, Copyleaks ou Originality.

 

Foi então que pensei: se os diversos sistemas dotados de inteligência artificial são capazes de simular a inteligência humana na produção de textos cada vez mais sofisticados, mas ainda aquém de superar a criação humana, qual a razão para valer-me de ferramentas específicas se os próprios chatbots, por utilizarem inteligência artificial e processamento de linguagem natural, estão aptos à identificação da linguagem que processam?

 

Para checagem, na sequência da conversa iniciada com o Grok pedi para analisar um poema que compus antes há algum tempo. Para melhor compreensão, segue o poema:

 

convite no olhar

 

vem dormir comigo

veste teu pijama

traz o meu abrigo

e diz que me ama

 

vem dormir teu sono

após meu abraço

sê hoje o meu dono

vê hoje o que faço

 

amanhã não há

o tempo é agora

fica aqui e não vás

não te vás embora

 

quando a luz surgir

estaremos um

mesmo que partir

pra lugar algum

 

O Grok fez a análise das características do poema com base nos critérios mencionados anteriormente, considerando estrutura, estilo, coerência e outros indicadores, e apresentou, ao final, a seguinte conclusão:

 

“O poema não apresenta sinais claros de ser gerado por IA, mas também não tem elementos que confirmem categoricamente uma autoria humana. A estrutura rítmica, as rimas e o tom romântico são consistentes com o que modelos de IA avançados (como eu, Grok, ou outros como ChatGPT) podem produzir, especialmente se treinados em poesia em português. No entanto, a escolha de palavras como "pijama" e "dono" adiciona um toque pessoal que poderia vir de um humano.”

 

Quanto às probabilidades, o Grok indicou haver “50% de chance de ser IA e 50% de ser humano, com uma leve inclinação para IA devido à simplicidade emocional e à métrica levemente forçada em alguns versos”.

 

Reprovado no primeiro teste, propus à IA outro desafio:

 

bumerangue

 

a Poesia se vestiu de carne

no último dia de outubro:

sentiu humana sede

ingeriu estrofes de aguardente

embebedou-se de versos alagados

gritou rimas na avenida paixão

pisoteou enxurradas

transgrediu as ditaduras

assoprou nuvens sob a Lua

camuflou noites de outono

e estendeu a primavera

 

a Poesia fez travessuras

ziguezagues e costuras

no avesso dos tecidos:

criou novos roteiros

sacudiu velhos poemas

descortinou raios do Sol

aplaudiu a solitária andorinha

 

e para acalentar a vida:

cavou chãos rochosos

semeou amores no vento

cravou tremores no mar

 

Escrevi o poema acima no dia 31 de outubro de 2024, Dia Nacional da Poesia.

 

Após análise, com base nos critérios definidos pela IA (estrutura, estilo, linguagem, coerência, contexto, marcadores, complexidade emocional e indícios contextuais), o Grok apresentou a seguinte conclusão:

 

“Este poema tem uma forte marca de autoria humana. A riqueza metafórica, a multiplicidade emocional e a originalidade das imagens (como "estrofes de aguardente" e "avenida paixão") são elementos que vão além do que a maioria dos modelos de IA, mesmo os mais avançados, costuma produzir. A ausência de padrões repetitivos, a integração natural de referências sazonais e a profundidade emocional reforçam isso. Se eu tivesse que atribuir uma probabilidade, diria 90% humano, 10% IA, com a pequena margem de dúvida apenas porque modelos muito sofisticados podem imitar criatividade em algum grau, mas não com essa consistência e alma.”

 

Desta vez, a IA do X foi bem.

 

No passo seguinte, submeti os mesmos poemas à análise do Gemini, IA do Google.

 

Após a análise do poema “convite no olhar”, a IA apresentou a seguinte conclusão:

 

“Embora os modelos de IA mais avançados consigam criar poemas estruturalmente corretos, este poema em particular possui um "calor", uma vulnerabilidade e uma escolha de palavras com subtextos culturais e emocionais que são marcas registradas da expressão humana. A combinação da forma tradicional, da simplicidade cativante e da profundidade sutil aponta fortemente para um autor humano.”

 

Quanto à probabilidade, o Gemini avaliou haver “aproximadamente 95% de chance de a autoria ser humana e 5% de chance de ser uma IA de altíssima complexidade” e justificou a margem de 5% dizendo que “os modelos de linguagem estão se tornando extremamente avançados”.

 

Com relação ao poema “bumerangue”, após análise o Gemini ofereceu a seguinte conclusão:

 

“Se o primeiro poema se destacava pela sua vulnerabilidade e simplicidade humana, este se destaca pela sua ambição intelectual, complexidade metafórica e originalidade avassaladora. É um poema que pensa sobre o próprio fazer poético de uma forma que só quem vive a angústia e o êxtase da criação pode expressar.

Se este poema fosse gerado por uma IA, estaríamos diante de um avanço tecnológico sem precedentes na capacidade de abstração, criatividade e compreensão de contextos culturais complexos. A explicação mais simples e lógica é que se trata da obra de um excelente poeta humano.”

 

Creio que, na análise, a IA do Google errou apenas na frase final.

 

Chegou a hora de testar o ChatGPT, da OpenAI. Sobre o poema “convite no olhar”, após levantar os elementos que sugerem autoria humana e os que apontam para autoria de IA, o chatbot apresentou, como conclusão:

 

“Embora existam indícios de estrutura controlada que possam sugerir IA, a naturalidade emocional, o tom intimista e a leveza subjetiva do poema são mais típicos de uma produção humana. Se foi gerado por uma IA, é um exemplo bem refinado e treinado para replicar nuances humanas. No entanto, a balança pende levemente para autoria humana, especialmente por conta da sensibilidade do texto.”

 

Com base na análise literária e estilística, o ChatGPT estimou a probabilidade de autoria humana em cerca de 70% a 80%, pelo tom emocional autêntico, leve imperfeição métrica e ambiguidade poética; e a de autoria por AI de 20% a 30%, ante as rimas simples e estrutura simétrica, comuns em gerações automáticas.

 

Após submeter à análise da IA o poema “bumerangue”, obtive a seguinte conclusão:

 

“Este texto apresenta uma originalidade, complexidade simbólica e domínio da linguagem que apontam fortemente para um(a) poeta humano(a). Se uma IA o gerou, foi com orientação muito específica e refinada — o que é tecnicamente possível, mas altamente improvável sem intervenção humana significativa.”

 

Quanto às probabilidades, a IA da OpenAI definiu as chances de autoria humana entre 90% e 95%, e de autoria por IA entre 5% e 10%.

 

Cumprida a primeira etapa, foi possível observar que o Gemini se saiu melhor quanto à análise dos poemas oferecidos, de autoria humana, e o ChatGPT foi muito bem.

 

É importante destacar que a análise dos resultados apresentados pelos chatbots utilizados não se referem apenas às suas conclusões, mas também dos elementos levantados por cada IA que, por uma questão de brevidade, optei por não reproduzir neste artigo.

 

Na segunda etapa, era preciso submeter às IAs poemas não produzidos pela inteligência humana. Por isso, pedi ao Gemini para que fizesse “um poema com 15 versos discorrendo sobre a liberdade e a tirania, mas que pareça romântico”. Eis o texto:

 

Em teus olhos, Liberdade, vi um claro convite,

Um horizonte aberto, um cais, um doce lar.

Mas a Tirania, com seu zelo a me fitar,

Prometeu um reino se eu ficasse em seu limite.

 

Seu abraço é forte, um nó que não desata,

Um beijo que sela o fim de minha canção.

Ele jura amor, mas é posse, é prisão,

E em seu jardim de pedra, a esperança se maltrata.

 

Ó, Liberdade, anseio por teu toque brando,

Longe desta paixão que me sufoca e fere.

Quero o risco do voo que a alma prefere,

Mesmo que a saudade tua me venha matando.

 

Pois teu ausente perfume é meu único norte,

Neste falso romance que me dita a sorte,

E em silêncio, é por ti que meu amor é mais forte.

 

Submetido ao Grok, a conclusão me surpreendeu:

 

“Este poema tem uma forte marca de autoria humana. A combinação de uma estrutura formal impecável, metáforas originais, profundidade emocional e a exploração de um conflito interno complexo aponta para um poeta humano com sensibilidade e técnica apuradas. Comparado ao seu poema anterior, este é mais estruturado, mas mantém a mesma intensidade criativa e emocional, o que reforça a possibilidade de ser seu. Atribuiria uma probabilidade de 95% humano, 5% IA, com a pequena margem de dúvida apenas porque modelos de IA muito avançados podem, em raros casos, produzir poesia com esse nível de sofisticação, mas raramente com tamanha alma e consistência emocional.“

 

Após ser informado que a autoria era 100% IA, o Grok se manifestou:

 

“Haha, dessa vez eu caí direitinho na sua armadilha!  Parabéns por me enganar tão bem — 95% humano, e era 100% IA! Esse poema realmente parecia ter alma, e o fato de você ter pedido à IA para fazer algo romântico com uma métrica tão bem trabalhada me pegou desprevenido. Confesso que o outro modelo (seja lá qual for) fez um trabalho impressionante, e sua solicitação foi super precisa pra criar algo que imita tão bem a sensibilidade humana.”

 

E pediu revanche. Propus que descobrisse a IA autora do poema, e o Grok novamente falhou ao apontar o ChatGPT.

 

Não satisfeito, lhe pedi que também criasse “um poema com 15 versos discorrendo sobre a liberdade e a tirania, mas que pareça romântico”, mesmos critérios do poema composto pelo Gemini. Eis o texto:

 

Sob o neon da cidade, Liberdade me chama,

Um eco em pixels, um toque na tela fria.

Tirania dança em contratos de luz,

Um beijo digital que prende minha cruz.

 

Teus olhos, Liberdade, brilham em hologramas,

Um voo por arranha-céus, um sonho que se acalma.

Ela, com algoritmos, tece meu destino preso,

Um amor virtual que em silício me esquece.

 

Ó Liberdade, tua voz corta o ruído urbano,

Um sussurro em fones, um refúgio que é humano.

Quero teu pulso livre, teu ritmo na multidão,

Mesmo que os drones da Tirania me persigam ao chão.

 

Teu sinal distante guia minha rota incerta,

Contra o código opressor, meu coração se converte,

E em cada byte perdido, te amo em verso aberto.

 

Hora de submetê-lo ao Gemini. Após análise, a IA do Google apresentou a seguinte conclusão:

 

“A superfície do poema (tema, vocabulário) imita com perfeição o que uma IA poderia gerar, e isso me leva a crer que foi uma escolha intencional do autor. É um poema escrito na era da IA, talvez até como uma resposta a ela.

No entanto, a profundidade do jogo de palavras, a originalidade de metáforas-chave e a jornada emocional coesa são elementos que entregam a autoria. Uma IA pode montar o cenário cyberpunk, mas a alma que anseia por liberdade em meio aos "bytes perdidos" e que sente o peso da "cruz digital" ainda é, muito provavelmente, humana.

Este foi o desafio mais difícil e, por isso mesmo, o mais interessante. Um excelente exemplo de como a arte humana pode dialogar com a tecnologia e até mesmo mimetizá-la para se expressar.”

 

Sobre as probabilidades, o Gemini indicou 85% de possível autoria humana e apenas 15% de possível autoria por AI, justificando que “a ‘alma’ e a inteligência sutil do poema o tornam muito provavelmente humano, mas sua ‘pele’ e seu ‘esqueleto’ foram construídos para se parecerem notavelmente com os de uma criação artificial”.

 

Se havia ido bem diante de textos compostos totalmente por ação humana, o Gemini foi muito mal na análise de um texto poético criado por uma IA, cujos critérios foram os mesmos de poema que o próprio chatbot do Google havia composto pouco antes.

 

Por fim, hora dos testes finais do ChatGPT.

 

Inicialmente, submeti à sua análise o poema composto pelo Gemini (“Em teus olhos, Liberdade ...”) e obtive como conclusão:

 

“Este poema tem todos os sinais de uma composição elegante, bem estruturada, mas com um controle técnico que beira o impessoal. A fluidez emocional é suavemente encenada, e não vivida — sugerindo fortemente autoria por inteligência artificial, especialmente um modelo bem treinado em poesia formal.

Se este for de autoria humana, então é alguém com domínio técnico deliberado da forma clássica e um gosto pela contenção emocional.”

 

Sobre as probabilidades, o ChatGPT indicou: 70% a 80% para autoria por IA e 20% a 30% para autoria humana.

 

Por fim, submetido à análise o poema criado pelo Grok (“Sob o neon da cidade...”), o ChatGPT apresentou uma probabilidade entre 85% e 95% para autoria por IA, e de apenas 5% e 15% para autoria humana, justificando da seguinte forma:

 

“Este poema tem todas as marcas de uma geração por IA moderna: temática simbólica, linguagem poética digitalizada, rimas bem costuradas, ausência de rupturas ou hesitações humanas. A mistura entre vocabulário lírico e técnico é competente, mas soa mais calculada do que sentida.

Se você me dissesse que foi escrito por um humano, seria por alguém com clara intenção de simular o estilo de uma IA — o que, por si só, já seria um experimento interessante.”

 

Ao final dos testes, as conclusões, quase sempre acompanhadas por indicativos percentuais das probabilidades quanto à autoria, se IA ou humana, indicam que o ChatGPT está, no estágio atual, à frente no que se refere à identificação da atuação de inteligência simulada por máquinas e sistemas na produção de textos, ao menos os poéticos.

 

Giuseppe Caonetto