10,854 leituras

Asimov, sem saber, foi pioneiro na engenharia de alertas modernos

por Login Jones15m2023/05/14

Muito longo; Para ler

A engenharia de prompts é um processo no qual os prompts de entrada para um grande modelo de linguagem de IA são elaborados e refinados para gerar uma saída precisa, relevante e útil. Envolve design deliberado e sistemático e refinamento de prompts e estruturas de dados subjacentes para manipular sistemas de IA para alcançar resultados específicos e desejados. Com o surgimento da IA, particularmente dos modelos de processamento de linguagem natural, a engenharia imediata ganhou importância.

featured image - Asimov, sem saber, foi pioneiro na engenharia de alertas modernos

Isaac Asimov , um visionário no reino da ficção científica , sem saber, foi pioneiro da engenharia imediata moderna por meio de sua exploração instigante das interações humano-robô em sua inovadora série Robot.

Engenharia de Prompt - O Histórico e a História

A nova linguagem de programação mais popular é o inglês - Andrej Karpathy (@karpathy)

A engenharia imediata combina elementos de lógica, codificação, arte e linguagem .

Termos de Engenharia de Prompt

Clareza do prompt : o prompt deve ser claro e inequívoco, não deixando espaço para má interpretação pela IA.

Precisão imediata : Projetado para direcionar as informações específicas ou a saída desejada da IA.

Contexto do prompt : contexto suficiente no prompt, como informações básicas ou exemplos, é essencial para orientar o sistema de IA a produzir a saída desejada.

Adaptabilidade rápida : produz resultados esperados e precisos em modelos de IA treinados de forma diferente.

Prompting da Cadeia de Pensamento : O prompt inclui uma cadeia de raciocínio que ilumina o processo de raciocínio necessário para resolver o problema.

Solicitação do menos para o máximo : dividir um problema em subproblemas e resolver cada um para levar a IA a uma determinada direção para a solução final.

Solicitação de função : você especializa o contexto da IA para uma função específica específica que ajudará a obter resultados mais precisos.

Solicitação de um, zero ou poucos disparos : fornecer zero, um ou alguns exemplos de perguntas/respostas para ajudar a definir o contexto da IA e restringi-la ao longo de um caminho específico e obter resultados mais precisos.

Série Robôs de Asimov

O universo do robô de Asimov é um mundo vasto e intrincado que abrange vários romances, contos e séries interconectadas. Situado em um futuro onde os humanos colonizaram vários planetas em toda a galáxia, este universo é caracterizado por uma clara divisão entre a Terra e os mundos Espaciais.

A Terra , superpovoada e tecnologicamente limitada, é habitada por humanos que vivem em vastas cidades abobadadas conhecidas como cavernas de aço , onde os robôs geralmente são temidos e desconfiados.

Os mundos espaciais , em contraste, são sociedades tecnologicamente avançadas com uma população esparsa, onde humanos e robôs coexistem em harmonia, e os robôs se tornaram uma parte essencial da vida cotidiana. Os mundos Espaciais mantêm uma atitude condescendente em relação à Terra e seus habitantes, vendo-os como atrasados e inferiores.

As Três Leis da Robótica são um conceito central para o universo Robot, que serve como princípios orientadores para o comportamento do robô.

Essas leis, elaboradas por Asimov, são as seguintes:

Um robô não pode ferir um ser humano ou, por omissão, permitir que um ser humano sofra algum mal;
Um robô deve obedecer às ordens que lhe são dadas por seres humanos, exceto quando tais ordens entrarem em conflito com a Primeira Lei; e
Um robô deve proteger sua própria existência desde que tal proteção não entre em conflito com a Primeira ou Segunda Lei.

Ao longo das histórias de Asimov, as interações entre humanos e robôs, bem como as implicações éticas e filosóficas das Três Leis, formam a espinha dorsal do universo Robot, oferecendo aos leitores uma exploração única dos desafios e possíveis consequências de um futuro onde a humanidade e os inteligência artificial coexistem.

Asimov: o engenheiro de alerta inconsciente

A série Robot e os contos de Isaac Asimov, a partir da década de 1950, enfatizam fortemente a importância de dar comandos precisos aos robôs, o que pode ser visto como um precursor da moderna engenharia imediata. Os trabalhos de Asimov demonstraram uma compreensão inerente da necessidade de instruções cuidadosamente elaboradas, particularmente ao lidar com sistemas complexos de IA implícitos em seus robôs operando sob as Três Leis da Robótica.

Exemplos de Prompt Engineering das obras de Asimov

Imagem Espelhada (Conto 1972)

Durante uma viagem interestelar casual por um grupo de espaçadores, um crime acontece na nave. As duas partes são um jovem e brilhante matemático (Sabbat) e um velho e consagrado matemático (Humboldt), ambos se acusando de roubar uma nova e brilhante ideia matemática do outro. As únicas testemunhas são os servos robôs de cada matemático. O detetive terrestre Elijah Baley é solicitado a ajudar a investigar e resolver o crime o mais rápido possível antes que ele exploda em um escândalo muito maior, no entanto, tudo o que ele pode fazer é entrevistar os robôs. Baley vê que cada parte está apresentando a imagem espelhada da história da outra parte e precisa descobrir qual parte está mentindo.

O detetive Baley interroga o robô do matemático mais jovem (Sabbats) e o orienta pelas etapas lógicas que mostram que o matemático mais velho sofreria mais danos por meio do testemunho do robô e faz com que o robô mude seu testemunho.

Aqui está um trecho do interrogatório entre o detetive Elijah Baley e o servidor robô R. Idda, pequenas alterações para brevidade:

Baley : Você é o robô pessoal do Gennao Sabbat, não é?
Robô : Eu sou o senhor.
Baley : Por quanto tempo?
Robô : Por vinte e dois anos, senhor.
Baley : E a reputação de seu mestre é valiosa para você?
Robô : Sim, senhor.
Baley : Você consideraria importante proteger essa reputação?
Robô : Sim, senhor.
Baley : Tão importante para proteger sua reputação quanto sua vida física?
Robô : Não, senhor.
Baley : Tão importante proteger sua reputação quanto a reputação de outro?
Robot : Esses casos devem ser decididos em seu mérito individual, senhor. Não há como estabelecer uma regra geral.
Baley : Se você decidisse que a reputação de seu mestre é mais importante do que a de outro, digamos, a de Alfred Barr Humboldt, você mentiria para proteger a reputação de seu mestre?
Robô : Sim, senhor.
Baley : Você mentiu em seu testemunho a respeito de seu mestre em sua controvérsia com o Dr. Humboldt?
Robô : Não, senhor.
Baley : Mas se você estivesse mentindo, você negaria que estava mentindo para proteger essa mentira, não é?
Robô : Sim, senhor.
Baley : Bem, então vamos considerar isso. Seu mestre, Gennao Sabbat, é um jovem de grande reputação em matemática, mas é um jovem. Se, nessa controvérsia com o Dr. Humboldt, ele tivesse sucumbido à tentação e agido de forma antiética, sofreria um certo eclipse de reputação, mas é jovem e teria muito tempo para se recuperar. Ele teria muitos triunfos intelectuais pela frente e os homens acabariam por considerar essa tentativa de plágio como o erro de um jovem de sangue quente, deficiente em julgamento. Seria algo que seria compensado no futuro. Se, por outro lado, fosse o Dr. Humboldt a sucumbir à tentação, a coisa seria muito mais séria. Ele é um velho cujos grandes feitos se espalharam ao longo dos séculos. Até então, sua reputação era imaculada. Tudo isso, porém, seria esquecido à luz desse único crime de seus últimos anos, e ele não teria oportunidade de compensá-lo no relativamente curto tempo que lhe restava. Haveria pouco mais que ele poderia realizar. Haveria muito mais anos de trabalho arruinados no caso de Humboldt do que no de seu mestre e muito menos oportunidade de reconquistar sua posição. Você vê, não é, que Humboldt enfrenta a pior situação e merece maior consideração?
Robô : Minha evidência era uma mentira. Era o Dr. Humboldt
Baley : Você foi instruído a não dizer nada a ninguém sobre isso até receber permissão do capitão do navio.

Quando Baley interroga o servo robô do matemático mais velho Humboldt, R. Preston, o interrogatório é exatamente o mesmo, exceto pela parte no final, que é mais ou menos assim:

Baley : Mas se você estivesse mentindo, você negaria que estivesse mentindo, para proteger essa mentira, não é?
Robô : Sim, senhor.
Baley : Bem, então vamos considerar isso. Seu mestre, Alfred Barr Humboldt, é um velho de grande reputação em matemática, mas é um velho. Se, nesta controvérsia com o Dr. Sabbat, ele tivesse sucumbido à tentação e agido de forma antiética, ele sofreria um certo eclipse de reputação, mas sua grande idade e seus séculos de realizações resistiriam a isso e venceriam. Os homens considerariam essa tentativa de plágio como o erro de um velho talvez doente, sem mais certeza de julgamento. Se, por outro lado, fosse o Dr. Sabbat quem tivesse sucumbido à tentação, o assunto seria muito mais sério. Ele é um jovem, com uma reputação muito menos segura. Ele normalmente teria séculos pela frente nos quais poderia acumular conhecimento e realizar grandes coisas. Isso estará fechado para ele, agora, obscurecido por um erro de sua juventude. Ele tem um futuro muito mais longo a perder do que seu mestre. Você vê, não é, que o Sabbat enfrenta a pior situação e merece maior consideração?
Robot : Minha evidência foi como eu-
Baley : Por favor, continue, R. Preston.
Daneel : Receio, amigo Elijah, que R. Preston esteja em êxtase [que caiu]. Ele está fora de serviço.

No conto, o detetive Baley usa essa diferença nas respostas dos robôs para armar uma armadilha e induzir o verdadeiro ladrão a confessar.

Aqui podemos ver Asimov usar o prompt de menos para o máximo implantado por Baley enquanto interroga os robôs. Para ambos os robôs, ele quer descobrir se há alguma assimetria em sua experiência (ou seja, qual deles está mentindo) e sua abordagem é conduzi-los por um caminho de raciocínio onde ele finalmente estabelece uma questão moral complexa no final.

No final das contas, na história, Baley usa uma combinação dessa assimetria das respostas do robô e sua intuição da natureza humana para resolver o caso, mas é muito interessante ver Asimov prever as nuances necessárias para interagir com a IA de nível humano e, de fato, ele baseia isso seminal séries de ficção científica trabalham com esse fato.

Contorno (1942)

Neste conto , o robô excepcionalmente caro Speedy é enviado em uma missão para recuperar um elemento em um planeta perigoso. Como este Speedy é caro, ele é programado para seguir a 3ª lei (Um robô deve proteger sua própria existência, desde que tal proteção não entre em conflito com a Primeira ou Segunda Lei) mais fortemente do que o normal.

Powell e Donovan, os protagonistas humanos, atribuem a Speedy a tarefa de recuperar o selênio de um pool de selênio. Os humanos precisam disso para recarregar suas células de energia, que estão acabando, e se proteger do calor. No entanto, eles inadvertidamente criam um conflito entre a Segunda e a Terceira Leis da Robótica, dando a Speedy um comando impreciso que não enfatiza a importância da missão. Eles instruem Speedy: "Saia e pegue [o selênio]." Devido ao perigo representado pelo pool de selênio e à propensão de Speedy em seguir a 3ª lei mais fortemente do que o normal, Speedy se vê preso em um loop, incapaz de priorizar suas ordens (Segunda Lei) sobre sua autopreservação (Terceira Lei).

A questão é finalmente resolvida por Powell se colocando em perigo, o que invoca a Primeira Lei e obriga Speedy a priorizar salvá-lo. Powell e Donovan dão a Speedy um comando impreciso no início:

Então, ele disse: "Ouça, Mike, o que você disse a Speedy quando o mandou buscar o selênio?"

Donovan foi pego de surpresa. "Bem, droga - eu não sei. Eu só disse a ele para pegar."

"Sim, eu sei, mas como? Tente se lembrar das palavras exatas."
"Eu disse... uh... eu disse: 'Speedy, precisamos de um pouco de selênio. Você pode conseguir tal e tal lugar. Vá buscar' - só isso. O que mais você quer que eu diga? "

A chave aqui é que este comando dado por Donovan , acabei de dizer a ele para obtê-lo, era impreciso porque não continha urgência. No universo Asimovs Robots, o tom e a entrega de um comando são apenas variáveis adicionais do próprio prompt. Então, como o tom não era particularmente urgente no comando, isso levou a um conflito entre as Três Leis.

Como o speedy está preso em um loop e não pode aceitar outro prompt que foi iterado e reformulado com mais precisão, a única maneira de obter a ação correta era alterar outras variáveis no universo para que o prompt inicial impreciso levasse à saída desejada . Powell finalmente resolve o problema colocando-se em perigo, forçando Speedy a priorizar salvá-lo (a 1ª lei teve prioridade) e o tirou de seu impasse entre os mandatos da 2ª e da 3ª lei.

Esta história mostra como não usar o contexto adequado no prompt (ordem para Speedy) levou a resultados imprecisos. O contexto apropriado é este trecho de Runaround:

A única coisa que poderia salvá-los era o selênio. A única coisa que poderia obter o selênio era Speedy. Se Soeedy não voltasse, nada de selênio. Sem selênio, sem bancos de fotocélulas. Nada de bancos de fotos - bem, a morte por cozimento lento é uma das maneiras mais desagradáveis de morrer.

Donovan esfregou a cabeleira vermelha com selvageria e expressou-se com amargura.

"Seremos motivo de chacota do Sistema, Greg. Como pode tudo ter dado tão errado tão cedo? A grande equipe de Powell e Donovan é enviada a Mercury para relatar a conveniência de reabrir a Estação de Mineração de Sunside com técnicas modernas e robôs e arruinamos tudo no primeiro dia. Um trabalho puramente rotineiro também. Nunca vamos esquecer.

"Não precisaremos, talvez", respondeu Powell calmamente. "Se não fizermos algo rapidamente, viver qualquer coisa - ou mesmo simplesmente viver - estará fora de questão."

O prompt também sofria de falta de adaptabilidade , um bom prompt deve ser capaz de produzir resultados precisos em diferentes sistemas de IA. Donovan diz que deu uma ordem padrão rápida (prompt) para obter o selênio.

Donovan: "Eu disse ... uh ... eu disse: 'Speedy, precisamos de um pouco de selênio. Você pode obtê-lo em tal e tal lugar. Vá buscá-lo - isso é tudo. O que mais você quer que eu diga ?"

Powell: "Você não colocou nenhuma urgência no pedido, não é?"

Donovan: "Para quê? Foi pura rotina."

A suposição incorreta aqui é que uma simples ordem/aviso para obter selênio, que funcionaria bem em qualquer outro robô/IA, funcionaria da mesma forma em Speedy, mas como sabemos que o 'cérebro positrônico'/rede neural de Speedy é treinado de forma diferente (3º a lei da autopreservação é fortalecida) Speedy não é uma IA padrão. Portanto, um prompt/ordem mais adaptável deveria ter sido usado.

Os princípios de clareza, contexto e adaptabilidade dos prompts dados à IA para obter resultados precisos são um conceito central da engenharia de prompts. É geralmente entendido que quanto mais descritivo e detalhado for o prompt, melhores serão os resultados. PromptingGuide.ai . Nesta história (escrito pela primeira vez em 1942) Asimov mostra em detalhes como não seguir essas regras pode levar a resultados imprecisos.

Cavernas de Aço (1954)

"Caves of Steel" foi publicado pela primeira vez em 1954 e é o primeiro de uma série de romances ambientados no Robot Universe e apresenta os personagens Detective Elijah Baley e Robot Daneel Olivaw.

A história se passa em um futuro distante. Os habitantes da Terra vivem em grandes cidades abobadadas e nutrem um profundo ressentimento em relação aos Espaciais, um grupo de humanos que colonizou outros planetas e adotou tecnologia avançada e robótica. Asimov usa a narrativa do policial amigo para explorar temas de preconceito, IA, tecnologia e cooperação. A parceria entre Baley e Daneel serve como base para a Asimov's Robot Series, que continua a aprofundar a relação dinâmica entre humanos e robôs/IA, bem como os desafios que eles enfrentam na coexistência.

Há uma cena curta, mas muito inteligente nos capítulos "Palavras de um especialista / Mudança para a máquina" que mostra que ainda em 1954 Asimov previu que haveria necessidade de avaliar a eficácia da IA e que a avaliação poderia ser muito invasiva, mas também haveria um método de avaliação mais fácil para verificar rapidamente a integridade e a precisão de um modelo.

A cena em questão envolve um roboticista da Terra (Dr. Gerrigel) a quem Baley pediu para fazer uma avaliação do Robô Daneel Olivaw para verificar se ele tinha a 1ª lei instalada corretamente (basicamente um modelo preciso).

Ao serem oferecidos os laboratórios de informática para qualquer equipamento que possa necessitar, o Dr. Gerrigel responde:

Dr. Gerrigel : Meu caro Sr. Baley, não vou precisar de um laboratório.
Baley : Por que não?
Dr. Gerrigel : Não é difícil testar a Primeira Lei. ... é bastante simples.
Baley : Você poderia explicar o que quer dizer? Você está dizendo que pode testá-lo aqui?
Dr. Gerrigel : “Sim, claro. Olhe, Sr. Baley, vou lhe dar uma analogia. Se eu fosse um doutor em medicina e tivesse que testar o açúcar no sangue de um paciente, precisaria de um laboratório químico. Se eu precisasse medir sua taxa metabólica basal, ou testar sua função cortical, ou checar seus genes para identificar um mau funcionamento congênito, precisaria de um equipamento elaborado. Por outro lado, eu poderia verificar se ele estava cego apenas passando minha mão diante de seus olhos e poderia testar se ele estava morto apenas sentindo seu pulso. “O que quero dizer é que quanto mais importante e fundamental for a propriedade que está sendo testada, mais simples será o equipamento necessário. É o mesmo em um robô. A Primeira Lei é fundamental. Isso afeta tudo. Se estivesse ausente, o robô não poderia reagir adequadamente de duas dúzias de maneiras óbvias.”

A descrição da avaliação real que o Dr. Gerrigel realiza em Daneel é descrita assim:

O que se seguiu o confundiu e decepcionou.
O Dr. Gerrigel passou a fazer perguntas e realizar ações que pareciam sem sentido, pontuadas por referências à sua régua de cálculo tripla e, ocasionalmente, ao observador.
Certa vez, ele perguntou: “Se eu tiver dois primos com cinco anos de diferença, e o mais novo for uma menina, de que sexo é o mais velho?”
Daneel respondeu (inevitavelmente, pensou Baley): “É impossível dizer com base nas informações fornecidas”.
Ao que a única resposta do Dr. Gerrigel, além de olhar para o cronômetro, foi estender a mão direita o máximo que pôde para o lado e dizer: “Você tocaria a ponta do meu dedo médio com a ponta do terceiro dedo? da sua mão esquerda?”
Daneel fez isso rápida e facilmente.
Em quinze minutos, não mais, o Dr. Gerrigel terminou.

Isso não é diferente das abordagens modernas para avaliar modelos de linguagem grandes (LLMs). Os LLMs podem ser avaliados com uma abordagem mais envolvente que envolve integrá-lo a outros aplicativos e processos chamados de avaliação extrínseca e uma abordagem mais introspectiva, mas mais rápida, que envolve a avaliação direta do AI LLM, chamada de avaliação intrínseca . A avaliação de um modelo é feita com medidas como perplexidade e entropia usando fórmulas matemáticas no conjunto de dados.

Quando o Dr. Gerrigel avalia Daneel, ele realiza uma série de testes para avaliar as propriedades físicas e funcionais do robô para determinar se é realmente um robô e entender se foi instalado com a 1ª lei corretamente. Da mesma forma, a avaliação intrínseca de um grande modelo de linguagem envolve a análise de seu funcionamento interno e desempenho em tarefas específicas para entender o quão bem ele aprendeu padrões de linguagem, relacionamentos e conhecimento dos dados de treinamento.

Geralmente inclui a medição de seu desempenho em várias tarefas linguísticas, como prever a próxima palavra em uma frase, responder a perguntas ou resumir um texto. Os pesquisadores também podem analisar as representações internas do modelo, como examinar as incorporações aprendidas ou os mecanismos de atenção, para obter insights sobre o conhecimento linguístico adquirido durante o treinamento. Essas avaliações ajudam a determinar os pontos fortes e fracos do modelo, bem como sua capacidade de compreender e gerar linguagem semelhante à humana.

Em ambos os casos, as avaliações são projetadas para avaliar as capacidades do sujeito (Daneel ou um grande modelo de linguagem) e obter insights sobre seus mecanismos subjacentes.

Embora Asimov não faça muita construção de mundo em torno dos detalhes de qual era seu método de 'avaliação intrínseca' do Dr. Gerrigel de Daneel, é surpreendente que Asimov tenha previsto que esse tipo de avaliação de IA seria usado 70 anos atrás.

Conclusão

Esses são apenas alguns exemplos de como Isaac Asimov mergulhou no intrincado relacionamento entre IA e humanidade, antecipando a importância da engenharia imediata para obter respostas de alta qualidade da IA e dos robôs. A série Robot de Asimov representa ficção científica especulativa que se tornou cada vez mais relevante devido ao sucesso generalizado de grandes modelos de linguagem e IA. Este corpo de trabalho seminal oferece um contexto histórico valioso e insights para cientistas de dados e engenheiros de aprendizado de máquina, lançando luz sobre as origens de muitas ideias e inspirações contemporâneas no campo.