LLM의 한계인 Clarity(명확성)과 Consistency(일관성)을 줄여보는 prompt engineering기법

** 강수진 박사님의 '오늘, 프롬프트 엔지니어링' 무료세미나를 듣고 일부 정리한 내용입니다. 

 

LLM의 한계 : Clarity(명확성)을 먼저 해결해보자

프롬프트에 조그만거 하나 바꾸면, 너무나 취약하다.안정성 control이 생겨버림. 자연어이다보니 format control이 쉽지 않아서 이런 문제를 해결하기 위해 노력중이다.

 

Prompt ensembles, Ask Me Anything (AMA), Arora et al.(2022)

프롬프트를 조화롭게 앙상블하자!

배경 : prompt engineering은 때로는 간단하게도 풀린다! 엄청 길게 쓰는 prompt가 아니고 한 단어 혹은 문장 하나에 풀리다 보니까 논문에서 그런 방법론에 대해 설명한다.

AMA Prompting, ASK ME ANYTHING: A SIMPLE STRATEGY FOR PROMPTING LANGUAGE MODELS, 2022

- 우리가 쓰고있는 prompt의 성향은 task랑, model type, model size에 따라 너무 다르다.

- 이 formatting을 어떻게 하면 fix할 수 있을까?

- 연구진은 우리가 쓰고있는 prompt의 sentence type에 집중한다.

- sentence type이라고 하면, 평서문이나 질문을 하는 의문문, 청유문 등등등 

- 일반 question문장을 조금만 꼬아가지고, 해결을 했다 라는 컨셉

- 보통은 prompt를 평서문으로 끝내는데 Open-ended prompts가 더 뛰어나다.

 

이런 프롬프트를 모아서 functional prompt chain을 만들어서 사용해보자!

Example prompt with the in-context demonstrations and placeholder (Left) with two different prompt variations (Right) created by changing demonstrations and question style, Ask Me Anything (AMA), Arora et al.(2022)

base prompt가 왼쪽에 있고, 중간 prompt는 그냥 의문문으로 바꾼 것, 마지막 prompt는 who나 what을 써가지고 또 다시한번 question style을 바꿨다. 결론은 왼쪽의 평범한 basic한 prompt보다는 open ended prompt style을 썼을 때, 결과값에서 어떤 정형화된 concept이 있다. 그래서 문장을 조금만 바꿔서 사용해보자!

 

Mixture of Formats (MOF), Robustness to Prompt Style (2025)

한 가지 방법으로는 취약점을 다 해결 못해서 연구진들이 prompt engineering으로 섞기 시작한다.

prompt style을 견고함을 추가하려면 MOF(Mixture of Formats)를 해야한다. 

An illustration of how to convert a traditional prompt into a MOF prompt.

답이 정해져 있는 질문과 답변을 했다면, MOF는 중간에 다시한번 Rewrite해라! 같은거더라고 하더라도 일본의 수도는 도쿄라고 하면 되는데 이 example을 다시한번 다른 format으로 LLM한테 다시 작성하게 하는 것이다. 그렇게하면 출력 안정물의 결과를 얻을 수 있었다.

 

그래서, 여기까지 결론은

1. plain text의 문장형을 open ended로 바꿔보자!

2. 중간에 있는 문장을 rewrite하게한다면 또 다른 결과물을 얻을 수 있다. 

 

LLM의 한계 : Consistency(일관성)을 해결하기위한 방법론들

ReAct: Synergizing Reasoning and Acting in Language Models, Shunyu Yao et al., ICLR 2023

Re + Act = 질문에 답하기 위한 생각(Reason)과 행동(Act)를 교차적으로 사용하는 프롬프트 방식

 

 

1. Reasoning 생성 (모델을 reasoning을 하게 하느냐 안하게 하느냐에 따라 prompt단 차이가 심함)

모델의 행동 계획 유도, 추적 및 업데이트, 예외 사항 처리

 

2. Action

Act1부터 Act11까지 반복하게 함. 반복하면서 자기 검증도 되고 자기 교차도 되고 그러면서 당연히 fact체크가 되기 때문에 line by line으로 할루시네이션이 줄어들 수 밖에 없다. 

지식 베이스나 환경과 같은 외부 소스와 상호작용하여 정보를 수집할 수 있도록 함

LLM이 외부 도구와 상호작용을 통해 더 신뢰할 수 있고 사실적인 응답을 생성하기 위해 추가 검색 가능케 함.

 

Chain-of-Verification (CoVe)- Shehzaad Dhuliawala et al., arXiv 2023

할루시네이션을 줄이기 위한 논문! 자기 검증을 한번 시켜보자!

쿼리를 넣어서 답변을 뽑은 후에 검증하기 위한 planning을 하게 하고 한 번더 자기의 답을 검증을 하게 하는 방식

컨셉은 굉장히 단순한데 자기 검증을 하느냐 안하느냐에 따라 할루시네이션이 확실히 줄어든다.

 

아래 예시처럼 prompt한번 써보자!

1. the model first drafts an initial answer
2. it then generates specific follow-up questions to fact-check each part of that draft
3. the model independently answers those verification questions; and
4. finally produces a revised answer based on this self-queried evidence.