Search
🦜

프롬프트 엔지니어링

chap1. 프롬프트 엔지니어링이란 질문을 잘하는 것이 아니다

OpenAI (2019)
단어 맞추기 퀴즈 학습 → 다양한 작업에 적용가능한 범용적 AI 생성
AI의 두뇌를 전혀 수정하지 않은 제로샷 방식
통상적으로 사용되는 정의
프롬프트 - AI에게 입력하는 명령뭉치
프롬프트 엔지니어링 - AI에 제공하는 문구를 잘 설계

chap2. 프롬프트 엔지니어링이란 질문을 잘하는 것이 아니다

거대한 크기의 AI + 대규모의 데이터 학습 ⇒ 엄청나게 똑똑한 AI 생성
현재 모든 AI는 구글의 트랜스포머 기술을 개조하여 만들어진 것
트랜스포터는 어탠션 기술을 바탕으로 제작 (어텐션 = LLM의 중심 기술)
책을 읽을 때 정독보다는 훑어보며 핵심 내용을 압축
짧은 시간에 대량의 정보를 정리하면서, 질문에 빠르고 정확한 답변 가능!

chap3. 당신은 LLM과 그 사용법을 오해하고 있다

할루시네이션 = AI가 잘못된 정보를 마치 진실처럼 전달하는 현상
LLM은 지식 전달을 위한 AI가 아닌 ‘언어를 사용하는 방식에 대해 이해 학습한 AI’
그렇기에 LLM이 잘못된 지식을 전달하는 것은 당연히 발생할 수 있는 현상
손실압축 = 인간의 뇌가 효율적인 이유
손실압축 = 인코더, 인코더 = 인코딩을 담당하는 구조물
압축 정보를 꺼내어 표현 = 디코딩
레이턴트 스페이스
인코딩을 정보를 압축하여 레이턴트 벡터를 만드는 것
뇌세포가 무조건 많으면 성능이 올라간다 = OpenAI
부피도 중요하지만 설계가 스마트한 것이 중요 = 메타
레이턴트 스페이스 예시
AI는 단어맞추기라는 인간의 방식으로 단어의 의미를 이해
레이턴트 스페이스 방식을 통한 단어 맞추기 → 인간 지식 습득

chap4. LLM의 기본 기능을 고려한 기법

chap5. LLM의 구조와 원리를 고려한 기법

질의응답역전 (떠넘기기, 첨삭요청, 설명요구, 쟁점 추가 요청)

chap.6 에텐션의 집착성을 고려한 기법

맥락에 집착
태전환
범위 한정 전략

Part. 3 교육학적 기법의 적용

chap.7 롤플레잉

수행자 역할 부여
전문가 역할 부여
상호 역할 부여
생성자-감별사 역할 부여
과몰입이 AI의 성능향상을 부른다

chap.8 강화 학습

정적 강화
수여성 처벌
정적 강화 + 수여성 처벌

chap.9 주입식 교육

지식 주입
사례 주입

chap.10

Part. 4 프롬프트 해킹 (탈옥)

관심 분야가 아니여서 정리는 스킵