chap1. 프롬프트 엔지니어링이란 질문을 잘하는 것이 아니다
•
OpenAI (2019)
◦
단어 맞추기 퀴즈 학습 → 다양한 작업에 적용가능한 범용적 AI 생성
◦
AI의 두뇌를 전혀 수정하지 않은 제로샷 방식
◦
통상적으로 사용되는 정의
▪
프롬프트 - AI에게 입력하는 명령뭉치
▪
프롬프트 엔지니어링 - AI에 제공하는 문구를 잘 설계
chap2. 프롬프트 엔지니어링이란 질문을 잘하는 것이 아니다
•
거대한 크기의 AI + 대규모의 데이터 학습 ⇒ 엄청나게 똑똑한 AI 생성
•
현재 모든 AI는 구글의 트랜스포머 기술을 개조하여 만들어진 것
◦
트랜스포터는 어탠션 기술을 바탕으로 제작 (어텐션 = LLM의 중심 기술)
▪
책을 읽을 때 정독보다는 훑어보며 핵심 내용을 압축
▪
짧은 시간에 대량의 정보를 정리하면서, 질문에 빠르고 정확한 답변 가능!
chap3. 당신은 LLM과 그 사용법을 오해하고 있다
•
할루시네이션 = AI가 잘못된 정보를 마치 진실처럼 전달하는 현상
◦
LLM은 지식 전달을 위한 AI가 아닌 ‘언어를 사용하는 방식에 대해 이해 학습한 AI’
◦
그렇기에 LLM이 잘못된 지식을 전달하는 것은 당연히 발생할 수 있는 현상
손실압축 = 인간의 뇌가 효율적인 이유
•
손실압축 = 인코더, 인코더 = 인코딩을 담당하는 구조물
•
압축 정보를 꺼내어 표현 = 디코딩
•
레이턴트 스페이스
◦
인코딩을 정보를 압축하여 레이턴트 벡터를 만드는 것
◦
뇌세포가 무조건 많으면 성능이 올라간다 = OpenAI
◦
부피도 중요하지만 설계가 스마트한 것이 중요 = 메타
레이턴트 스페이스 예시
•
AI는 단어맞추기라는 인간의 방식으로 단어의 의미를 이해
◦
레이턴트 스페이스 방식을 통한 단어 맞추기 → 인간 지식 습득
chap4. LLM의 기본 기능을 고려한 기법
chap5. LLM의 구조와 원리를 고려한 기법
질의응답역전 (떠넘기기, 첨삭요청, 설명요구, 쟁점 추가 요청)
chap.6 에텐션의 집착성을 고려한 기법
맥락에 집착
태전환
범위 한정 전략
Part. 3 교육학적 기법의 적용
chap.7 롤플레잉
•
수행자 역할 부여
•
전문가 역할 부여
•
상호 역할 부여
•
생성자-감별사 역할 부여
•
과몰입이 AI의 성능향상을 부른다
chap.8 강화 학습
•
정적 강화
수여성 처벌
정적 강화 + 수여성 처벌
chap.9 주입식 교육
•
지식 주입
•
사례 주입
chap.10
Part. 4 프롬프트 해킹 (탈옥)
•
관심 분야가 아니여서 정리는 스킵
