티스토리 뷰

목차



    반응형

    "지어내지 마"를 프롬프트에 굵게 써 두면 AI 할루시네이션 줄이는법은 끝난 걸까요? 이 계정 기록으로는 아니었습니다. 덜 틀리게 만든 건 경고 문장이 아니라 세 군데 거름망이었습니다. 쓸 때 숫자 옆에 출처를 붙이게 하고, 쓴 뒤 기계가 한 번 대조하고, 공개 전에 사람이 승인합니다.

    AI 할루시네이션 줄이는법 썸네일, 틀린 숫자 4건을 다시 보니

    오해 하나, 경고를 세게 쓰면 안 지어낸다

    이 계정의 재테크 블로그는 클로드 계열 에이전트가 매일 아침 글을 씁니다. 지시문에는 처음부터 "확인 못 한 숫자는 빼라"가 들어 있었어요. 그런데 8월 24일, 그림을 만드는 단계가 검색도 하지 않고 보험사 다섯 곳의 금액을 그럴듯하게 채워 넣었습니다. 본문에는 없는 숫자였죠.

    경고는 부탁에 가깝습니다. 대부분 지켜지지만 매번이라는 보장은 없습니다. 그래서 그날 뒤로는 그림 속 금액과 비율을 본문과 글자 그대로 맞춰 보는 검사를 붙였습니다. 본문에 없는 숫자가 그림에 있으면 경고가 뜹니다.

    클로드 할루시네이션 잡는법, 쓰는 단계에 붙이는 지시

    코딩 없이 오늘 바로 할 수 있는 건 첫 번째 거름망입니다. 초안을 맡기기 전에 아래 단락을 지시 맨 끝에 붙여 보세요.

    글에 들어가는 금액·비율·날짜·기간·인원은 하나도 빠짐없이, 그 문장 바로 뒤 괄호에 (확인한 기관 이름, 그 자료의 날짜)를 적어. 공식 기관이나 회사 공지에서 직접 확인한 것만 쓰고, 확인 못 한 숫자는 숫자만 지우지 말고 문장째 빼. 기억이나 예전 글에 있던 숫자는 확인한 것으로 치지 마. 글을 다 쓴 뒤 맨 아래에 '숫자 목록'을 따로 만들어 숫자 / 출처 / 자료 날짜를 한 줄씩 적고, 자료 날짜가 1년 넘은 줄에는 '오래됨'이라고 표시해. 그림이나 표를 만들 때는 본문에 이미 있는 숫자만 써.

    숫자 목록이 생기면 사람이 볼 곳이 열 군데 남짓으로 줄어듭니다. '오래됨' 줄만 공식 사이트에서 다시 열어 보면 되니까요. 다만 이건 AI가 지시를 지켰을 때 얘기입니다. 어겨도 걸리게 하려면 쓴 뒤의 기계 검사와 승인 단계가 따로 있어야 하는데, 그 부분은 사람마다 쓰는 도구가 달라 한 단락으로는 못 드립니다.

    그 두 번째·세 번째 거름망을 제가 만든 책에 정리해 뒀습니다. 글 파일을 넣고 한 줄로 돌리면 '통과'나 '발행 중지'가 나오는 검사 코드, 코딩 없이 대화창에 붙여 쓰는 같은 검사 지시문, 사실 확인 양식이 들어 있습니다(A4 19쪽 PDF). 오늘 상품 페이지 기준 9,900원이고, 앞 4쪽은 결제 없이 볼 수 있습니다.

     

    발행 전 숫자 검사 코드 앞 4쪽 먼저 읽기

    예약 작업에 붙이는 지시서 틀만 먼저 써 보고 싶다면 0원 맛보기(지시서·기억 파일 양식)부터 받아 두셔도 됩니다.

     

     

    오해 둘, 할루시네이션은 없는 숫자를 만드는 일이다

    9월 25일부터 AI가 썼던 옛 글을 하나씩 다시 열어 공식 자료와 맞춰 봤습니다. 걸린 숫자는 허공에서 만든 것보다 '한때 맞았거나 다른 규칙에서 가져온 것'이 더 많았습니다.

    AI 할루시네이션 사례, 옛 글 점검에서 걸린 숫자 4건과 공식 확인 값
    도식: 9~10월 옛 글 다시 점검 기록

    금리는 분기마다 바뀌고, 세금은 일반 이자 세율 15.4%와 ISA 만기 세율 9.9%가 섞이기 쉽습니다. 그러니 AI 글 팩트체크는 '날짜가 붙지 않은 숫자'부터 보면 됩니다. 이런 글은 고칠 때까지 다른 보강 작업에서 빼 두고, 다시 쓴 뒤에 풀었습니다.

    할루시네이션 해결방법도 너무 세게 걸면 탈이 납니다

    클로드 할루시네이션 잡는법, 쓸 때·쓴 뒤 기계·사람 승인 세 곳
    도식: 이 계정 발행 검사 순서

    처음엔 검사 하나만 걸려도 그날 글을 통째로 버렸습니다. 8월 25일엔 막대그래프의 눈금 숫자가 "본문에 없는 수치"로 잡혔고, 27일엔 '손실 0원', '1개 은행' 같은 그림 이름표가 걸렸고요. 내용이 정확한 글이 이틀 연달아 사라졌습니다.

    그래서 검사를 둘로 나눴습니다. 기계가 확실히 판정하는 것(분량, 한자, 이미지 개수, 중복 주제)만 발행을 막고, 숫자 대조처럼 사람 판단이 필요한 건 경고만 띄웁니다. 대신 새 글은 바로 공개하지 않습니다. 초안으로 저장하고 텔레그램으로 승인 요청이 가서, 사람이 '승인'이라고 답해야 올라갑니다.

    해 보기 전에 자주 걸리는 질문

    검색 기능을 켜면 AI 할루시네이션이 사라지나요?

    줄지만 없어지진 않습니다. 이 계정에서 틀린 금리는 검색해서 찾은 옛 자료에서 온 경우가 많았거든요. 자료 날짜까지 적게 해야 거를 수 있습니다.

    AI 글 팩트체크를 다른 AI에게 시켜도 되나요?

    찾는 일은 맡겨도 됩니다. 다만 맞다는 판정은 공식 사이트 원문을 열어 확인한 것만 믿고, 검사하는 AI가 기억으로 답한 건 확인으로 치지 마세요.

    숫자가 없는 글도 할루시네이션이 생기나요?

    생깁니다. 해 본 적 없는 경험을 해 본 것처럼 쓰는 경우가 대표적이죠. 그래서 이 블로그 글은 실제로 돌린 예약 작업과 검사 기록에서 확인되는 것만 씁니다.

    숫자는 맞는데 글끼리 첫 줄과 마무리가 닮아 간다면 최근 글 5편과 새 초안을 나란히 비교하는 법으로 넘어가 보세요. 오늘은 위 지시 단락 하나만 붙이고, 내일 아침 초안 맨 아래 숫자 목록에서 '오래됨' 줄부터 열어 보세요.

    반응형