AI에게 보내는 질문 앞에 두는 똑똑한 중개소.
비슷한 질문의 답을 기억했다 재사용해 비용을 아끼고, 돈이 어디 쓰였는지 보여주고, 요금 폭탄을 미리 막습니다. 그것도 주소 한 줄만 바꿔서.
“이번 달 요금이 왜 이렇게 많지?” 어느 팀, 어느 기능이 돈을 썼는지 도무지 알 수가 없습니다.
사람들은 비슷한 질문을 계속 합니다. 그때마다 새 요금이 붙어, 같은 답을 수백 번 다시 사고 있어요.
열쇠(API 키)가 새어나가면 누군가 몰래 AI를 마구 돌려, 하루 만에 수천만 원이 청구될 수 있습니다.
어려운 기술은 뒤에 숨기고, 하는 일은 이렇게 단순합니다.
“영업시간 알려줘”와 “몇 시까지 하세요?”는 표현만 다를 뿐 같은 질문이죠. Prism은 뜻이 비슷한 질문이 다시 오면 예전 답을 재사용해서, AI에게 요금을 다시 내지 않습니다.
간단한 요청은 값싼 AI에게, 정말 어려운 요청만 비싼 AI에게 자동으로 보냅니다. 값싼 AI가 잘 못하면 그때 알아서 비싼 AI에게 다시 물어봅니다.
“총액 100만 원”만 찍힌 명세서는 답답하죠. 팀별·기능별·고객별로 얼마 썼는지 영수증처럼 정리해 한눈에 보이는 대시보드를 드립니다.
예산을 넘으면 자동으로 차단하고, 갑자기 요청이 폭주하면 알림을 보냅니다. 열쇠가 털려도 하루아침에 청구서가 터지지 않습니다.
반복 질문이 많을수록 더 아낍니다. 다만 실제 절감액은 여러분의 실제 트래픽으로 측정한 뒤 정직하게 알려드립니다 — 임베딩·재호출 비용까지 빼고, 부풀리지 않습니다.
비슷해 보이지만 사실은 다른 질문이 있습니다. 여기서 예전 답을 잘못 재사용하면 큰 사고죠. 그래서 Prism은 틀릴 위험이 0이 되는 기준을 찾은 뒤에야 답 재사용을 켭니다.
기존 코드는 그대로 둡니다. AI 주소만 Prism으로 돌리면, 나머지는 뒤에서 알아서 아껴줍니다.
# 이 한 줄만 바꾸면 됩니다 base_url = "https://api.openai.com" base_url = "http://우리회사-prism" # 인증도, 질문 내용도 그대로 통과 ✓ # 스트리밍(실시간 응답)도 그대로 ✓
개발팀용 설치·실행: docker compose up 한 번. 자세히는 QUICKSTART 문서 참고.
아니요. AI 주소(base_url) 한 줄만 바꿉니다. 기존 코드는 그대로 둡니다.
Prism은 “틀릴 위험이 0”이 확인된 뒤에만 답을 재사용합니다. 그전까지는 평소처럼 AI에 직접 물어봅니다.
아니요. OpenAI, Anthropic 등 여러 곳을 함께 쓸 수 있고, 오히려 여러 곳을 쓸수록 더 아낍니다.
반복 질문이 많은 서비스일수록 많이 아낍니다. 실제 절감액은 여러분의 실제 트래픽으로 측정한 뒤 정직하게 알려드립니다.
질문 원문은 저장하지 않습니다. 팀(고객)마다 완전히 분리되어, 다른 팀의 답이 섞일 일이 없습니다.
대시보드에서 이번 주 얼마 아꼈는지, 어느 팀이 얼마 썼는지, 잘못된 답이 몇 건인지(목표 0건)를 한눈에 봅니다.
| 게이트웨이 / 프록시 | AI 앞에 두는 중개소 · 문지기 |
| 시맨틱 캐싱 | 뜻이 비슷한 질문의 답을 기억했다 재사용 |
| 캐시 히트 | 기억해둔 답을 다시 쓴 경우 (= 돈 아낌) |
| 오탐 (False Hit) | 다른 질문에 옛날 답을 잘못 준 실수 — Prism은 이걸 0으로 |
| 라우팅 | 쉬운 일·어려운 일을 알맞은 AI에게 나눠 보내기 |
| 에스컬레이션 | 값싼 AI가 잘 못하면 비싼 AI에게 다시 물어보기 |
| 원가 귀속 | 누가 얼마 썼는지 영수증처럼 분류 |
| 가드레일 | 예산 초과·폭주를 막는 안전장치 |
| fail-open | 문제가 생겨도 서비스를 멈추지 않고 그냥 통과 |
| 테넌트 격리 | 팀(고객)마다 데이터를 완전히 분리 |