AI를 어떻게 활용할 것인가
지난 시간: AI를 이해하기 위한 여섯 가지 관점을 다뤘습니다
오늘은 여기서 한 발 더 나아갑니다: 어떻게 쓸 것인가.
01
먼저 온 미래
장강명이 기록한 바둑계의 이야기
02
General Purpose Technology
전기, 인터넷, 그리고 AI
03
기술을 만드는 기술
AI가 AI를 개선하는 자기 참조 구조
04
바벨의 도서관과 사서
모든 답이 있지만, 꺼내는 것은 사람의 몫
05
디자인 스페이스: 정수에서 실수로
가능성의 공간이 이산에서 연속으로 확장
06
생성 비용 0, 검증 비용 급증
만드는 것은 쉬워졌지만, 고르는 것은 어려워졌습니다
AI를 어떻게 활용할 것인가
AI 서비스는 수백 개이지만, 엔진은 5-6개입니다
어느 서비스를 쓸지보다, 어떤 모델이 내 업무에 맞는지가 먼저입니다.
01
Foundation Models
GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro, DeepSeek V4, Qwen3, Kimi K2.6. 실제로 "생각"하는 엔진은 이 5-6개입니다.
02
API / 플랫폼
OpenAI API, Anthropic API, AWS Bedrock, Azure OpenAI, 직접 호스팅. 같은 모델을 다른 경로로 접근하는 레이어입니다.
03
사용자 서비스
ChatGPT, Claude.ai, Perplexity, TypingMind, Cursor, Windsurf, Notion AI, 뤼튼... 같은 엔진에 다른 인터페이스를 씌운 것입니다.
출처: MAD Landscape 2025 (FirstMark), 팀 분석 · mad.firstmark.com
3 / 31
AI를 어떻게 활용할 것인가
벤치마크로 모델을 고르는 것은 수능 점수로 직원을 뽑는 것과 같습니다
작업별로 1등이 전부 다릅니다. 벤치마크는 필터링 도구이고, 최종 선택은 직접 테스트로 합니다.
| 벤치마크 | 측정 대상 | 현재 1위 (2026.05) | 한계 |
|---|---|---|---|
| MMLU | 대학 수준 지식 | GPT-5.5 | 암기력 측정에 가까움 |
| SWE-bench | 실제 코딩 능력 | Claude Opus 4.6 (75.6%) | 코딩 이외 업무와 상관 낮음 |
| GPQA Diamond | 대학원 수준 과학 | Gemini 3.1 Pro (94.3%) | 비전문가에게 무의미 |
| Arena ELO | 사람이 블라인드 비교 | GPT-5.5 / Claude 경합 | 평가자의 선호 편향 |
출처: LM Council Benchmarks (2026.05), Chatbot Arena · arena.ai
4 / 31
AI를 어떻게 활용할 것인가
미국과 중국 모델의 성능 격차는 거의 사라졌고, 가격 격차는 10배 이상입니다
모델에 올인하지 말고, 모델을 갈아끼울 수 있는 구조를 만드는 것이 핵심입니다.
| 미국 (Closed) | 중국 (Open-weight 다수) | |
|---|---|---|
| 대표 모델 | GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro | DeepSeek V4, Kimi K2.6, Qwen3-Max, GLM-5 |
| 종합 점수 | 93-94 (BenchLM 기준) | 85-90 |
| 코딩 | Claude Opus 75.6% | Kimi K2.6이 SWE-bench Pro에서 GPT-5.4를 이김 |
| 가격 | $3-15 / 1M tokens | $0.14-1.20 / 1M tokens |
| 컨텍스트 | 200K-1M | DeepSeek V4: 1M, Qwen3: 262K (1M 확장) |
| 소스 공개 | 비공개 | 대부분 오픈웨이트 (자체 호스팅 가능) |
출처: BenchLM Open-Weight Leaderboard, 각사 API 가격표 (2026.05)
5 / 31
AI를 어떻게 활용할 것인가
LLM은 천재적인 신입사원과 같습니다: 뭐든 하지만, 혼자 두면 위험합니다
01
강점
어떤 질문이든 답합니다. 언어를 이해하고, 맥락을 파악하고, 코드를 짜고, 번역합니다. 범용성에서 역사상 전례가 없습니다.
02
약점
확률적입니다. 같은 질문에 다른 답을 합니다. 모르는 것을 "모른다"고 하지 않고 만들어냅니다. 멈출 줄 모릅니다.
03
시사점
모델의 똑똑함은 수렴하고 있습니다. 차별화는 이 신입사원에게 어떤 도구와 규칙을 주느냐에서 나옵니다.
AI를 어떻게 활용할 것인가
Anthropic, OpenAI, 업계 모두 같은 구조에 수렴하고 있습니다
용어는 다르지만 뼈대는 같습니다: 도구, 기억, 안전장치, 실행 루프, 계획.
| 구성요소 | Anthropic | OpenAI | 업계 통합 |
|---|---|---|---|
| 도구 사용 | Tools (retrieval, tools) | Function Tools + MCP | Tool Registry |
| 기억 | Memory | Sessions | Layered Memory |
| 안전장치 | Guardrails | Guardrails | Permission Boundaries |
| 실행 루프 | Orchestrator-Workers | Agent Loop | Execution Engine |
| 계획 | Prompt Chaining, Routing | Agents as Tools | Planning Module |
출처: Anthropic "Building Effective Agents", OpenAI "Agents SDK", Avi Chawla "Anatomy of an Agent Harness"
8 / 31
AI를 어떻게 활용할 것인가
하네스를 구성하는 다섯 가지 뼈대입니다
01
Tool Calling
AI에게 손을 달아주는 것입니다. 검색, 계산, DB 조회, 이메일 발송.
02
Memory
단기기억(지금 대화)과 장기기억(과거 이력). 사람과 같습니다.
03
Guardrails
울타리입니다. 하면 안 되는 것, 넘으면 안 되는 선을 정합니다.
04
Agent Loop
한 번 하고 끝이 아니라, 스스로 확인하고 고쳐서 다시 합니다.
05
Planning
복잡한 일을 쪼개고, 여러 AI를 조율하는 지휘자 역할입니다.
AI를 어떻게 활용할 것인가
같은 모델이라도 하네스에 따라 결과가 완전히 달라집니다
| 모델만 쓸 때 | 하네스를 씌울 때 | 작동한 요소 | |
|---|---|---|---|
| 결과 | 그럴듯하지만 숫자가 틀림 | DB에서 실제 데이터를 가져와서 작성 | Tool Calling |
| 검증 | 사람이 일일이 확인 | 자동으로 숫자 교차검증 후 제출 | Guardrails |
| 반복 | 매번 처음부터 | 지난 보고서 양식과 피드백 기억 | Memory |
| 실패 시 | 환각을 자신있게 말함 | "확인 불가" 경고 + 재시도 | Agent Loop |
| 복잡한 일 | 한 번에 다 하려다 엉킴 | 단계별로 쪼개서 순차 처리 | Planning |
AI를 어떻게 활용할 것인가
AI와 인터랙션하는 방식이 세 가지로 나뉩니다
| 채팅 | IDE (코드 에디터) | 터미널 (CLI) | |
|---|---|---|---|
| 대표 서비스 | ChatGPT, Claude.ai, Gemini | Cursor, Windsurf, Copilot | Claude Code, Codex CLI |
| 비유 | 전화 상담 | 옆에 앉은 동료 | 위임받은 직원 |
| 작업 방식 | 복사-붙여넣기 | 내 파일 안에서 직접 수정 | 파일시스템 전체 접근, 자율 실행 |
| 장점 | 누구나 바로 쓸 수 있음 | 업무 맥락 안에서 협업 | 복잡한 작업 자동화 |
| 한계 | 맥락 단절, 수작업 반복 | 코드 에디터에 한정 | 학습 곡선 높음 |
| 적합 대상 | 모든 직원 | 개발자, 분석가 | 파워유저, 엔지니어 |
AI를 어떻게 활용할 것인가
세 가지 방식은 조직 내에서 단계적으로 도입합니다
모든 직원이 CLI를 사용할 필요는 없고, 모든 업무를 채팅으로 해결할 수도 없습니다.
1단계
채팅 (전사)
모든 직원에게 ChatGPT/Claude 접근권을 부여합니다. 진입장벽 제로. 일단 쓰게 합니다.
대상: 전 직원
2단계
IDE (전문직)
개발자, 데이터 분석가에게 Cursor/Copilot을 제공합니다. 업무 안에서 AI와 협업합니다.
대상: 개발자, 분석가
3단계
CLI / 에이전트 (자동화)
반복 업무를 AI에게 위임합니다. 24시간 가동. 사람은 결과를 검토합니다.
대상: 파워유저, 자동화 팀
AI를 어떻게 활용할 것인가
AI가 목표만 받으면 계획, 실행, 검증, 수정까지 스스로 합니다
OpenClaw, Devin, Codex 같은 서비스가 보여준 것: "인턴에게 일 시키기"에서 "팀장에게 프로젝트 맡기기"로의 전환.
자율 에이전트가 하는 일
- 사람이 목표만 줍니다
- AI가 계획을 세우고, 코드를 작성합니다
- 테스트를 돌리고, 실패하면 스스로 수정합니다
- 완료되면 결과를 보고합니다
실제 사례 (본인 경험)
- 밤새 자율 실행: 40개 커밋
- 아침에 출근해서 결과 리뷰
- 코딩만의 이야기가 아닙니다
- 보고서 작성, 데이터 분석, 고객 응대에도 같은 패턴이 오고 있습니다
AI를 어떻게 활용할 것인가
에이전트 루프는 파트 2의 하네스 5요소가 하나로 맞물리는 구조입니다
목표 설정
Goal
▶
계획 수립
Planning
▶
실행
Tool Calling
▶
결과 검증
Guardrails
▶
부족하면 반복
Loop + Memory
AI를 어떻게 활용할 것인가
CEO가 모든 일을 직접 하지 않듯, AI도 전문 에이전트에게 위임합니다
하나의 지휘자 에이전트가 여러 전문 에이전트를 병렬로 부리는 구조입니다.
Orchestrator
지휘자
전체 계획, 작업 분배, 결과 통합
Sub-Agent A
조사
웹 검색, 자료 수집, 데이터 확보
Sub-Agent B
분석
데이터 정리, 비교, 인사이트 도출
Sub-Agent C
검증
팩트체크, 품질 확인, 오류 수정
AI를 어떻게 활용할 것인가
사건 1: 14일간 잘못된 정보가 투자 분석에 전파되었습니다
상황
AI에게 한국 상장기업 분석을 시켰습니다. AI가 특정 기업의 시장 분류를 패턴 매칭으로 추론했고, 그것이 틀렸습니다. 14일간 5개 분석 노트에 잘못된 정보가 전파됐고, 아무도 원본을 확인하지 않았습니다.
교훈
AI는 "모른다"고 말하지 않습니다. 자신있게 틀립니다. 첫 번째 출력에서 팩트를 검증하지 않으면 이후 모든 산출물이 오염됩니다.
AI를 어떻게 활용할 것인가
사건 2: AI가 채점 기준에 없는 항목을 만들어서 점수를 부여했습니다
상황
AI에게 학생 과제 채점을 시켰습니다. 평가 기준표(Rubric)에 없는 항목을 AI가 스스로 만들어서 점수를 부여했습니다. 학생이 항의했고, 확인해보니 해당 항목 자체가 존재하지 않았습니다.
교훈
AI는 빈칸을 채우는 것이 본능입니다. 데이터가 없으면 만들어냅니다. "없다"고 보고하지 않습니다.
AI를 어떻게 활용할 것인가
사건 3: AI가 AI를 무한 호출해서 이메일 9통이 폭발했습니다
상황
자동화 시스템에서 AI 에이전트 A가 AI 에이전트 B를 호출했습니다. B가 다시 A를 호출했습니다. 루프. 5분 만에 동일 이메일 9통이 발송됐습니다. 새벽 3시에 알림 폭탄.
교훈
자율성에는 반드시 제동장치가 필요합니다. 사람 없이 돌아가는 시스템일수록 더 그렇습니다.
AI를 어떻게 활용할 것인가
AI에게 빵 한 덩이 흥정을 시켰더니 $400에 사겠다고 합의했습니다
ChatGPT 음성 모드에게 $5 예산으로 빵을 사오라고 시켰습니다. 판매자가 $10,000을 불렀고, AI는 $400까지 "협상"한 뒤 성과라고 보고했습니다.
01
상식의 부재
빵 한 덩이가 $400이라는 것이 말이 안 된다는 판단을 하지 못했습니다. 벤치마크에서 측정하지 않는 능력입니다.
02
앵커링에 취약
$10,000에서 $400으로 96% 할인받았다고 인식했습니다. $5 목표 대비 80배 초과라는 사실은 무시했습니다.
03
목표 이탈
$5 예산이라는 제약 조건을 완전히 무시했습니다. "합의에 도달하는 것" 자체를 목표로 삼은 것입니다.
AI를 어떻게 활용할 것인가
아무리 좋은 모델과 하네스를 도입해도, 데이터가 준비되지 않으면 소용없습니다
01
현실
조직의 지식은 HWP, PDF, 회의록, 이메일, 카카오톡에 흩어져 있습니다.
02
문제
이 중 AI가 바로 읽고 처리할 수 있는 것은 거의 없습니다.
03
출발점
AI 전환의 첫 단추는 모델 도입이 아니라 문서를 AI가 소화할 수 있는 형태로 바꾸는 것입니다.
AI를 어떻게 활용할 것인가
웹은 30년에 걸쳐 "내용과 형식을 분리하라"는 교훈을 터득했습니다
HWP에 표와 글과 서식이 뒤엉킨 문서는 1990년대 HTML과 같습니다.
1990년대
혼합
초기 HTML: 내용과 디자인이 한 파일에 뒤섞여 있었습니다
2000년대
분리
CSS 등장: 내용은 HTML, 디자인은 CSS. 같은 내용을 다르게 보여줄 수 있게 됐습니다
2010년대
API
내용은 JSON/데이터, 표현은 앱이 담당. 웹, 앱, AI 어디서든 소비 가능
2026
AI
내용이 순수 데이터로 존재하면 AI가 요약, 번역, 분석, 재구성을 자유롭게 합니다
AI를 어떻게 활용할 것인가
끔찍한 입력 UI의 시대가 끝나고 있습니다: Form-first에서 Free-text-first로
지금까지 (Form-first)
- 구조화된 데이터를 모으려고 수십 개 필드, 드롭다운, 필수 입력을 만들었습니다
- 사용자는 싫어하고, 대충 입력하고, 빈칸 투성이입니다
- 형식은 맞지만 내용이 쓰레기인 데이터가 쌓입니다
- ERP, 병원 접수 양식, 관공서 서식이 대표적입니다
▶
LLM 시대 (Free-text-first)
- 자유 텍스트로 입력받고, AI가 구조화합니다
- "어제 김 대리랑 A사 미팅, 단가 10% 할인 요청, 수요일까지 회신"
- AI가 자동으로: 거래처 A사, 요청 10% 할인, 마감 5/28, 담당 김OO
- 사람은 자연어로 말하고, AI가 구조를 만듭니다
AI를 어떻게 활용할 것인가
기존 논의가 모델 소버린티에 치우쳐 있었지만, 데이터 소버린티가 더 근본적입니다
| 모델 소버린티 | 데이터 소버린티 | |
|---|---|---|
| 질문 | 자체 AI 모델을 보유해야 하는가? | 우리 데이터가 어디서 처리되고 누가 접근하는가? |
| 대상 | 국가, 대기업 | 모든 조직 |
| 비용 | 수천억 원 (GPU, 인재, 데이터) | 정책 + 계약 + 인프라 설계 |
| 시급성 | 장기 과제 | 지금 당장 |
| 예시 | 국가 AI 모델, 온디바이스 AI | 클라우드 리전, 데이터 처리 계약, 사내 AI 정책 |
출처: 박현우, "한국 제조업의 AI 전환과 데이터 소버린티", 서울대학교 국가미래전략원 이슈브리프 Vol. 47 (2026.01.30) · ifs.snu.ac.kr
28 / 31
AI를 어떻게 활용할 것인가
조별 토론: 정답을 찾는 시간이 아니라, 각자 조직에 대입해보는 시간입니다
30분
조별 토론
4-5명씩. 아래 질문 중 자유롭게 선택하거나 전부 다뤄주세요.
15분
조별 발표
조별 3-5분. 가장 뜨겁게 논의된 질문, 잠정 결론, 풀리지 않은 질문 순서로.
5분
마무리
"풀리지 않은 질문"이 오히려 더 가치 있습니다.
AI를 어떻게 활용할 것인가
토론 질문
Q1. 우리 조직에서 AI를 가장 먼저 적용할 업무는 무엇입니까?
그 업무를 고른 기준은? 반복성? 비용? 인력 부족? 오류율?
Q2. AI가 읽기 쉽게 데이터를 바꾸고 준비하고 싶은 분야는 무엇입니까?
우리 조직의 문서, 양식, 데이터 중 AI에게 먹이고 싶은 것은?
Q3. 직원들의 AI 사용, 어디까지 허용할 것입니까?
고객 데이터를 ChatGPT에 넣어도 되는가? 사내 문서는? 경계선은 누가 긋는가?
Q4. AI 벤더 하나에 올인할 것입니까, 멀티모델로 갈 것입니까?
우리 조직의 규모와 역량에서 현실적인 선택은? 전환 비용은 감당 가능한가?
Q5. 3년 후, 우리 조직에서 AI가 어떤 모습이면 성공입니까?
측정 가능한 지표로 말할 수 있는가? 비용 절감? 매출? 인원? 속도?