📋 주요 내용 및 결정 사항
- 정량적/정성적 리스크 분석 논의
- 정량적 리스크 분석의 객관성과 한계점 검토
- 리스크 확률 표현 방식(단어 vs 수치)의 문제점 분석
- Fermi 스타일 확률 추정 방식 소개
- 리스크 평가 도구 공유
- CalTrans의 Excel 기반 리스크 평가 도구 소개
- WSDOT의 프로젝트 리스크 관리 가이드 및 도구 공유
📌 액션 아이템(실행 계획)
- 확률 용어 관련 설문조사 진행
- 담당: Mark
- 기한: 여름 중
- 내용: Survey Monkey를 통한 확률 용어 인식 조사
- 프로젝트 리스크 관리 가이드 업데이트
- 담당: WSDOT 팀
- 기한: (미정)
- 내용: 현행 가이드라인 개선
🕒 향후 일정
- 6-8월: 여름 휴회
- 9월, 10월, 12월: 정기 미팅 예정
- 2026년 발표자 모집 중
📢 기타 전달 사항
- 임박한 컨퍼런스 안내
- SAVE International USAV Symposium (하이브리드)
- Value Analysis Canada 세미나
🤖 AI 제안
- 리스크 커뮤니케이션 개선 제안
- [01:44:17] 시점에서 언급된 "casual reader" 이슈를 고려하여, 리스크 보고서에 executive summary 섹션 추가 필요
- 전문용어와 수치 데이터를 일반인도 이해하기 쉽게 시각화하여 제시
- 회의 진행 개선점
- 참석자들의 적극적인 참여가 돋보였으나, 시간 관리가 다소 미흡
- 다음 회의에서는 각 주제별 논의 시간을 미리 배정하고, 타임키퍼 지정 권장
- 회의 자료의 사전 공유로 더 깊이 있는 논의 가능할 것으로 예상
연사 1 00:04
7월과 8월부터는 전년 대비 상황을 고려해 보세요. 발표를 준비 중이거나, 다른 분들 중 알려주실 분이 있다면 알려주시거나, 주제 아이디어가 있다면 오늘 주제는 많은 일이 진행 중이라서 여름 동안 잠시 휴식을 취하는 것도 좋을 것 같아요. 이 기간에 열리는 다른 행사에 참석하는 것이 도움이 될 수도 있죠. 이 행사는 실제로 내일 시작되지만, 기술적으로는 오늘부터 시작됩니다. 입법 관련 행사입니다.
연사 2 00:45
내일 컨퍼런스가 시작됩니다.
연사 1 00:47
하이브리드 컨퍼런스입니다.
연사 2 00:50
내일과 목요일 모두입니다.
연사 1 00:53
목요일입니다. 하이브리드 형식입니다. 그래서, 버지니아 주 아링턴 지역에 거주하신다면 현장에 직접 방문하실 수 있습니다. 하지만 모든 세부 정보는 온라인에 게시되어 있으며, 가치 공학 관련 정보는 SAVE International 웹사이트를 방문하시면 됩니다. 이 행사는 USAV 심포지엄으로, 공공 직원들을 위한 다양한 프로그램이 준비되어 있으며, 컨설턴트에게는 수수료가 있지만 합리적인 수준입니다.
연사 2 01:25
그래서.
연사 1 01:27
오른쪽 상단에 비용 정보가 있거나 자세한 내용을 원하시면 웹사이트를 방문하시면 됩니다. 내일부터 시작되는데, 8월에 열리는 차 컨퍼런스도 있습니다. 그 행사도 하이브리드 형식으로 진행되며, 현장 참석 부분은 워싱턴 주 올림피아에 위치한 워시 도트 본사에서 열릴 예정입니다. 또한 매우 흥미로운 연사들이 초청되어 있습니다.
연사 3 02:04
네, 이번 컨퍼런스가 정말 좋은 행사로 준비되고 있습니다. 지난해 컨퍼런스에 참석하셨다면 2024년보다 더 좋은 행사일 것입니다. 많은 참석자가 예상되며, 전국의 DOT 추정 전문가들이 모이는 '컨클라베'와 같은 행사로 기대됩니다.
연사 1 02:39
Value Analysis Canada에서 이번 달 후반에 세미나가 예정되어 있습니다. 웹사이트를 방문하시면 자세한 정보를 확인하실 수 있습니다.
연사 2 02:49
그래서.
연사 1 02:50
오늘의 대체 발표는 여러분입니다. 즉, 오늘 참석하신 모든 분이 참여해 주시길 바랍니다. 제가 테이블을 준비하고, 참여 토론을 유도하기 위해 몇 가지 도발적인 의견을 제시할 것입니다. 하지만 여러분도 모두 그렇게 해 주시기 바랍니다. 저는 정성적 및 정량적 조정(alignment)에 대해 이야기하고 싶습니다. 첫 번째 질문은, 이건 수사적인 질문은 아니지만, 그럴 수도 있겠지만, 그렇지 않기를 바랍니다. 불확실성을 측정할 수 있습니까? 제 손이 올라갔다가 내려가는 것을 보았습니다. 부끄러워하지 마세요. 어서, 대런. 어서요.
연사 4 03:50
네, 마크, 감사합니다. 네, 불확실성은 정성적으로 측정할 수 있다고 생각합니다. 1부터 5까지, 또는 100까지로 그 확률을 평가한다면, 전문가로서 어떻게 생각하시나요? 직감으로는 어떠신가요? 정성적으로는 측정할 수 있다고 생각합니다. 정량적으로는 과거의 데이터나 과거에 일어난 일과 같은 것을 사용하지 않는 한 좀 더 어렵습니다. 하지만 정말 좋은 질문입니다.
연사 1 04:24
먼저 시작해 보겠습니다. - 좋아요, 아론. 채팅 창에도 몇 가지 댓글이 있네요. 불확실성, 네. 에드먼드는 가능하다고 생각합니다. 좋아요, 에드먼드. 네, 아마도. 확인해 보죠. 좋은 내용이에요. 그럼, 제가 공유하는 내용 중 일부는 논문에서 얻은 것이고 일부는 AI에서 얻은 것입니다. 그래서 아마...
연사 1 05:11
우리가 리스크 기반의 추정을 통해 제공하려고 하는 수치 표현이 있더라도, 그 수치는 합계에 영향을 받기 때문에, 불확실성을 불확실성으로 측정할 수 있다는 말과 일치할 수도 있습니다. 하지만, 그건 제가 '모르겠어요'라고 말하는 것과 마찬가지입니다.정답이 없다고 말할 수 있는 것 같습니다. 하지만 더 읽어보면 정량적 리스크 분석은 우리가 생각하는 주요한 의미에서 측정 가능한 것입니다. 예를 들어, 요리법을 만들거나 콘크리트를 혼합할 때 특정 비율이 있습니다. 하지만 정성적 리스크 분석은 인간의 판단과 약점도 반영합니다.
연사 2 06:20
그렇군요.
연사 1 06:21
주관성을 피할 수 없다는 것을 알면서도 정량적 리스크 평가로 객관성을 가장하는 경우가 있다는 것을 경고하는 이야기라고 생각됩니다. 좋은 지적입니다, 대런. 네, 0%나 100%라면 그렇겠지요. 100%라면 기본 추정치에 포함될 것 같습니다. 그럼 좀 더 자세히 살펴보겠습니다. 아래에 토론을 위한 몇 가지 참여 질문이 있습니다. 위 표를 준비해 보겠습니다. 다음에 대해 생각해보세요. 정량적 리스크 분석은 얼마나 객관적일까요? 대부분은 객관적이라고 생각하지 않나요? 우리는 정량적 리스크 분석이 데이터 기반이라고 말하곤 합니다.
연사 1 07:11
우리가 가지고 있는 데이터는 완벽하지 않고, 데이터에 대한 우리의 판단과 해석도 완벽하지 않으므로, 그 모든 것이 본질적으로 인간의 판단과 편견을 생성하거나 반영합니다. 따라서 문제는 정량적 리스크 분석이 기본적으로 인간의 리스크 도출과 변화하는 상황에 따른 편견에 의존하고 있다는 점입니다. 첫 번째 질문은, 정량적 리스크 분석이 진정으로 객관적일 수 있는지 여부입니다.
연사 1 07:43
정량적 리스크 분석이 가능할까요? 좋아요, 이 분이 시작하셨네요. 사실은 아니지만, 노력할 수는 있겠죠. 네, 우리 모두는 객관적이려고 노력하고 있죠? 우리는 그렇게 생각하고 싶어합니다. 우리는 자신을 칭찬하고, “나는 객관적입니다”라고 말하고 싶어합니다.
연사 1 08:40
저는 제가 동의하는 모든 사람이 옳다고 생각할 정도로 객관적이에요, 맞죠? 그게 도전의 일부인 것 같아요. 다른 의견은 없나요? 양적 분석은 범위를 제공한다고 하죠. 그래서 객관성의 범위도 있을 수 있겠죠. 알겠습니다. 계속 진행해 보죠. 두 질문은 관련이 있다고 생각하니 자유롭게 댓글을 남겨주세요.
연사 1 09:19
마이크를 사용해서 댓글을 달거나 상자에 글을 쓰셔도 좋습니다. 하지만 관련 질문, 즉 두 번째 질문은, 여러분이 여기에서 따르고 있거나 조직에서 사용하고 있는 정량적 리스크 분석에는 정해진 절차가 있고, 1단계, 2단계 등 순서가 정해져 있습니다. 하지만 그 정해진 절차는 그 특성상 결론에 주관성이 개입될 수 있지 않을까요? 이에 대한 의견은 어떻게 되나요?
연사 1 10:27
계속 말씀해 주세요, Kyle. 네, 계속하세요.
연사 5 10:31
보고서를 작성하면 보기 좋고 구조화되어 있으며 계산이 되어 있고, 결국 몇 가지 값을 얻게 되는데, 이 값들이 사용하기에 적절한 값이라고 느끼게 됩니다. 그래서 누군가는 이 보고서를 보고 '이건 제대로 된 결과다. 불확실성이 없고, 이게 우리의 답변이다'라고 생각할 수 있겠죠.
연사 1 11:00
다른 의견이나 Kyle의 생각에 대해 댓글을 달고 싶은 분 계신가요? Edmond, 감사합니다. 아, 'shield'나 'hide'를 말하는 건가요? 잘 모르겠네요. 모호하게 만드는 걸까요?
연사 6 11:23
우리는 종종 모델 결과는 의사결정 지원 도구이지, 의사결정 도구 자체가 아니라고 말합니다.
연사 1 11:41
이 보고서는 가치 있습니다. 오해하지 마세요. 매우 가치 있죠? 왜냐하면 많은 사람들이 이 보고서를 작성하기 위해 많은 노력을 기울이기 때문입니다. 하지만 결국 이 보고서는 정보 문서일 뿐입니다. 의사결정 문서가 아닙니다. 그들이 제공하는 숫자는 본질적으로 시작점일 뿐이에요. 누군가가 결정을 내려야 해요, 사람 말이죠? 결정권자가 해야죠. 맞아요. 나중에 생각난 게 있다면 다시 확인하는 것도 괜찮아요. 니콜, 계속해. 네.
연사 7 12:26
네, 동의해요. 그리고 이건 정말 공유할 만한 점이에요. 일부 기관에서는 리스크를 그룹으로 평가하지만, 프로젝트를 관리하는 프로젝트 관리자에게 그 리스크가 얼마나 중요한지도 평가합니다. 그것도 정말 좋은 방법이라고 생각합니다. 이는 결정을 내리는 것이 아니라 평가를 돕는 방법입니다. 물론 결정을 내리는 데 도움이 되지만, 이것이 최종 결정이 되는 것은 아닙니다. 그리고 리스크 분석의 전체 과정에서 그 부분이 정말로 모호해질 수 있다고 생각합니다. 리스크가 있다는 것을 이미 알고 있는데 왜 이 리스크를 살펴보고 있는 것일까요? 왜 그에 대한 보고서를 작성하고 있는 것일까요? 물론, 하지만 우리는 이 리스크를 평가한 후 좀 더 합리적인 의사 결정을 내려야 합니다. 그리고 그 가치는 인식하는 과정 전반에 걸쳐 일종의 도전 과제입니다.
연사 1 13:25
그냥 그런 거죠.
연사 7 13:25
그 부분에 대한 논의가죠. 왜 우리가 이 일을 하는지에 대한 불확실성이 흐려지거나 명확하지 않은 점이요. 하지만 그게 최종 답변은 아니라는 점이 좋아요. 대신 나중에 결정을 평가하는 데 도움을 주는 거죠. CSRA 프로젝트와 연결지을 수 있을 것 같아요.
연사 1 13:50
훌륭합니다. 네, 그 관찰이 정말 좋습니다. Kyle이 말한 것과도 잘 연결되는 것 같아요. 우리는 이런 멋진 그림을 보고, '와, 이 히스토그램이 정말 좋고, S-커브와 차트가 멋지네. 이 프로젝트는 $243.7백만 달러에 완료될 거야'라고 생각합니다. Edmund가 어떤 작업을 진행 중인지 확인해 보죠. 우리는 도박처럼 통계를 사용해 집이 잃지 않도록 합니다. 모두가 그게 통계라는 데 동의합니다. 네, 동의합니다. 안타깝게도 우리가 생산하는 것을 소비하는 일부 사람들은 Edmund가 작성한 내용을 모두 이해하지 못할 수도 있습니다. 일부 소비자들은, 특히 일반 독자들은 '아, 이게 답이구나'라고 생각할 수 있습니다. 그래서 이 부분을 좀 더 자세히 살펴보겠습니다.
연사 1 14:49
그래서 그런 자극이나 대화를 통해 생각하게 만들고, 여러분도 다음 내용에 대해 댓글을 남겨주시길 초대하고 싶었습니다. 더 이야기할 내용이 있습니다. 몇 가지 기사를 보냈습니다. 어제 오후에 보냈던 것 같아요. 확인해 보시길 권장합니다. 흥미로운 내용이에요. 길지 않은 논문이에요. 하나는 '확률에 대해 말할 때는 페르미 수를 사용하라, 단어를 사용하지 마라'라는 제목이고, 다른 하나는 데이터 사이언스 관련 기사예요. 어쨌든 이걸 살펴보죠. 이걸 함께 살펴보고 싶어요. 이건 단어들이에요, 맞죠?
연사 1 15:32
그리고 여러분 중 많은 분들이, 음, 가능성과 임팩트에 대한 정성적 용어를 표시한 표와 관련 수치 또는 등급을 표시한 표를 가지고 계실 겁니다. 하지만 지금 이 모든 것을 다 살펴볼 시간이 없기 때문에, 제가 계획했던 것을 여러분과 공유할게요. 멘티미터를 설정하여 이 주제에 대한 설문조사를 진행하려고 했는데요,구조를 제대로 만들지 못했어요. 그래서 여기 있어요, 감사합니다. 이걸 참고로 조금 더 설명할게요. 또한 누군가가 설문지 몬키를 준비 중인데, 올여름에 배포하려고 합니다. 네, 맞아요.
연사 1 16:22
지금은 재미로 해볼게요. 채팅 창에 'rare'라는 단어를 입력하고, 그 단어를 들었을 때 생각나는 숫자나 확률, 가능성을 입력해 주세요. 예를 들어 2%는 23을 의미하나요? 'rare'라는 단어가 여러분에게 어떤 의미인지 알려주세요. 좋아요, 저는 10, 5, 3이 많이 나왔어요. 제가 본 가장 낮은 수는 3이었고, 가장 높은 수는 10이었어요. 제가 본 가장 낮은 숫자는 3이고 가장 높은 숫자는 10이었어요.
연사 1 17:26
네, 5보다 적은 숫자를 봤으니까 기술적으로는 3보다 적은 것이 가장 낮은 숫자겠죠? 그래서 제가 시도해 보는 거예요. 네, 5가 가장 가능성이 높은 숫자였으니까, 그걸 어떻게 활용할지 봐야겠어요. 이 아이디어는 정말 좋아요. 네, 이건 그냥 재미로 하는 거예요. 고마워요, Garrett. 여름에 모두에게 더 자세한 내용을 제공하기 위해 조금 더 노력해 볼게요. 그래서 이렇게 할게요. 3보다 적은 수, 아마 10이 최고였을 거예요. 좋아요, 이제 같은 질문이에요.
Speaker 1 18:25
모두 다 할 건 아니지만, 하나나 두 개 더 골라볼게요. '가능성'이라는 용어가 퍼센트로 표현될 때 어떤 의미인가요? '가능성'이라는 용어예요. 알겠어요, 65, 75, 45, 다른 건 어떻게 될까요?
연사 1 19:25
이 부분은 흥미롭네요. 제가 정확히 알기 어렵지만, 누군가는 80까지 언급했기 때문에 80을 넣어보겠습니다. 확실히 모르지만, 60 정도가 예상 범위 내에 들어갈 수 있다고 생각했습니다. 그래서, 여기에서 무슨 일이 일어나고 있는지 볼 수 있습니다. 그리고 제가 생각하기에 중복 부분이 있을 것입니다. 단어와 숫자를 일치시키는 데 어려움이 있습니다. 하지만 계속 진행하겠습니다. 다음으로 넘어가겠습니다. 이제, 이 문제는 해결해야 할 부분입니다. 나머지는 상상력을 발휘해야 할 부분입니다. 잠시 후에 몇 가지 예를 보여드리겠습니다. 이제, $100만 달러 규모의 프로젝트를 가정해 보겠습니다.
연사 1 20:22
1억 달러 규모의 프로젝트이고, 리스크의 임팩트에 대해 이야기하고 싶습니다. 여기에는 여러 가지 용어가 있습니다. 무시할 수 있는, 경미한, 중간, 그리고 재앙적인 수준까지 있습니다. 그렇다면 1억 달러 규모의 프로젝트에서 '경미한 리스크'는 무엇을 의미할까요? 괜찮으시면 달러로 답해 주세요. 1달러가 경미한 리스크인가요, 아니면 100만 달러인가요? 1억 달러 규모의 프로젝트에서 '경미한 임팩트'는 무엇일까요? 지금부터 큰 범위의 답변이 나올 것 같습니다.
연사 1 21:22
최저로는 1000만 달러 정도입니다. 상당한 범위네요, 흥미롭네요. 중간 값을 입력하는 건 싫네요. 확실히 모르니까 그대로 두겠습니다. $10,000부터 $10,000,000까지 본 적이 있습니다. 이제 다음 단계로 넘어가서 '파괴적'으로 가보겠습니다.
연사 1 22:03
리스크가 언제 흥미로워지는지. 정말 훌륭합니다. 그럼 제가 해보겠습니다. 이메일을 보내보겠습니다.
연사 1 22:59
이 주제를 탐구하기 위해 다른 사람들이 스스로 노력한 결과를 여러분과 공유할 것입니다. 잠시만 기다리세요. 하지만 그렇게 해 주셔서 감사합니다. 다소 흥미롭고, 다소 눈이 뜨이는 내용이 되었기를 바랍니다. 이것을 보고 나서, 저는 깨달았어요. 한쪽에서는 우리 용어를 설명하는 가이드 투어를 제공하는 것만으로도 충분할 거라고 생각했지만, 실제로는 훨씬 더 어렵다는 걸요. 하지만 계속 진행해 보죠. 이제 제가 공유하고 싶은 것은 '페르미 추정'이라는 개념이에요. 아마 이 표현을 들어보셨을 수도 있어요. 일부 논문에서 소개된 방법이에요. 그리고 이 클래식한... ‘공정한 고기 추정’ 예시가 있어요. 예를 들어, 이 주제에 대해 아무것도 모른다고 가정해 보세요. 이 경우 주제는 '시카고에 피아노 조율사가 몇 명 있을까요?'였어요.
연사 1 24:02
흥미로운데요, 제 동료 마크가 오늘 아침에 지적했듯이, 이건 우리 프로젝트 중 하나에서 사용한 '일괄 접근 방식'과 유사하다고 볼 수 있죠. 하지만 그들이 제공한 예를 따라가 보죠. 그리고 이 부분의 대부분은 처음부터 합리적인 가정부터 시작해요. 주관적인 용어부터 시작하는 거죠. '합리적'이란 무엇인가요? 누가... 아, 리, 계속하세요. 미안해요. 안 봤네요.
연사 8 24:38
마크, 걱정 마세요. 방해한 건 아니에요. 임팩트의 규모가 얼마나 되는지 말한 부분에서, 그 프로그램이 얼마나 큰 규모인지 생각한 것뿐입니다. 프로젝트의 규모가 크다고 해서 반드시 프로그램의 규모도 큰 것은 아니기 때문입니다. 예를 들어, 1조 달러 규모의 프로그램이 있고, 그 프로그램의 실현에 리스크가 있다고 가정해 보겠습니다. 그러면 그 리스크를 커버하기 위해 자금을 이동할 수 있습니다. 하지만 프로젝트의 규모가 1억 달러이고, 프로그램의 규모가 2억 달러라고 가정해 보겠습니다.2억 달러라면 프로그램 관리자 입장에서는 처리해야 할 일이 많지 않죠. 그래서 저만 보고 판단할 수 없어요.
연사 8 25:50
저만 보고 판단할 수 없어요.
연사 1 25:54
그건 정말 좋은 지적이에요. 맞아요. 대부분의 우리 조직은 규모가 크고 대규모 프로그램을 운영해요. 그래서 한 프로젝트가 문제가 생기면 실패로 이어질까요? 아마도, 아마도 아닐 수도 있겠죠. 프로젝트 규모에 따라 다르겠죠. 맞아요. 하지만 그건 정말 좋은 지적이에요. 다른 분들은 어떻게 생각하세요? 하지만 그건 제공되지 않은 맥락이에요, 예를 들어요. 단순히 $100만 달러 프로젝트를 받았다고만 했죠. 하지만 당신이 말한 것처럼, 만약 $1조 달러 규모의 프로그램이라면 그 규모가 얼마나 중요할까요? 모르겠습니다. 이 점이 생각에 어떤 영향을 미칠지 의견을 주시겠어요?
연사 1 26:58
네, 괜찮아요. 정말 생각하게 만들었어요. 감사합니다, 리. 고맙습니다. 알겠습니다. 이게 페르미 예시예요. 그가 말했듯이, 구글에서 찾아볼 수 있죠? 시카고 인구가 몇 명인지 찾아보세요. 270만 명이에요. 가정부터 시작해야 해요. 이게 바로 가정하는 부분이에요. 감사합니다, 무스타파. 그래서 당신과 동의하는 사람이 한 명 있네요. 실제로는 두 명이에요. 제가 말씀하신 내용에 동의해요. 그럼 가족이 있는 가구는 몇 개일까요? 100가구당 1가구라고 가정해요. 그럼 가구당 몇 명일까요? 다시 한 번 가정인데, 가구당 2.5명이라고 가정해요. 그래서 시카고에는 약 100만 가구가 있다고 볼 수 있죠, 당연히 반올림한 수치예요. 그럼 그 중 몇 가구가 조정이 필요할까요?
연사 1 27:56
각 피아노는 연간 한 번 조율이 필요하니까, 월평균 1만 가구가 조율이 필요하죠. 그래서 연간 12만 건이라고 가정하겠습니다. 한 조율사가 하루에 몇 대를 조율할 수 있을까요? 하루에 3대, 연간 250일 근무로 계산하면 연간 750대입니다. 그러면 총 조율사 수는 750으로 나누면 약 160명입니다. 그래서 저는 시카고에 피아노 조율사가 몇 명 있는지 구글로 검색해봤습니다. 150~160명이라는 결과가 나왔습니다. 이 예시는 그렇게 복잡하지 않았지만, 일부 프로젝트는 더 복잡하고 가정 조건이 쉽지 않을 수도 있습니다.
연사 1 28:42
특히 지질공학이나 다른 분야를 논의할 때 그렇죠. 하지만 흥미로운 점은...왜 그 과정을 거쳤는지 보여드릴게요. 그리고 그 전에 1월 주제에서 확률은 존재하지 않는다는 이야기를 했으니, 그 부분을 참고하시면 좋을 것 같아요. 제가 지금 공유하는 이 표는 AI에서 얻은 것으로, 이 용어들에 연결된 확률 범위를 표시한 거예요. 참고로, 이런 것에는 옳고 그른 답이 없다고 생각해요. 하지만 각자 자신의 방식으로 구조화할 수 있죠. 그래서 여러분이 이걸 보고 싶을 것 같아서요. 마찬가지로 $100만 달러 프로젝트에 대해 AI가 생성한 결과예요.
연사 1 29:44
알다시피, 재미로 이 부분으로 돌아가서, 제가 말한 '희귀'는 1~5%를 의미하고, '가능성 있는'은 65~80%를 의미합니다. 그리고 이 부분은요. 알겠습니다. 이 논문은 페르미에 관한 것이었고, 링크를 보내드렸으니 확인해 보세요. 다음 몇 개의 슬라이드는 Data Science Central에서 처음 작성된 내용이며, 그들은 이 책도 인용했습니다. 이 책은 읽어보지 않았지만 흥미로워 보입니다. 모든 내용을 설명하지는 않겠지만, 제가 흥미롭게 생각한 부분을 강조하고 싶습니다. 바로 이 하단 문장입니다.
연사 1 30:49
이 부분을 생각해보세요. 데이비드 힐슨은 여러 권의 책을 출간한 리스크 전문가입니다. 구글에서 검색하면 데이비드 넬슨에 대한 많은 정보를 찾을 수 있습니다. 하지만 그는 자신의 조사를 진행했고, 그 안에 'better than even'이라는 표현을 사용했습니다. 그가 도출한 범위는 47.1%에서 65.6%였습니다. 'better than even'에서 47%로 어떻게 도출했는지 모르겠지만, 이는 우리의 판단 심리학을 잘 반영한다고 생각합니다. 모르겠습니다.
연사 1 31:34
방금 언급한 기사로 돌아가서, 참고로 공유하고 싶습니다. 베어 미(Bear Me) 숫자에 대한 기사에서, 하버드 비즈니스 리뷰(Harvard Business Review)에서 이 분포를 제시했습니다. 이 분포는 그들의 연구에서 모든 표현과 연관된 것입니다. 하지만 내용이 많기 때문에, 일부를 더 자세히 살펴보겠습니다. 일부 사람들이 제안한 대로 조금 더 나아가서, 단어에 공식적인 수치 확률을 할당해 보는 것도 가능할 수 있습니다. 그렇게 하면 용어 사용의 일관성을 높일 수 있을 것입니다.일부 사람들이 제안했고 우리가 시도해본 것처럼, 단어에 공식적인 수치 확률을 할당하면 용어 사용에 일관성을 갖출 수 있을 거라고 생각했어요. 하지만 이 기사 따르면 여전히 작동하지 않았어요. 그들은 실제로 '셔먼-켄트 척도'라는 것을 만들었어요. 이건 CIA가 군사 분야 등에서 사용한 거예요.
연사 1 32:34
그들은 항상 신뢰도와 성공 확률 같은 것을 이야기합니다. 흥미로운 관찰이네요. 좋은 관찰이에요, Dan. 감사합니다. 마음에 들어요. 어쨌든, 그들은 그렇게 했습니다. 그들은 NATO 장교들을 훈련시키려고 시도한 것 같아요. 이것이 장교들이 응답한 내용이에요. 그들은 할당된 값을 엄격히 따르지 않았어요. 마지막 문장에서 '확률을 설명하기 위해 단어를 사용하는 것을 포기해야 한다'고 말하고 있어요.
연사 1 33:26
그가 그렇게 말하는 것은 도발적 의도인 것 같아요. 왜냐하면 바로 그 다음에 그가 '요정 스타일 확률'이라고 부르는 해결책을 제시하기 때문이에요. 이 방법도 자체적인 도전 과제를 안고 있습니다. 하지만 살펴보면, 먼저 0과 100%에 대해 논의했죠. Darren이 훌륭한 관찰을 했죠, Darren. 확실한 경우, 우리가 하는 방식은 '기본에 넣자'고 말합니다. 그리고 불가능하다면, 리스크 등록부에 포함되지 않아야 하고, 감시 목록에도 포함되지 않아야 합니다. 그러면 확실한 것과 불가능한 것을 제쳐두고, 그 중간에 있는 것을 살펴보겠습니다. 그들이 논의한 것 중 하나는, 서로 반대되는 두 단어가 있다면, 그 반대를 반영해야 한다는 것이었습니다. 맞죠?
연사 1 34:24
예를 들어 '거의 확실'과 '거의 확실하지 않음'이 93과 7이라면, 이는 합리적입니다. '가능성 있음'과 '가능성 없음'으로 가면, '가능성 없음'이 30이라면 '가능성 있음'은 70일 것 같지만, 어떤 이유로든 75로 설정했습니다. 여기서 그들이 무엇을 시도했는지 볼 수 있습니다. 그리고 그들은 그 주변에 범위를 제공했습니다. 이건 그의 해결책이었어요. 그래서, 저는 이런 것들이 우리에게 경고를 주는 사례로 제시된 것 같아요. 아마도 생각을 자극하기 위해서겠죠. 우리는 사무실에서 논의하고 가이드라인 중 일부를 조정할 필요가 있는지 살펴볼 거예요.
연사 1 35:12
하지만 또한, 이 내용이 전달하는 가장 중요한 점 중 하나는, 매트, 우리가 일반 독자에 대해 어떻게 소통하는지가 매우 중요하다는 것입니다. 종종 그들(일반 독자)이 우리에게 가장 중요한 청중일 수 있죠. 만약 우리가입법부나 결정을 내리는 경영진과 공유할 때, 우리가 전달하는 방식이 확실성을 부여하거나 거짓된 정밀함을 전달하지 않도록 주의해야 합니다. 그리고 이 주제를 공유하게 된 동기는, 우리 사무실에서 이 주제에 대해 가볍게 논의하던 중이었고, 마이클 스미스가 이 문제에 대해 연락을 주셨는데, 타이밍이 정말 완벽했습니다.
연사 9 36:35
이 기사를 읽었을 때, 캘리포니아 DOT의 두 명의 다른 전문가들이 작성한 기사를 읽었는데, 그들이 기사를 읽은 후의 첫 반응은 '이것은 매우'였습니다.
연사 1 36:48
가능합니다.
연사 9 36:49
현재 화면에 공유하신 페르미 스타일 확률에 대해 말씀드리자면, 그들이 우리보다 더 나은 방법이라고 했어요. 제가 구두로 설명드릴게요. 우리 시스템의 P 값은 매우 낮음(1~10), 낮음(11~30), 중간(31~50), 높음(51~70), 매우 높음(70 이상)으로 분류됩니다.
연사 1 37:17
안녕히 가세요.
연사 9 37:18
현재 우리는 5개가 있습니다: 1, 2, 3, 4, 5. 엑셀 스프레드시트의 드롭다운 메뉴에도 다시 표시되어 있습니다. 1에서 10은 10점 범위, 20점 범위는 낮은 수준, 20점 범위는 중간 수준, 20점 범위는 높은 수준, 매우 높은 수준은 70점입니다. 이 내용을 다른 3명의 전문가와 공유했을 때, 그들은 이 방법을 좋아했습니다. 그들은 이 방법이 매우 합리적이라고 말했습니다. 그리고 우리는 이 방법을 15년 동안 사용해 왔습니다. 그래서, 아시다시피, 이런 기사나 자료는 팀, 특히 마크에게 좋습니다. 왜냐하면 우리를 편안한 영역에서 벗어나게 하고, 오랫동안 해온 것을 도전하게 하기 때문입니다. 그리고, 아시다시피, 우리는 단순히 정체되어 있었습니다. 이 자료를 공유해 주셔서 감사합니다. 이런 자료를 더 많이 공유해 주세요.
연사 1 38:10
고맙습니다. 사실, 그 수치를 공유해 주셔서 정말 감사합니다. 그 수치는 인터넷에 게시된 견적 매뉴얼이나 리스크 가이드에 나와 있는 건가요? 채팅창에 링크를 남겨 주실 수 있나요?
연사 9 38:22
제가... 거기에 있는 것 같은데... 나쁜 내용인지 아닌지 확인해 보겠습니다만, 학교에서는 두 번째 버전으로 작업자를 리스크에 노출시켰습니다. 왜 두 번째 버전이 많은 상관관계가 없었는지, 두 번째 버전에는 주 정치에 대한 모니카의 견해가 포함되어 있지만, 첫 번째 버전은 위험에 처한 생명을 확인할 때 필요하기 때문에, 그녀가 사용한 것처럼 엑셀에서 러셋을 꺼내면 라이선스가 풀로 다시 확인됩니다. 하지만 리스크에 대해서는 더 빨리 처리됩니다.
연사 1 39:03
버전 1은 완전히 엑셀에 있는 건가요?
연사 9 39:16
확인해 볼게요. 방화벽 안에 있어요. 웹에 올려져 있는지, 인터넷 뒤에 있는 게 아닌지 확인해 볼게요.
연사 1 39:25
좋습니다, 괜찮으시면 저에게 보내 주세요. 아니면 적어도 방금 말씀하신 확률과 용어의 설명을 보내 주세요.
연사 9 39:49
제 화면을 공유하고 있습니다. 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다? 보입니다 이 화살표를 클릭하고 버튼을 당기면 리스크를 찾을 수 있습니다. 다시 말하지만, 이건 일종의 수제 도구입니다. DLTV는 수제 도구를 좋아하죠. 비용 임팩트, 다시 말하지만, 구매 범위입니다. 다시 말하지만, 여기 표시된 달러 금액은 우리가 투입한 자본 및 지원 비용에 매우 구체적입니다. 따라서 이 범위는 왼쪽 상단 표에 입력한 숫자에 따라 달라집니다. 물론입니다. 시간도 마찬가지입니다.
연사 9 40:43
보시다시피, 태그 지정 목적으로 월 단위로 매우 낮은 수준부터 매우 높은 수준까지 설정합니다. 네, 네, 특별한 전략은 없습니다. 다시 말해, 드롭다운 메뉴입니다. 그리고 여기에 얼굴을 표시하고, 마지막에 합계를 표시합니다. 우리 팀의 훌륭한 멤버 중 한 분이 만든 지역 및 구역 분류입니다. 특별한 것은 없습니다. 매우 단순한 방식인데, 저는 이 방식이 더 나을 것 같습니다. 하지만 버전 2는 몬테 카를로 시뮬레이션입니다. 많은 구역에서 이 방식을 선호하는 이유는 단순하고 명확하며, 관리팀과 공유해 빨간색, 노란색, 녹색이 무엇을 의미하는지 강조할 수 있기 때문입니다.
연사 1 41:47
네, 맞아요. 이 도구는 정말 훌륭해요. 많은 프로젝트에 효과적일 것 같아요. Edmund, 공유해 주셔서 정말 감사합니다. 만약 공유가 가능하다면 그룹에서 더 자세히 탐구해 보고 싶을 거예요. 물론이에요.
연사 9 42:02
다시 한 번 강조하지만, 이건 아니에요.
연사 1 42:04
강력하고 아름답지만,
연사 9 42:05
우리에게는 아무것도 없는 것보다 나은 거죠. 그리고 아시다시피, 많은 활성 프로젝트가 있어서 PM들이 20~30개의 프로젝트를 관리하며 생존하는 데 집중하고 있어요. 이건 생존을 위한 거죠, 번영을 위한 건 아니에요.
연사 1 42:25
많은 사람들이, 우리 사무실의 많은 곳이 최소 인력으로 운영되고 있는 것 같아요. 그래서 공감해요.
연사 9 42:36
하지만 그도 손을 들고 있어요.
연사 1 42:39
네, 계속하세요, 리. 고마워, 남편.
연사 8 42:43
네, 이 프레젠테이션의 마지막 부분을 표시해 주세요. 왜냐하면 특정 단어는 사람마다 다른 의미를 가질 수 있다는 걸 상기시켜 주니까요. 그리고 처음에 말한 것처럼, 주관적 versus 객관적 결과에 대해 다시 돌아가야 해요. 우리가 한 번은 '그냥 숫자만 주세요'라고 말한 적이 있지만, 제가 어떤 책에서 읽었는지 기억이 안 나요. 이 과정은 정말 훌륭해요. 과정을 믿어야 해요, 단순히 결과만 아니라.
연사 8 43:37
과정이 우리를 생각하게 만들고, 속도를 늦추게 하며, 프로젝트를 빨리 끝내려고 할 때 무시하는 것들을 생각하게 해요. 그래서 결과는 정확할 수도 있고 아닐 수도 있지만, 과정을 믿어야 해요.
연사 1 44:05
그 관찰이 정말 좋아요, 리. 사실, 우리 조직뿐 아니라 다른 곳에서도 많은 사람들이 가장 가치 있는 부분은...
연사 8 44:15
프로젝트 위험 평가와 비용 위험 평가 유형의 노력은 숫자와 결과물보다 회의와 논의에 더 중점을 두었습니다. 그들에게 가장 가치 있는 부분은 단순히 함께 모이는 것이었습니다. 그리고 저는 그 구조가...
연사 1 44:17
프로젝트 리스크 평가 및 비용 리스크 평가와 같은 노력은 숫자나 결과물보다 회의와 토론이 더 중요했습니다. 그들에게 가장 중요한 부분은 함께 모이는 것이었습니다. 그리고 그 구조가...
연사 8 44:32
회의는 그런 대화를 촉진합니다.
연사 1 44:36
네, 맞아요. 동의해요. 그게 정말 좋아요. 당신이 언급한 책이 어떤 책인지 모르겠지만, 숫자나 그런 걸 바로 알려줄 수 없나요? Patrick Leach의 책 제목이 있는데, 왜 숫자를 알려주지 않나요? 우리는 그분을 강연자로 초청한 적이 있어요, 아마 1~2년 전이었을 거예요. 알겠습니다, 감사합니다. 오늘 아침에 주신 모든 참여에 감사드립니다. 누구도 말을 끊고 싶지 않아요. 추가로 말씀하시거나 추가할 분 계신가요? 아직 기회가 없었네요. 아, Darren, 먼저 말씀해 주세요. 네, 말씀해 주세요.
연사 4 45:13
마크, 네, 제가 말하려고 했던 것 중 하나는, 저희가 많이 발견한 것 중 하나입니다. 저는 이 언어와 같은 것을 정말 좋아하지만, 특히 정성적 분석을 할 때, 리스크 워크숍을 진행할 때, 팀과 만나서 “좋아요, 고려하고 싶은 사항이 있나요? 1, 2, 3, 4, 5”라고 묻고, 몇 가지 제안된 비율을 제시하지만, 그들을 조정할 수 있도록 합니다. 그러면 그들은그들은 비율을 약간 조정하지만, 시간과 비용에 대해서는 1주, 1개월, 2개월이 무엇을 의미하는지 말하고, 그들이 조정하는 것을 확인합니다. 이렇게 하면 그들은 약간의 책임감을 느끼게 되고, 워크숍의 초기 단계에서 우리의 목표는 리스크를 높이는 것이기 때문에 우리에게는 별다른 임팩트가 없습니다.
연사 4 46:03
그들이 확률로 선택한 것, 또는 시간이나 비용과 관련된 임팩트로 선택한 것과 일관성이 있는 한, 그들은 그 일에 약간의 책임감을 느끼게 되고, 우리는 원하는 결과를 얻어 리스크를 순위화한 다음, 상위 6개에 집중할 수 있습니다. 네, 또 다른 작은 부분이지만, 이 말이 정말 마음에 듭니다. 알려주셔서 감사합니다, 스타일. 보람이 있습니다.
연사 1 46:31
네, 문제 없습니다. 좋아해 주셔서 기쁩니다. 두 가지 모두 흥미로운 관찰이에요. 그리고 Gustavo의 인용문도 감사합니다. 팀을 조정하거나 인지 편향을 줄이기 위해 노력하는 것 같아요. 인지 편향을 완전히 제거할 수는 없지만, 그 존재를 인식하고 줄이려고 노력할 수는 있죠. Sky의 관찰도 흥미롭네요. 보고서는 의사 결정 문서가 아니라고 말했지만, 리스크 준비금을 계산하거나 리스크 준비금 계산에 참고하기 위해 보고서를 사용합니다. 이 점은 중요합니다. 또 다른 점은, 리스크의 정의는 프로젝트 목표에 영향을 미치는 불확실성이라는 것입니다.
연사 1 47:30
그러니까 중요하지 않은 불확실성은 리스크가 아닌 것 같네요.
연사 3 47:39
마크, 오늘 이 특별한 세션에서 하고 계신 일에 정말 감사드립니다. BDOT는 WSDOT의 비용 및 일정 리스크 평가 및 분석에 비해 아직 훨씬 뒤떨어져 있습니다. 제게, 그리고 다른 참석자분들께도 도움이 될 수 있도록, 워싱턴 주 교통부(Washington State DOT)에서 비용 및 일정 리스크 분석을 위해 시행하고 있는 프로세스를 간단히 설명해 주실 수 있을까요?
연사 1 48:13
물론입니다. 사람들이 방문하고 싶을 경우를 대비하여 웹사이트를 소개하고 참고 자료를 안내해드리겠습니다. 다른 주에서도 비슷한 자료를 보유하고 있는 것으로 알고 있습니다. 하지만 일단 확인해보겠습니다. 좋습니다, 'wash.costas ss'를 구글에서 검색하시면 됩니다. 저희는 프로젝트 리스크 관리 가이드를 보유하고 있으며, 현재 업데이트 중입니다. 그리고 정성적 리스크 평가 스프레드시트도 있습니다. 이 스프레드시트는 에드먼드 씨가 보여 주신 것과 비슷한 역할을 할 수 있을 것 같습니다. 정성적 평가에서는 에드먼드 씨의 것이 우리 것보다 좀 더 나은 것 같습니다. 리스크를 표준화된 범주로 분류한 리스크 분석 구조도 있습니다. 몬테카를로 모델 1도 있으며, 이 모델은 독립형입니다.
연사 1 49:11
우리는 이 모델을 PRAM, 프로젝트 리스크 분석 모델이라고 부르며, 사용 설명서와 모델에 사용자 참고 사항이 포함되어 있습니다. 저는 이 모델을 주로 관리하는 Swika를 정말 좋아합니다. Swika, Mark, 이 모델에 대해 의견이나 코멘트가 있으시면 말씀해 주세요.
연사 6 49:30
어, 어, 너무 갑작스러워서 뭐라고 말해야 할지 모르겠네요. Excel 기반입니다. 리스크 한도는 24개이지만, 그 24개는 보통 누구도 관리할 수 있는 양보다 많습니다.
연사 1 49:56
- 네, 괜찮아요. 그 부분은 조정해야겠죠. 우리는, 아니요, 아니요, 마크, 그 점은 이해해요. 이 모델은 시장 상황을 반영하며, 확실성에 기반해 비대칭적 기본 변동성을 반영할 수 있는 새로운 버전을 개발했어요. 현재 인터넷에 공개된 버전은 여전히 대칭적이에요. 샘플 아젠다도 있습니다. 그곳에 일부 자료가 있어요. 샘플 원페이지 템플릿과 보고서 구조도 있습니다. 다만, 그 구조에 대한 창의적인 자유도를 많이 제공합니다. 우리는...
연사 1 50:43
원페이지에 포함되길 원하는 정보가 있지만, 많은 컨설턴트 파트너들은 자신만의 정보 전달 방식을 가지고 있습니다. 그들은 원페이지 형식에 충실히 따르지만, 보고서 자체는사람마다 접근 방식이 다르기 때문에 괜찮습니다. 여기에는 몇 가지 추가 도구가 있습니다. LCC 분석 도구와 가중 합계 도구가 있지만, 이 도구는 그다지 많이 사용되지 않습니다. 네, 잘 모르겠네요. 그게 미치 씨가 찾고 있던 정보인가요? 네.
연사 3 51:28
우리 회사에 비해 정말 인상적입니다. 문서를 모두 읽으면 찾을 수 있을 것 같지만, 특정 유형의 프로젝트 비용에 대해 따라야 하는 특정 리스크 프로세스를 규정하고 있는 것 같은데, 모든 경우에 적용되는 단일한 규정이 아닌 것 같습니다.
연사 1 51:47
네. 그래서, 그게 바로 우리 기관의 정책으로 알려진 '행정 명령'이에요. 곧 업데이트될 예정이에요. 인터넷에서도 확인할 수 있어요. 이름으로 검색하면 찾을 수 있지만, 'launch.eat'로 검색하면 더 쉽게 찾을 수 있을 거예요. 네, 확장 가능하고 유연해요. 여기에는 그 내용을 정리해 놓았습니다. 말씀드린 것처럼 일부는 가까운 미래에 변경될 수 있지만, 오늘 현재로서는 이것이 저희의 정책입니다. 10개의 프로젝트에 대해, 모든 프로젝트는 일정한 형태의 리스크 관리를 해야 합니다. 1,000만 달러 이하의 소규모 프로젝트는 정성적 평가로 충분합니다. 정량적 분석을 할 필요는 없습니다. 사용할 수 있는 스프레드시트가 있으며, 원하는 형식을 사용해도 괜찮습니다.
연사 1 52:44
우리에게 중요한 것은 그들이 프로젝트의 리스크에 대해 이야기하는 것입니다. 10~25보다 약간 큰 프로젝트의 경우 정량적 리스크 평가를 기대하지만, 자체적으로 진행할 수 있습니다. 따라서 비공식적으로 진행되며, 프로젝트 팀, 프로젝트 구성원, 프로젝트 매니저로 구성되며, 전문가 등 다른 참여자를 포함할 수 있습니다. 25억 원에서 100억 원 규모의 경우 CRA를, 100억 원 이상의 경우 CBIP를 적용합니다. CRA와 CBIP는 형식과 구조가 매우 유사합니다. 하나... 이것이 우리가 프로세스를 확장하는 방식입니다. 다른 곳에서는 다르게 진행할 수도 있습니다.
연사 3 53:44
네, 인상적입니다. E1053을 찾아보고 싶네요. 더 알아보고 싶습니다. 불편하지 않으시다면 관련 주제에 대해 질문드리고 싶습니다.
연사 1 53:56
네, 말씀하세요, 미치.
연사 3 53:59
지난 주에 이름은 밝히지 않겠지만 고위 컨설턴트와 이야기를 나눴는데, 그분이 Wystop 법안이 매우 중요해졌거나, 입법자들이 추정 연구 등에 매우 관심을 보이고 있다고 말씀하셨습니다. 심지어 제 이름도 언급하셨고요. 그분이 '네, 그분은 우리가 실제로 인터뷰한 사람들 중 한 분이에요'라고 말씀하셨습니다. 그래서 당신의 이름이 그들 사이에서 알려져 있군요. 이 부분에서 배울 점이나 팀과 공유할 수 있는 내용이 있을까요?
연사 1 54:37
제 경험에서 얻은 교훈은 이겁니다. 우리는 틀렸을 때, 정말로 틀렸을 때만 주목을 받죠, 맞죠? 그래서 제 생각에는 이 점이 핵심 메시지입니다. 기대치의 불일치입니다. 그리고 이것이 우리가 여기서 논의하는 일부 내용이 매우 중요하다고 생각하는 이유입니다. 즉, 우리가 어떻게 소통하는지가 기대치의 불일치를 초래할 수 있다는 점입니다, 특히 우리 자료의 일반적인 소비자에게는 더 그렇죠. 여기 계신 분들은 모두 이 분야에 완전히 빠져 있어서 이해하시겠지만, 하지만 많은 사람들은 이걸 처음 보는 거고, 심지어 이런 걸 전혀 보지 않다가, 아시다시피, 특히 디자인-빌드 프로젝트에서 일부 이슈가 발생했어요. 하지만 우리는 이 문제를 해결하기 위해 노력하고 있고, 지속적으로 개선 중이에요. 질문해 주셔서 감사합니다. 네, 미치.
연사 1 55:36
네, 알겠습니다. 그럼 이쯤에서 마무리하겠습니다. 몇 가지 공지사항이 있습니다. 좋은 대화였어요. 이 주제에 대해 미래에 더 논의할 수 있으면 좋겠습니다. 여름 휴가 기간이라, 6월, 7월, 8월은 휴식 기간입니다. 9월, 10월, 12월에 발표가 있습니다. 11월 11일 베테랑스 데이(공휴일)에는 휴무입니다. 따라서 올해 남은 발표는 9월, 10월, 12월 세 번이며, 2026년 일정을 현재 예약 중입니다. 다시 한 번 말씀드리자면, 발표를 하거나 공동 발표를 원하시거나 주제를 제안하시거나 연사 추천을 원하시는 분은 저에게 연락해 주시거나 이메일로 보내주시면 감사하겠습니다. 또는 여기 다른 분들에게도 연락해 주시면 좋습니다.
연사 1 56:39
그럼, 모두 좋은 여름 보내세요. Alice Cooper가 말하듯이 학교는 여름 방학이에요. 모두 건강하세요.