AI를 써야한다고 정말 열심히 이야기한다. 하지만 역설적으로 보고하고 보고받는 미팅으로 대부분의 시간을 보내는 것이 일상이니 정작 내가 직접 AI를 쓸 수 있는 기회는 많지 않다. 그래도 말따로 행동따로면 안되니 해야겠다는 생각 와중에 이건 할 수 있겠는데? 라고 생각한 아이템이 주간보고다.
정말 다행으로 연초부터 컨플런스(Confluence) 기반으로 전사 주간보고 체계가 돌아가고 있다. 컨플런스로 전환하면서 주간 보고 작성 형태도 일원화됐다. 사실 컨플 기반의 전사 주간 보고 틀을 잡을 때, AI 사심을 넣어서 이런 방식이면 AI에게도 좋겠다는 형태로 잡아보자고 했다. 이만큼 해뒀으니 여기에 AI를 써보기로 했다.
해보기로 맘먹은 당시에 6개의 실과 4개의 3개의 직할 팀이 있었다. 개별 조직에서 취합한 주간 보고 내용을 조직장들과 검토, 논의하고 그 가운데 전사 공유 내용으로 올릴 내용을 선별해 이를 주간 보고 회의체에 올려야 한다. 주간 보고 논의 내용 취합과 선별된 아이템을 정리해주는 담당자(사람)이 있었다. 하지만 올 초부터 담당자가 원래 해야 할 일에 집중하고, 이 일은 직접 하겠다는 호기를 부렸다. 실제 취합과 선별 내용을 올리는 걸 직접 해보니 생각보다 녹녹치 않았다. 어찌보면 간단하고 쉬울 복붙인데 항목별로 Copy를 하고, 전사 주간 보고 페이지에 Paste하는 일은 곧잘 20~30분을 잡아먹었다. 특히 더 어려운 점은 이 일이 “매우 귀찮은 일” 이라는 것이다. 중요한 일이 맞지만 Copy & Paste를 하고, 틀어지지 않도록 수정하는 작업은 가치를 만드는 일이라기보다 번거로운 반복 작업인 건 틀림없는 사실이었다. 귀찮으니 안하게 되고, 안하니 더욱 “일”이 되버렸다. 그러니 매번 전사 주간 보고 운영 담당자에게 쪼임을 당하기 일쑤였다. 그런데 이걸 왜 내가 하고 있는거지?
AI한테 시키면 되잖아!!
그래서 클로드를 열었다. 먼저 Confluence API를 연결하고, PAT(Personal Access Token)을 발급했다. 그리고 “이 페이지의 선택된 내용들을 옮겨줘!” 라는 사람에게 지시할 법한 Prompt를 넣었다. 샘플 페이지의 내용을 의도한 대로 대상 페이지로 옮겨줬다. 오~ 유레카!!! AI의 힘이구나!!
이제 실전으로 실제 주간 보고 페이지를 지정하고 옮겨달라고 했다. 하지만 예상과 달리 실패해버렸다. 그리고 “컨플런스 페이지를 복붙하시는게 더 빠릅니다. 복붙 방법을 안내해드릴까요?” 라는 친절한 안내를 해줬다. 신박하네! 그래도 내가 개발자 출신인데 자존심이 있지 왜 안되는지 단계를 따져보니 정말 간단한 이유였다. 주간 보고 내용이 API가 허용하는 한계를 넘어버렸다. 왜 그런가 싶긴 했는데 Curl로 컨플런스 API를 호출해보니 이유를 알만 했다. curl이 알려준 사실은 이렇다.
<table> <tr> <td>..</td> <td> .. </td> .. </tr> <tr> .. </table>
내용은 없고, 죄다 마크업 Tag들이 전부다. 본질은 없고 껍데기가 난무하니 눈에 보이는 글씨보다 몇 곱절 데이터의 크기가 부풀려질 수 밖에. 사실 표(테이블)로 정갈하게 맞춰진 보고서는 사람이 읽기에 좋다. 하지만 AI가 맥락을 파악하기 위해 읽는데는 방해물이 될 뿐이다. 결국에 AI가 쓸 수 있는 데이터가 문제였던 것이다.
해결하기 위해서는 AI가 쉽게 읽을 수 있는, 그리고 사람은 무난하게 읽을 수 있는 형태가 필요하다. 먼저는 테이블을 없앴다. 그리고 보고 테마를 구분하기 위해 컨플런스의 제목을 활용했다. 테이블이 사라진 허전함은 블릿을 사용해 사람 가독성을 챙겼다. 그리고 전사 보고가 필요한 내용인지 아닌지를 구분하기 위해 Checkbox 를 사용해 주간 보고 이후에 어떤 항목을 올릴 것인지를 체크할 수 있도록 했다. 이렇게 형태가 갖춰졌다. 이 내용을 스킬로 만들어 작성하도록 할까 생각하다가… 오버엔지니어링이라고 결론냈다. 그냥 템플릿 페이지가 있으면 그걸 복사하면 될 걸. AI를 쓸게 아니라 그냥 API를 쓰면 된다.
좀 내용 많은 주간 보고 하나를 찾아서 이 양식에 맞춰 테스트 데이터를 준비했다. 다시 시도. 하지만 이번에도 안된다. 분량이 많으면 API도 버벅이는구나. 분명 Payload 크기를 조정할 수 있는 API가 있을 것 같았다. 찾아볼까 하다가 다시 든 생각은 6개 실, 4개 팀의 주간 보고 내용을 굳이 한 페이지에 담을 필요가 있을까? 아무리 컨플이 공동 편집이 된다고 하지만 컨플이 구닥(Google Docs)는 아니다. 나 조차도 쫑나는 것 때문에 내용을 다시 입력한 번거로움이 기억났다. 개별 조직 단위별로 세부 페이지를 나누고 내용을 볼 수 있는 Master 페이지를 두고 거기서 한 번에 사람이 볼 수 있도록 했다. 편집할 때 실장님, 팀장님들이 번거로울 일도 없고, 개별 페이지 내용도 한 조직의 내용만 담으면 되니 크기도 작아지고, 사람이 읽기에도 부담이 없다. 1석 3조!
Master와 Sub 페이지 방식으로 구성된 템플릿을 다시 만들어 테스트를 돌렸다. 조정된 스킬이 이제는 완벽하게 각 팀별 페이지를 만들고 조직장님들의 입력을 기다리는 형태가 됐다. 이제 사람들이 일하고 나도 일할 수 있는 상태가 됐다.
HITL – 근데 주간 보고는 어떻게 돌아갈까?
솔직히 이 질문 재미있다. 평소에 생각하지도 않았던, 해보지 못했던 질문이다. 우리는 많은 일을 하지만 세부적인 형태, 방식을 생각하지 않고 그냥 한다. 숙련됐다는 표현이 이걸 나타내는 것이다. 물론 처음에는 구체적이고 순서에 따른 방법을 생각했을지 모르지만, 어느 순간부터는 그냥 하는 거다. 이것이 인간이 수천년을 거치면서 발전시킨 인간의 일하는 방법이다.
원래 질문으로 다시 돌아가 주간 보고가 어떤 방식으로 이뤄지는지 정리해보자.
- 조직장들(사람)이 각 조직의 주간 보고 내용을 기입(작성)한다.
- 센터 주간 미팅에서 주요 안건을 리뷰(사람)한다.
- 영향력 위주로 전사주간보고 항목으로 지정하고, 특히 그 가운데 발표 항목을 선정한다.
- 전사 구성원들이 읽을 내용이기 때문에 부족하거나 과한 내용은 직접 수정하거나 부탁한다.
- 수정이 마무리되면, 보고 자료를 전사 공간에 게시한다. (사람의 결정)
- 작성을 마친 주간 보고 자료는 별도 공간에 이력을 위해 백업한다 (사람의 결정).
나와 조직장들은 각 단계에서 자신의 역할을 한다. 조직장들의 역할은 작성과 보완이고, 내 역할은 결정과 보완이다. 그리고 역할이 끝나면 이를 모으고 올리는 과정을 통해 AI가 동작하길 나는 희망했다. 그래서 단계 각각을 4개 스킬(Skill)로 나누어 만들었다. 물론 각 스킬이 기대만큼 완벽하게 동작하지 않았다. 제대로 된 형태/방식으로 스킬이 돌려면 일종의 최적화와 맞춤 기간이 필요하고, 무엇보다 가장 중요한 건 써보는 것이다.
내가 쓰는 것도 것도 중요하지만, “전사 주간 보고”는 혼자만의 작업이 아니라 조직장들과 함께 하는 것이다. 쉽게 말하면 때가 되면 새로운 주간 보고 페이지가 나와 있어야 올릴 수 있고, 센터 주간 회의를 마쳤다면 해당 내용이 전사 공간에 올라가야 한다. 그런데 만약 내가 휴가를 가거나 아파서 누워버리면? 이 작업을 누군나 할 수 있어야 하는데???
화룡점정 – 공유하고 누구나 쓰기
AX의 마지막은 내가 할 수 있는 이 작업을 누군가도 할 수 있어야 한다는 점이라고 생각한다. AI를 활용한 작업이 개인화/사유화되면 결국 조직의 역량이 아닌 개인 역량에 머문다. 다행히 스킬을 모으는 Git Repo가 따로 있었고, 해당 레포에 MR을 생성해 Merge까지 완료했다. 공유가 됐으니 “할 일 다 했습니다!” 로 끝나면 곤란하다. 스킬을 공유한다는 건 생각보다 어렵다. 특히 공유가 문제가 아니라 스킬이 작성된 환경 자체가 개인에게 맞춰진 경우가 많기에 실제 스킬이 다른 사람의 환경에서 잘 돌지는 장담할 수 없다. 다른 사람들의 단순 MR/PR 코멘트도 중요하지만 실제 사용 피드백이 더 큰 의미를 갖는다. 다행히 실무 개발에 몸담고 있는 조직장 2분이 잘 쓸 수 있다는 착한 피드백을 줬다. 나처럼 개발을 한참 전에 놓은 다른 실장이 성공적으로 수행하는 것도 추가로 확인했다. 내가 없더라도 AI적인 형태로 주간 보고는 운영이 되겠구나 싶은 생각이 들었다. 물론 AI답게 더 발전시켜줄 사람이 필요하겠지만.
하지만 이게 다일까? 좀 더 들여다보면 우리가 이야기하는 AI, 특히나 비엔지니어링 직군이 보지 못하는 또 다른 면이 요즘 AI에는 있다. 그 이야기는 다음에 좀 더 풀어보자.