AI 시대 단상
AI 시대가 무엇인지 정확하게 정의하긴 어렵겠지만, 요즘을 AI 시대라고 부르는 데 큰 이견은 없을 것 같다. 적어도 AI 시대의 시작 지점 부근에는 있는 것 같다. 많은 것들이 변하고 있고, 그로 인해서 많은 것에 적응해야 할 것 같다.
얼마전에 썼던 나의 LLM 사용기에서 나는 “통합적인 환경을 구축하는데 일가견이 있는 구글이 스카이넷이 될 지도 모른다”라는 나이브한 생각을 남긴 적이 있다. 지금도 큰 틀에서 비슷하지만 몇 가지 달라진 생각이 있어서 단상을 남겨보려 한다.
구글에는 생각할 수 있는 거의 모든 서비스가 다 있다. 검색 엔진부터 이메일, 공유 드라이브, 사진 공유, 클라우드 서비스, 유튜브, 캘린더, 미팅 앱, 지도 등, 이제는 이 중 일부를 떼어놓고 일상 생활을 할 수 없을 정도로 영향력이 커졌다. 덕분에 구글은 돈을 많이 벌고 있다. 그런데 우리가 사용하는 대부분의 구글 서비스들은, 일단은 무료인 게 많다. 특히 가장 핵심 서비스라고 생각되는 검색 엔진이 무료이다. 지메일도 일정 용량까지는 무료이고 웬만해서는 이 용량이 꽉 찰 일은 잘 없다. 캘린더도 무료이고. 나머지 드라이브나 유튜브처럼 부분적으로 유료인 서비스들도 있지만 기본적으로는 다 무료로 쓸 수 있다.
근데 이거 정말 무료일까?
아주 오래전부터 미디어에 대한 비평 중에 다음과 같은 것들이 있다.
Television Delivers People.
위의 말은 무려 1973년에 예술가 Richard Serra랑 Carlota Fay Schoolman이 한 말이다. 티비가 사람을 배달한다니. “티비를 산 건 소비자이지만, 티비가 소비자를 광고주에게 배달한다”는 의미로 아래에 나올 말들과는 조금 맥락이 다르긴 하지만, 미디어 시대에서 “소비”에 대해서 다른 관점을 제시하지 않았을까 싶다.
If you are not paying for it, you’re no the customer; you’re the product being sold.
위의 말은 2010년에 Tim O’Reilly 라는 인플루언서가 트위터에서 인용해서 유명해진 말이다. 70년대에는 티비였지만, 이제는 더 확장되어 모든 서비스 제품에도 적용 되었다.
Once it’s free, you’re not the customer anymore, you’re the product.
그리고 내가 이런 류의 비평을 처음 들었던 것은 2011년 만우절에 Seth Godin이 쓴 글 중 일부인 위 문장이었다. 그때부터 이 말이 뇌리에 박혔다. 뭐가 공짜면, 나는 더 이상 소비자가 아니라 그 제품이다. 1 그러니까 꽤 오래 전부터 꾸준히 비슷한 경고를 해왔던 것이다.
서론이 길었는데, 아무튼 나는 제법 얼마 전부터 구글의 검색 엔진에서 이 문장을 실감하기 시작했다. 뭘 검색하면 최상단에 정말 교묘하게 내가 원하는 결과가 아닌, 구글이 광고하는 항목이 종종 나타나기 시작했다. 처음엔 하나였던 것 같은데, 특정 키워드에서는 이게 세 개까지 늘어나기도 했다. 아주 작은 글씨로 “이거 광고에요”라는 문구가 있긴 했지만, 주의하지 않으면 알기 어렵겠다 싶었다. 모든 검색에서 이런 광고가 최상단에 뜨는 것은 아니었기 때문에 초반엔 그냥저냥 괜찮았다. 보통은 별 뜻 없이 검색 결과의 최상단을 클릭해서 살펴보기 때문에, 원치 않는 광고 사이트에 들어가게 되면 조금 귀찮긴 했다. 그러다가 문득 저 문장이 생각이 났다. 그리고 깨달았다. 구글 검색에서는 더이상 내가 소비자가 아닐수도 있겠구나. 분명 예전에는, 네이버나 다음과 같은 포털 사이트 검색은 온갖 광고와 배너가 덕지덕지 붙어있는데다가 검색 품질도 좋지 못해서 쓸 수 없는 물건이었고, 반면에 구글은 광고 하나 없이 깔끔한 텍스트 링크 위주로 내가 원했던 결과만 보여줘서 오히려 썰렁한 느낌이 들 정도인 시절이 있었는데… 영원한 건 절대 없다는 지드래곤 선생님의 말씀이 스쳐지나갔다.
그런데 문제는 요즘 LLM을 잘 쓰려면 검색이 거의 필수라는 사실이다. RAG니 컨텍스트 엔지니어링이니 하는 것들이 있는데, 핵심은, 일단 LLM의 학습 비용은 꽤 비싼데, 학습 이후에 나온 새로운 사실들(텍스트)을 이용하려면 검색을 해야만 한다는 것이다. 그리고 LLM은 텍스트 모델이라 이런 새로운 사실들을 기반으로 제법 괜찮은 품질의 답변을 낸다. 그런데 만약 검색 결과에 검색 엔진이 프로모션하는 조금은 주제를 벗어난 결과가 컨텍스트에 섞여버리면, 그만한 낭비가 없다. 물론 이제 모델을 잘 쓰는 여러 기법들이 연구/발견되고 있는 터라, Reasoning 단계를 거쳐 (1) 일단 검색 결과의 항목들을 추린 다음, (2) 그 중에서 관련이 있을 것 같은 제목의 글들을 우선적으로 보는 것도 충분히 좋은 방법이겠다. 하지만 구글 검색 엔진이 갑자기 검색 결과 개수를 제한해버릴지도 모른다.
게다가 지금은 글로벌 LLM 시대라서 꼭 제미나이를 고집할 필요는 없다. 원조 국밥 ChatGPT, 코딩 특화 Claude Sonnet, 돈 많은 아저씨의 저력을 보여주는 Grok, 유럽산 자존심 Mistral, 분발하길 바라는 Llama 등 비슷한 품질의 다양한 모델들이, 더 저렴해지고 있고, 챗 서비스 뿐만 아니라 API까지 쓸 수 있게 되었다. 이래서 경쟁이란 좋은 것이다.
아무튼 이러한 이유로 나는 적어도 검색에 한해서는 구글을 벗어나는 방법을 진지하게 고민해보기 시작했다. 그리고 예전부터 써보려고 시도했지만 실패했었던 Kagi Search에 다시 발을 들여놓아 보았다. 검색 엔진에 돈을 내야한다니? 하지만 앞에서 말했듯, 무료인 서비스는 내가 그 제품이 되는 것이리라. 그러느니 차라리 정당한 비용을 지불하고 원하는 서비스만 이용하는 것에 설득당할 수 밖에 없었다. 일단 검색에 광고가 전혀 붙지 않는다는 점은 생각보다 좋았다. 프라이버시를 중시하여 개인정보 트래킹도 하지 않기 때문에2 사이트 자체의 로딩도 엄청나게 빨라서 쾌적했다. 자체 알고리즘을 통해서 제공한다는 검색의 우선순위는 (광고 없는) 구글의 그것과 크게 다르지 않아서 마이그레이션하는데 큰 어려움은 없었다. 그리고 무엇보다 AI 시대에 발맞춰, 높은 플랜을 구독하면, 앞에서 말했던 대부분의 최신 모델들을 Kagi 검색 엔진과 함께 이용할 수 있어서, 고품질의 맥락을 넣는데 효과적이라는 생각이 들었다. 문득 “모든 AI 서비스 회사는 어느 정도 검색에 대한 통제를 가져야 하지 않을까?” 라는 생각이 들었다. 핵심은 정말 중요한 데이터를 잘 모아서 관리하고, 그것들을 필요할 때 효과적으로 가져오는 것이다. Kagi는 구글을 뛰어 넘을 검색 엔진을 개발하고 있었고, 마침 AI 시대가 도래하여 LLM 가격이 충분히 싸졌고, 마침 LLM은 고품질의 맥락을 필요로 하기 때문에 텍스트를 엔지니어링 하던 경험이 큰 도움이 되어 여기까지 제품이 발전해왔다는 생각이 든다.
나는 이제 비용을 지불하고 검색을 하는데 큰 저항이 들지 않는다. 오히려 그동안 검색은 공짜여야한다고 생각해왔던 게 이상하다는 생각마저 들었다. 계속 사용할지는 미지수지만 아직까지는 만족스럽다. 과연 어떻게 될지 두고봐야지.