애플 부사장에게 직접 묻다! AI 미래, 진짜 답변은?

[음악] 안녕하세요.

 비트입니다.

 요즘 자주 들리는 이야기가 있죠.

 애플은 AI 기술력이 없다.

 사실 거대 기업관의 AI 경쟁에서 애플의 존재감은 상당히 약한 편인데요.

 소비자 약속한 AI 기능 중 하나를 일정 선보이지 못하게 됐다는 사실을 인정하기까지 했죠.

이 기능은 바로 개인화된 시리라는 기능인데요.

 그게 뭐냐? 일단 작년 발표로 확인해 보시죠.

 Si actually cross references flight details that my mom shared with me by email with real time flight tracking to give me her uptoe arrival time.

 What's our lunch plan? I don't always remember to add things to my calendar.

 And so I love that Siri can help me keep track of plans that made in casual conversation.

 애플은 작년 개발자 회의 때이 개화된 시리 기능을 작년 심지어는 한 번 밀어서 올해 봄까지는 내놓겠다고 했지만 얼마 전 열린 WWC20선 말이 달라졌습니다.

 이제는 거의 기약 없이 개인하던 시리키능이 밀린 셈인데요.

 대체 애플에겐 무슨 일이 생기는 걸까요? 에 대한 답변을 당사전 애플로부터 그것도 아주 높은 자리 양반에게 직접 수었습니다.

이 조지라는 분은 애플의 부사장으로 오리지널 아이팟과 아이폰을 출시어 개발하는데 중요한 역할을 했던 인물 중 한 명입니다.

 어쨌든이 사람은 개인하든 시리 기능 지연에 대해 어떻게 해명했을까요? 맡기에 처음부터 끝까지 그의 답변을 들어보겠습니다.

 애플이 개인하던 시리를 만드는 것에 있어서 생각보다 좀 늦어지고 있다는 이야기들이 들리는데 그에 대해 어떻게 생각하시는 궁금합니다.

 intellig weed to a bigger picture what we were trying to do and one of the things that we talked about is that some of the features would be available over the coming months and we deliver it on the vast majority of those.

 the personaled the understanding the personal context to understand information about you was something that although we were showing working code at WWC we thought we'd probably be able to deliver it by later in the year the error rate was too high and so we tried to refine it further and we thought we would ship it in the spring and it is something we could have shipped but we didn't feel that quality was good enough to deliver uh at that point.

 So we had to make a difficult decision to say we prefer to wait till we can make it right than just ship it to say we did.

 And so we knew we were working on a new generation of Syri that would make this capability at a higher level, higher quality level.

 So we made the decision to say instead of just trying to get it sh that we would deler it when we could do it better which would be with a new coming in the coming year.

 이 정도 지에 있는 양반들은 미디어 트레이닝을 받기 때문에 답변이 이렇게 대부분 뭔가 좀 둥글둥글한 편인데요.

 그래도 몇 가지 흥미로운 포인트가 있죠.

 첫 번째는 개인화된 실리기는 공개를 못하는 이유가 오류율이 높았기 때문이고 그래서 두 번째는 애플 내부에서이를 해결하기 위해 새로운 세대의 시리를 개발하고 있으며 마지막으로 세 번째는 그게 내년 그러니까 2026년에 출시될 것을 목표라고 했다는 겁니다.

이 OS 넘버를 26으로 통일한 것도 어쩌면 이와 관련 있을지도 모르겠습니다만 어쨌든 지금 와서 궁금한 건 이거죠.

 애플은 대체 AI에 대해 애초에 어떻게 계획했고 지금 어디까지 왔으며 앞으로 뭘 어떻게 보여 줄 것인가 조주의 나머지 인터뷰를 직접 듣고 또 팩트 체킹을 해 보면서 애플 인텔리전스의 현실과 미래에 대해 이야기해 봅시다.

 [음악] 애플이 애당초 시리에 두뇌라 할 수 있는 애플 인텔리전스를 어떤 방식으로 구현하려고 했는지는 조지의 인터뷰에서 굉장히 명확히 돌아합니다.

 애플은 GPT로 대표되는 대부분의 AI 서비스가 온라인을 통해 서버로부터 답변화듣기 때문에 사용자의 질문 내역과 답변이 노출될 수 있는 프라이 위협이 있다면 따라서 애플 인텔리전스는 사용자의 명령을 기기 내부에서 그러니까 온 디바이스로 처리하는 것을 최우성을 섞겠다 하는데요.

 다만 아이폰 같은 장치들은 서버에서 운용되는 거대한 M비디아 A 전형칩들에 비하면은 성능이 너무 떨어지기 때문에 복잡하고 긴 명륜을 경우 기기에서 처리가 버겁습니다.

 love that's powerful set of models on the device that can you very capable but on occasion you need even larger models and so one of the things we're very proud of that we had done is do something that no one has ever done which is to take those same onevice protections you have uh with your privacy information uh on your iPhone and extend that to the cloud through private cloud computer 애플의 AI, 애플 인텔리전스는 현재 두 가지 방식으로 작동합니다.

 온 디바이스 기반의 애플 인텔리전스는 비교적 간단한 작업을 수행하고요.

 더 복잡한 작업은 높은 보완성을 갖춘 애플의 자체 서버상에서 돌아가는 프라이빗 클라우드 컴퓨팅 줄여서 PCC 기반의 애플 인텔스가 처리하는 방식이죠.

 clear we don't associate thatation with youer onoud to the ex that we 클러드 방식보다 훨씬 강한 개인 정보 보호 장치가 들어가서의 프라이버시를 보호한다는게 애플 설명인데 여기서 궁금증이 생깁니다.

 아니 애플이 생각하기에 어디까지가 간단한 작업이고 어디까지가 복잡한 작업일까요? 원래 애플 인터전스는 기기에 통합된 형태로만 작동했기 온 디바이스와 PCC 모델이 언제 무엇을 기준으로 작동하는지를 소비자 당에서는 확인할 수 없었는데요.

 최근 WWDC 이후 공개된 벡터 버전에서는 롤러 해당 테스트를 할 수 있게 했습니다.

 애플은 자세히 애플 인텔리전스 파운데이션 모델을 공개하며 사용자나 개발자가이를 활용할 수 있도록 했는데요.

 아이폰이나 맥 같은 애플 디기에서 여러 작업을 자동으로 실행할 수 있게 해주는 단축한 앱이 있거든요.

 거기에 들어가게 되면은 보이시죠? 이제는 자동화 기능을 수행할 때 생상형 AI에 도움을 받을 수 있고 그 모델로 애플 인텔리전스 모델을 고를 수 있게 돼 있습니다.

 그래서 여기 보시면 온디바이스 모델과 비공기 클라우드 컴퓨팅 PC 모델 그리고 GPT 모델을 선택할 수 있는 거 보이시죠? 그래서 온디바이스 모델을 선택하고 답변을 들어보면 어 이렇게 답변이 나오고요.

 PCC 상태 그러니까 공공개 클라드 컴퓨팅을 선택하고 똑같이 물어봐도네 이렇게 다 변해 놓으는 걸 확박을 수 있습니다.

 근데 여기서 요청하는 텍스트의 키를 늘려 볼게요.

 예를 들어 영국의 대연장 전문 전체를 주고 다음의 내용을 한국어로 요점만 요약해 줘.

라고 라고 한 다음에 온디바이스 모델을 이용해서 답변을 달라라고 요청을 하면 보이시는 것처럼 요청이 허용된 최대기를 초과했습니다라는 오류가 뜨면서 결과가 출력되지 않아요.

 근데 이거를 공기 클라우드 컴퓨팅 PC 모델로 바꾸고 다시 요청을 하면네 보이시는 것처럼 시간이 걸리긴 하지만 긴 문장도 문제없이 요약해 주는 걸 확인하실 수 있습니다.

 왜 이런 차이가 생기냐? 온디바이스 모델은 AI가 한 번의 질문을 이해하고 답할 수 있는 글차수.

 이걸 기술적으로 토큰수라 부르는데요.

이 토큰수에 꽤 강한 제한이 걸려 있습니다.

 알려진 바로는 애플 인텔의 온디바이스 모델은 한 번에 처리할 수 있는 양이 최대 4,096 토큰이라고 해요.

 GPT4 5 같은 경우에는 입력만 12만8,000개의 토큰을 처리하셨는데 이건 기기상에서 돌려야 하는지 몰라도 처리할 수 있는 토큰의 양이 확실히 더 적죠.

 다만 이렇게 테스트를 하면서 애플 인텔리전스가 갖고 있는 흥미로운 점들도 몇 가지 확인할 수 있는데요.

 각 코어 작동 상태를 확인하는 프로그램 이걸 아시톱이라고 하는데요.

 보시면 지금 베타 상태에서 오류 때문에 CPU가 100%이지만 이건 오류입니다.

이 프로그램을 켜고 온 디바이스 모델을 돌려서 질문을 한번 해 볼게요.

 너는 어떤 일을 할 수 있어?라고 라고 물어보고 질문을 던지면 자 보세요.

 오, 방금 보이셨나요? 애플 뉴럴 엔진.

 그러니까 MPU 위에서이 모델이 작동하는 거 확인할 수 있습니다.

 조재 부사장은 인터뷰에서이 애플 뉴럴 엔진을 기반으로 애플 인텔리던스가 돌아간다는 점을 굉장히 강조했는데요.

 we have thatility to to takeantage of our neural engine and our compute you know way our hardware and software cans it's really what one of the many things that differentiates us and artificial intelligence is something that again we had been putting in our products for many years and we were early in developing some of the hardware technologies to support it right we first implemented uh the neural engine back in 2017 that would allow us to accelerate 이게 왜 중요하냐면 MPU를 사용할 경우 전력 소모가 엄청나게 적기 때문입니다.

 지금 보시면 애플 인텔리전스에게 명령을 내릴 때 전력 소모량을 확인하시면 네.

 보이시는 것처럼 애플 뉴럴 엔진 파트의 소모 전력이 4.

5W에서 5W 사이에 불과하죠.

 근데 비슷한 크기 온디바이스 모델을 GPU상에서 올리게 되죠.

 그러면은 이보다 훨씬 많은 전략을 소개해 됩니다.

 애플 인텔리던스 그리고이를 이용한 개인화된 시리는 사용자에게 맞춤형 경험을 제공하기 위해 백그라운드에서 끊임없이 정보를 분석해야 함므로 애플은 온디바이언스 모델을 최대한 가볍게 MPU에 돌아가기에 최적인 형태로 구축할 것 같습니다.

 그리고 애플이 자사 AI 모델의 경량화의 진심이라고 하는 점은이 모델을 구동시에 메모리 사용량만 봐도 확인해 할 수 있는데요.

 메모리 사용량을 중심으로 해서 똑같이 한번 내려 볼게요.

 에을 내려 보면 지금 보시다시피 애플 인텔레전스 온드바이스 모델이 작동할 때 메모리 사용량이 1GB가 넘지 않는다는 걸 알 수 있습니다.

 물론이는 메모리 아주 인색한 애플의 자충수일 수도 있겠지만 최소한 하드웨어와 소프트웨어의 결합을 중시하며 기능을 개발한다는 애플의 철학은 이런 분야에서도 어떻게든 잘 발현이 되는 것 같습니다.

 아닌게 아니라 솔직히 온바이스 모델의 성능만 놓고 보면 애플 인텔리전스는 꽤나 그렇듯합니다.

 바구어 특히 한고가 답변 능력이 나쁘지 않은 편이어서 단순한 글 요약이라던가 번역 등 현재 애플 인텔리전스가 할 수 있는 기능들은 상당히 완성도 있게 그리고 일관적인 답변을 상상을 줍니다.

 특히 환각 현생을 없애기 위해서 부단히 노력한가 나는데요.

 조금이라도 외부 정보가 필요하거나 복잡해 보이는 질문의 경우 예를 들어서 제가 날씨 같은 거 한번 지금 물어볼게요.

 오늘 날씨가 어때라는 질문을 던지면 보시다시피 죄송하지만 현재 날씨 정보를 제공할 수 없습니다.

 그러나 날씨앱을 통해서 실시간 날씨 정보를 확인할 수 있습니다.

 무조건 모릅니다.

 찾아보세요를 내뱉는게 어떻게 보면은 약간 지금은 좀 멍청한 시리가 떠오르긴 하는데 일단 오답을 내놓지 않기 위해서 이런 식의 설정이 강하게 적용된 건 굉장히 좋은 판단이 듯해요.

 현재이 모델은 30억개의 파라미터를 2비트를 양자 몰라도 됩니다.

 한마디로 좀 굉장히 작고 가벼운 모델인데 같은 크기 다른 모델과 대비하면 애플 인텔레전스의 성능은 상당히 경쟁력이 있는 수준이에요.

 근데 여기까지 듣고 나면 의문이 생기죠.

 아니 들어보면 애플 인텔리전스가 방향성도 꽤 괜찮고 온 디바이스 모델 성도 나쁘지가 않잖아요.

 근데 왜 개인화된 시리 기능은 밀어주려는 걸까요? 현재 개인 시리가 밀뤄지는 가장 큰 이유는 앞서 조즈 부사장이 직접 밝혔듯 오류율이 높기 때문입니다.

 구체적으로 무슨 오류냐 이거는 다른 매치와 페더리기 부사성이 인터뷰한 내용에서 찾아볼 수 있는데요.

 내용을 요약하면 몇 달 동안 더 많은 앱 인텐트에서 시리가 잘 작동하도록 품질을 올리려 했지만 기존 아키텍처로는 한계가 있었다라고 말하는 부분이에요.

 그러면이 앱 인텐트라는게 뭐냐? 쉽게 말하면 시리가 어떤 앱에서 어떤 버튼을 누를지를 정의해 주는 자동 실행 엔진이라 할 수 있어요.

 앞서 개인에 대한 시D 상황을 이시로 들어보면 AI 모델이 사용자 논량에 어떤 의미인지를 먼저 해석을 해야 하고요.

 그 해석 결과를 앱 인텐트에 넘겨서 야 그러면은이 앱에서 저 앱으로 이런 순서대로 이런 버튼을 눌러서 실행해라고 작업 그래프를 만든 뒤에 그 동작이 수행돼.

 패더릭의 인터뷰와 조재의 답변을 종합해 보면이 앱 인텐트 부분, 그러니까 앱을 실제로 실행하는 단계에서 버튼을 누르는 단계에서 기존 실리 아키텍처 오율이 높았다고 합니다.

이는 사용자의 명령과 달리 시리가 원하는 대로 동작을 수행하지 않거나 쉽게 말해 명령을 씹어 버리거나 더 심각하게는 아예 다른 동작을 실행했다는 의미인데요.

 조주의 답변에 따르면 내년쯤에나 되어야이 기능이 최적화될 것으로 보인다고 합니다.

 생각해 보면 여기서 재밌는게 애플이 이번 WWDC를 통해서 단추가 기능의 애플 인텐전스 기능을 풀었다고 했잖아요.

이 단축 기능은 유저가 직접 건드릴 수 있는 자동화 솔루션이고이 단추고에서 건들릴 수 있는 옵션은 사실 거의 다 앱 인텐트 기능이거든요.

 쉽게 말해 유저가 직접 단축을 해서 손으로 조립을 하든 체리가 알아서 자동으로 조립을 하든 원료로 쓰이는 바닥제는 똑같은 앱 인테트 블록이란 이야기입니다.

 데 바로 이기죠.

 사실 애플 개발이 개인하든 시리 개발해서 골머리를 썩었던 부분이 바로이 앱 인텐트 액션과 관련됐다는 걸 생각해 보면은 올해이 WWDC에서 애플 인텔리전스 파운데이션 모델이 공개되고 단추고의이 AI를 사용할 수 있게 풀어 준게 그저 우연이라거나 선인는 아닐 거라는 생각이 드는군요.

 그럼 애플은이 앱 인텐트 부분만 해결하면 끝일까요? 아닙니다.

 사실 애플이 AI 분야에서 밀리고 있다고 평가받는 가장 큰 이유는이 온디바이스 모델의 성능 때문이 아니라 애플 인텔리전스 PCC 모델 성능 때문이거든요.

 앞서 사용자가 복잡한 작업을 부탁하면 그 요청이 애플 서버로 넘어가서 처리된다고 했잖아요.

 하지만 애플이 직접 쓴 논문에도 나오듯이 애플 인텔리전스 PCC 모델 성능은 다른 회사들 예를 들어 채 GPT 같은 클라우드 기반 AIT에 확실히 성능이 떨어집니다.

 이렇게 된 대회는 여러 가지 이유가 있겠지만 애플 인텔리전스의 PC 모델의 크기가 경쟁자에 비해 작기 때문입니다.

 애플 PC 서버에 올라간 모델은 약 170억의 활성 파라미터를 갖고 있는 걸로 추정돼요.

 파라미터는 AI가 더 정교한 판단을 할 수 있도록 돕는 일종의 정보 조각 같은 건데 GPT45는이 활성 파라미터가 1억개도 넘는 걸로 추정되고 있습니다.

 자, 그럼 애플은 왜 이렇게 활성 파라미터가 넘냐? 일단 PCC 모델의 특성에 대한 조즈 부사상 답변을 봅시다.

 Apple silicon servers protect soon as we're done doing the work on that we throw it away.

 나왔죠.

 프라이버씨.

 애플은 사용자 요청을 클라우드에서 처리할 때마다 암 복화 과정을 거치는데요.

 문제는이 암호화와 복화 과정이 데이터 처리도 경쟁자들의 방식보다 지연이 발생할 수밖에 없는 구조라 돼 있습니다.

 어쨌든 과정이 하나 더 생기는 거니까요.

 따라서이 지연을 없애려면 가장 근본적으로온 경쟁자보다 속도가 더 빠른 고성능의 하드웨어를 써야겠지만 아까 들으셨죠? 애플은 AI 추론의 애플 실리콘으로 이루어진 서버로 사용합니다.

 애플 실리콘에는 시큐어인클레이브라고 데이터 보안 처리를 하드웨어 쪽으로 보장하는 구역이 있어.

 AI 답변 역시이 구역에서 처리가 이루어지는데요.

 문제는이 애플 실리콘의 성능이 경쟁자가 사용하는 엔비디아 전용칩에 비해 연산 역폭도 떨어진다는데 있습니다.

 이런 상황에서 경쟁자와 동일한 크기의 모델을 사용한다.

 사용자로선 온 디바이스 모델을 쓸 땐 빠르던 답변이 PCC 모델만 쓰면 느려진다 느끼게 될 겁니다.

 따라서 애플은 프라이버시는 지키면서 빠른 답변 시간을 보장해 주고 적당한 성능도 보여주기 위해 온 디바이스보다는 크지만 경쟁자의 대형 모델보다는 작은 중간 정도의 AI 모델을 사용하되 아주 복잡한 요청은 채 GPT를 호출하는 기술적 타협안을 활용 중인 걸로 보이는데요.

 결국이 문제는 시간이 지난 애플 실리콘이 하도 여성능이 증가하고 AL 모델이 효율하되 적은 파라미터와 낮은 사양으로도 고차원의 답변을 내놓을 수 있을 때까지는 지속될 수밖에 없을 것으로 보입니다.

 물론제가이를 위해 없지만 말이죠.

 조즈는 인터뷰에서 애플 역시 생성형 AI 열풍에 큰 관심이 있다는 점을 지속적으로 강조했습니다.

 generations of artificial intelligence to enable features in our products and we wanted to extend this with generative to be enabling technology to even more features in our products.

 And we think it's a huge opportunity because it's on the scale of the internet mobile computing to have generative AI can generate images understand.

 다만 애플은 다른 기업과 달리 거대한 모델을 만드는데 관심을 두기보다이 생성용 AI를 이용해 자신들의 제품에 통합하는 형태, 즉 특히 개인화된 맥락을 이해하고 자동화된 앱 동작을 실행하는 시리를 구축하는데 큰 관심이 있는지 보이는데요.

 사실 스마트폰 위에서 사용자의 요청에 맞춰서 스스로 정보를 찾고 기능을 수행하는 에이전트 AI가 적용되는 것은 애플이나 다른 기업 어디서도 아직은 구현하지 못한 성배에 가까운 기술적 목표이긴 합니다.

 이런 걸 생각해 보면 애플은 단순히 AI 기술 경쟁에 뛰어들기보다 기존 테크 거인들의 AI 경쟁과는 아예 좀 다른 분야에서 자신들이 가장 잘 할 수 있는 방식으로 AI의 미래를 정의하려 하는 듯합니다.

 물론 이게 애플의 자회적인 선택일지 아니면은 급변하는 테크필드의 상황에 따른 타이적인 결정일지는 모르는 일이지만 말이죠.

 어쨌든 오늘 준비한 소식은 여기까지입니다.

 여러분 애플과 AI 그리고 스마트폰의 미래에 대해 어떻게 생각하시나요? 여러분의 생각을 댓글로 남겨주세요.

 좋아요와 구독을 간절히 부탁드리며 영상 마칩니다.

 WWDC welcome to our home.

 Uh it's so wonderful to have you here.

 Thank you for making a long trip.