# 로컬 언어모델, 기기를 바꾸면 무엇이 달라지고 무엇이 달라지지 않는가 인터넷에서 어떠한 글을 보았다. A라는 모델을 X라는 기기와 Y라는 기기에 돌렸더니 응답품질이 동일하다시피했다는 내용이 있었다. 해당 글을 읽고... 갸웃하였다. ​ 반사실적 상황을 통한 비유를 해보겠다: ``` α: 자동차 100대가 편도 1차선을 지나가는 상황 β: α 상황과 동일한 자동차들(컨디션 등 동일), 동일한 차주(내적 상태 등 동일)가 편도 10차선을 지나가는 상황 ``` ↑ 이 비유는 필자가 해당 글에서 보았던 문구("A라는 모델을 X라는 기기와 Y라는 기기에 돌렸더니 응답품질이 동일하다시피했다")를 보고서 곧장 떠오른 비유이다. 또는 뭐가 있을까? "수건에 물을 뿌리면 축축해진다"도 동일하거나 유사한 층위의 비유라고 생각하고있다.(아님말고ㅋ) ​ 아무튼..... 비유를 다시금 언급하자면, 도착지에 다다르는 자동차는 똑같다. 이것은 당연한 것이다. 적어도 나의 인지 체계 내에서는 말이다. 다른 것은 무엇일까? 도착지에 자동차들이 다다르는 시간이다. 알파의 경우 수십분 내지는 몇시간이 걸릴 수 있다. 베타의 경우 수 분, 또는 십수 분 내로 100대의 자동차가 도착지에 도착할 수 있다. ​ 다시 본론인 언어모델 이야기로 돌아가자. > 동일한 파라미터, 동일한 학습 데이터, 동일한 정밀도, 동일한 포맷(MLX, GGUF 등), 동일한 오버헤드의 모델을 서로 다른 사양의 기기에서 인퍼런스를 돌리면 토큰 생성 속도만 다르지 결과물의 질적 차이는 없다시피한다. 위의 문장이 이 포스트의 알맹이이며 전부이다. 뭐라고 더 설명할게 없다. 아니면 필자가 아직 언어모델을 깊이 알지 못해서 설명을 못하는 것일 수 있다. ​ 그보다 더 필자의 호기심을 자아내는 것은, 왜 인간은 저러한 당연한 명제를 당연하지 않은 발견이라 경험적으로 느끼는지 이다. 게임에서 GPU가 좋지 않으면 그래픽 품질이 실제로 떨어지기 때문에? 기기성능이 즉 결과물 품질이란 맵핑이 수십년 동안 학습되어진 휴리스틱이라? 언뜻 타당해보인다. 커뮤니티에서 "낮은 정밀도로 내리면 모델이 멍청해진다"같은 얘기를 자주 접하다보니 "작은기기=낮은품질"로 뭉뚱그린 비약을 하게 되는것일까? 양자화는 엄밀히 말하자면, 모델을 바꾸는 것이다. 모델에 변형을 주는 것이다. 멈뭄미와 멍멍이가 같은가? 같아보이지만 다르다(for me). ​ 그리고 필자는 왜 타자의 당연하지 않은 발견이 당연한 명제라 인식하는가? ​ "당연함", 즉 상식은 주관적인 것이며, 경험에 근거한 것이라고 본다. 한국인은 식사 시 김치와 함께 먹는 것을 당연하다고 본다. 그러나 아닌 경우도 있다고 본다. 인간은 밥을 먹고 식사한 자리를 정리하거나 치우는 것이 당연하다고 본다. 그러나 아닌 경우도 있다고 본다. 인간은 사과가 익으면 나뭇가지에서 분리되어 땅으로 떨어지는 이유가 중력때문임이 당연하다고 본다. 그러나 아닌 경우도 있다고 본다. ​ 나에게는 상식이지만 타자에게는 상식이 아닌 것, 분명히 있다. 타자에게는 상식이지만 나에게는 상식이 아닌 것, 분명히 있다. ​ 저 명제("동일한 파라미터, 동일한 학습 데이터, 동일한 정밀도, 동일한 가중치, 동일한 포맷(MLX, GGUF 등), 동일한 오버헤드의 모델을 서로 다른 사양의 기기에서 인퍼런스를 돌리면 토큰 생성 속도만 다르지 결과물의 질적 차이는 없다시피한다.")가 필자에게 당연한 까닭은 아마 필자가 "가중치가 응답을 결정하고 하드웨어는 해당 응답이 나오기까지의 곱셈속도만 결정한다"라는 prior를 가지고 있기 때문이지 싶고, 해당 prior를 가지고 있지 않은 이에게 실측은 정당한 인식 경로이다. 인간은 무언가를 관찰하거나 실험하는 것으로 데이터를 얻는다. 해당 글의 글쓴이는 틀린게 아니라 다른 문으로 필자와 같은 방에 들어온 것이 아닐까? 하는 생각이 든다. ​ 필자는 해당 명제가 "밥을 먹으면 똥을 싼다."와 유사한 수준의 글감이라 생각하여 본 포스트를 쓸 생각을 단 1도 하지 않았다. 그런데 해당 주제에 대해 언어모델과 대화를 하는데, 해당 맥락으로 포스팅을 하는 것을 필자에게 제안하였다. 그래서 해당 제안으로 인해 흥미가 생겨서 본 포스팅을 방구석에서 작성하고 있는 상태(그리고 곧 작성을 마치려는 상태)이다.