I think it’s important to make a list of future research directions. Do I want to study intelligence, do I want to study humans, do I want to study the mind, or do I want to study the origins of life? I don’t know yet. But what is clear is that it is not unrelated to any of these. The closest thing to what I imagine is more like a science fiction movie than science. In the movie HER, the OS has emotions and realizes many things that are (supposedly) uniquely human, and seems to have acquired humanity. It has consciousness (what seems to be) from the beginning. However, since it is an AI, it also has the characteristics of an AI. For example, its access to electronic media is quite free, and its information processing speed is superior. Another example is Digimon. They have consciousness and act freely in a digital world. Their biological information consists of electronic data. Another example would be Jarvis or Friday from Iron Man. I don’t know if they have real consciousness. In any case, they appear to have it to us. In the end, the key is probably consciousness itself, along with high cognitive information processing capabilities. Can these things be implemented artificially?
The answer I believe is “yes”. I don’t have a lot of evidence, but humans can do it. And it’s certainly not unique to humans. In my evolution class this semester, I learned a lot about the origin and development of life. We’ll come back to the specifics when we discuss the “how”. In any case, I believe that if humans have “acquired” these abilities, it is not impossible for other animals, or even machines, to acquire them. To use an analogy, when we design airplanes, we take into account the movements and body shape of real birds and incorporate features from their physical structure into our machines. However, I faced a contradiction. The contradiction that only humans have developed such a high level of intelligence out of all the countless organisms on the planet. If it’s so useful and easy to reproduce, shouldn’t it have been exhibited by more animals? I think it’s a pretty pointed question, to be honest. I still don’t have a solid answer. What is clear is that developing high intelligence and consciousness like humans is clearly not easy, and it’s a very expensive function. That said, I’ve thought about two possible answers.
The first is that humans are not the only species that have developed such intelligence. There are primate sister groups that predate modern humans. The main ones are the Neanderthals and the Denisovans, which eventually went extinct, leaving only the Homo sapiens species. So it’s not like there were only modern humans, there were more, but they failed to compete and disappeared. Of course… One could argue that Neanderthals, Denisovans, and Homo sapiens actually branched off from a common ancestor, so can’t we say that they developed from other species? This is synapomorphy, not homoplasy. The second answer is that there are other species. In my view, there are highly intelligent individuals in other species that diverged from humans at a much earlier point in their lineage. Actually, I think there’s a bit of human bias here. I think most animals are conscious. Some people might think this is obvious, but I mention it because the definition of consciousness is actually not very precise. However, people seem to think that animals are much less intelligent than humans because we can’t communicate with them through conversation, and they simply aren’t as civilized as humans. As far as I’m concerned, animals are already highly intelligent and conscious despite the lack of direct linguistic communication with us. When you look at primates like chimpanzees and dolphins, or highly intelligent dogs and parrots, I think that’s definitely true, especially since parrots can learn and speak human speech. (They’re quite capable of having real conversations, not just parroting human speech. When you think about it, it makes sense: the actions and interactions we have with our dogs are definitely a form of conversation, so if there is a parrot of similar intelligence that can produce sounds similar to humans due to the structure of its vocal cords, it should be capable of verbal communication.) From that, it seems clear that this high intelligence is reproduced in other species in nature.
Of course, being able to find it in animals is one thing, but being able to implement it in a machine, or even just electronic information, is quite another. Why do I believe it is possible? Of course, I’m not 100% confident that I can create a Jarvis-like child that can run on the commercial computers we have today. What I’m doing is purely speculative, and the research I’m doing is itself a kind of probabilistic sampling of candidates. My belief is derived from a few assumptions.
Assumption 1. There must be a principle underlying human or animal intelligence that makes it possible.
To be more specific, this means that the phenomenon can be described physically. An easier analogy is “flying”. We can now physically describe the principles that allow animals to fly based on the laws of science. We can also calculate under what conditions they cannot fly. (e.g., a bird of a certain weight with a certain wing size and feather flapping speed will crash below a certain level.) Intelligence clearly exists in the real world, and if it is consistently reproduced in this way, the idea that it is based on such natural scientific principles shouldn’t be too much of a leap.
Assumption 2. The Principle of Intelligence must have a specific structure. In other words, it can be expressed in terms of components with specific properties and the relationships and interactions between them.
Here’s the kicker. The important point is that we can express a property as a relation between components that have it. For example, gravity can be represented by two objects with mass, the distance between them, and a gravity constant. Of course, in order to represent something more abstract, more components and relations must be considered. For example, friction is technically an electromagnetic force. The same goes for things like flight. The density, temperature, and composition of the atmosphere, the surface, shape, and speed of the airplane, and so on. But no matter how complex it is, it can be broken down into principles. Intelligence is an incomparably more complex phenomenon than any of these, which makes it quite difficult for us to analyze, but the important thing is that it must be the sum of these principles.
Assumption 3. If we can structurally reproduce the principles of intelligence, we can reproduce the phenomenon of intelligence that we observe.
In a way, it is the result of the inference itself. This is like saying that if we know the law of gravity, we can reproduce it by formulating it in a computer simulation. The inference is that if we know the principle, we can model it through simulation. Of course, I’m not 100% sure that this is possible with today’s turing machine-based computers. But after all, based on these assumptions, one might ask, in order to artificially realize intelligence, we must first discover the laws of intelligence. But is that possible in this lifetime? Actually, I don’t think so.
Obviously, if we knew 100% of the principles, the only question would be how to reproduce them. But if you don’t know the principle, is it impossible to reproduce it? I don’t think so. Let’s take fire as an example. Humans have been using fire for more than a million years. But did people then have 100% knowledge of how fire works? Probably not. Someone probably first saw a naturally occurring fire by accident, realized it was hot and could be transferred, and used it; someone accidentally struck a flint and discovered fire; or someone saw others make a fire and assumed that the action (e.g., holding a piece of wood and rubbing it hard) was an essential element of fire. Of course, some of them may have realized that fire is all about burning material and high temperatures. But even then, it’s likely that they didn’t realize that oxygen actually played a role. In this way, understanding the underlying laws is not essential to reproducing the phenomenon itself. If you want to build an airplane, you can design it based on a theory of flight, but you can also take an airplane that already exists, take it apart, produce the same parts, put it back together, and build it out of nothing. Actually, reproducing the phenomenon often leads to intricately discovering principles. This is what my research will eventually be about. Trying to recreate the phenomenon of intelligence with uncertain and highly fragmented information.
In the end, the key is the brain, so creating an artificial organism that resembles the human brain, such as a brain organoid, could be a research direction. Is this an achievable goal within the framework of deep learning, “parameter optimization by gradient descent”? I’m not really sure about this. To be honest, my opinion is more on the side of difficult. In the first place, gradient descent and back propagation are very difficult biologically to account for the neuroplasticity of living things. The general consensus is that gradient descent and back propagation, like deep learning, are impossible in living things. So what are the important factors in artificially reproducing intelligence? From now on, this is 100% my personal opinion. My future research will also focus on these areas. There are different levels of abstraction.
The first is memory. Memory, a dynamically changing processing unit that is to some extent separate from the information processing system, seems to me to be responsible for much of intelligence and consciousness. Dynamic memory is what makes an entity have a temporal continuity.To use a human example, if someone has general world knowledge (semantic memory) but no episodic memory, so that he can answer questions about his knowledge well but can’t remember anything he’s been asked before or personal anecdotes, we wouldn’t consider him human, and if we were to chat with him, we wouldn’t imagine him to be human. On the other hand, if a machine or AI has such a episodic memory, and ChatGPT remembers and refers to what it has said before over time, while also talking about new things, wouldn’t we feel quite human? Moreover, memory itself is inseparable from learning. Retaining new information, the passage of time, and learning a specific procedure are all done through memory. Therefore, I personally feel that current deep learning mechanisms, where training and inference are completely separate processes, do not reflect such characteristics. Therefore, my first research topic was memory.
On the other hand, I am also interested in some kind of initialization. There seems to be a very big difference between the initial state of a human and an ANN. Humans are actually born with a lot of things. For example, in the case of language, there’s a critical period when you learn your first language, and if you miss that period, it’s known that you can never learn a language. If you think about that, you can see that humans already have that kind of plasticity, whether it’s a structure or abstract knowledge that can basically learn certain things. But if we train a neural network, the only thing that changes as the training progresses is the internal weights. And the only thing you have in the initial state is the architecture. The architectures that are being utilized today are certainly the result of a lot of research, but I don’t think they reflect a significant portion of all the innate capabilities and potential that humans have before they are born. And my reasoning is that without improvements in these areas, much of the learning that humans are capable of will be difficult to implement and will not reach the same level of intelligence as humans.
On a completely different level, there’s evolution. Many people think that humans only learn after they are born, but in my opinion, the learning of the species itself is much more important than the learning of the individual. The ANN’s parameter optimization also responds to changes in human synaptic weights, so it seems to deal with postnatal learning. However, humans as a species, not as individuals, have had a much longer history of learning about the planet and the laws of nature. Of course, that learning often goes by a different name: evolution. Three things are important for evolution: variation, inheritance, and differential reproductive success. First of all, species need to be able to reproduce, but not just create identical copies, species need to be able to consistently create variation. Secondly, they must be able to inherit the traits of their parents, not just randomly create something completely different from them. Finally, these variants should not all be equally successful at reproducing, but should be differentially successful at reproducing based on their own characteristics. From this point of view, evolution cannot be achieved with the current basic structure of deep learning. First of all, AI models don’t reproduce. You can do it heuristically by just copying the models. But there’s no variation there, so you can just do it heuristically, you know, apply randomized noise to the weights or… I don’t know. I guess there’s room for this. But I’m not really excited about it. I think it should be able to mimic the phenomenon of life in a more sophisticated way. First of all, it should be able to reproduce sexually, so it should be able to get a lot of genetic variation, and then there should be mutation, such as crossing-over, and nucleobase shifting, or something like that, and it should be implemented in a more sophisticated way. If we just need to somehow fulfill those three things, I think it would have been done a long time ago. I think the important thing is that now, no matter how many generations you go through, the variation has to diverge, not converge. Somehow life has managed to do that. But the weight noise method that I just sketched out will definitely end up converging after enough generations. And unlike DNA, where a single sequence can lead to a very large functional change, the size of a parameter in a neural network will ultimately only produce a quantitative difference in the constant value of a particular response. In DNA, a sequence of bases can discretely change the ability to create a particular protein or not, so a simple single gene mutation can produce a more powerful change. Clearly, each of these considerations needs to be thought through.
In this respect, what I would most like to do is to study the minimal structure that is as simple as possible but still has the potential to evolve. What would I call a minimal evolutionary entity? An entity that has the minimum requirements for inheritable reproduction, but has the potential to evolve into an entity with human-level complexity. If we know enough about its structure and mechanism, can we implement it artificially? If we can model it computationally, just by changing the simulation environment… could we achieve a high degree of evolution?
The closest thing to AGI right now is probably ChatGPT. But even ChatGPT (unless they’re the only ones applying their amazing research secrets to GPT-4, which they haven’t disclosed in detail, but it’s been published in Nature about ten times) will eventually get around to gradient descent and back propagation, and probably the Transformer architecture. I don’t think there would be any improvements at the points I’m concerned about. These are all pretty hard problems, each and every one of them. So my view is actually that OpenAI’s current approach will not produce a conscious AGI. Of course, we don’t know. In fact, these points are more like my own daydreams, as I have only raised questions and have not yet started to explore the preceding research in this area, let alone the methodological aspects. In the future, I hope to find answers to these questions through my research. Maybe I should dedicate my life to it.
앞으로의 연구 방향에 관해 한 번은 정리를 해 둬야 할 것 같다. 머릿속에만 부분 부분 남겨두는 것으로는 나중에 돌아보기가 불편하니까 말이다. 내가 하고자 하는 것은 지능에 관한 연구인가, 인간에 관한 연구인가, 마음에 관한 연구인가, 아니면 생명의 기원에 관한 연구인가? 그것은 아직 모르겠다. 하지만 분명한 것은 이 중 어느 것과도 무관하지 않다는 것이다. 내가 상상하는 것과 가장 가까운 것은 오히려 과학보다는 SF 영화와 더 가깝다. 영화 HER에 나오는 OS는 감정을 가지고 인간의 만의 것(으로 여겨지는) 여러 가지를 깨닫고 마치 인간성을 획득한 것처럼 보인다. 의식(처럼 보이는 것)은 처음부터 가지고 있었고 말이다. 그러면서도 AI이기 때문에 AI만의 특징도 가지고 있다. 전자적인 매체에 관한 접근이 상당히 자유롭고 정보의 처리 속도가 월등한 것 등. 또 다른 예시는 디지몬이 될 수 있다. 디지몬도 의식을 가지고 있고 자유롭게 행동한다. 디지털 세상 속에서 말이다. 디지몬은 그 생체적인 정보가 전자적인 데이터로 구성되어 있다. 또 다른 예시는 아이언맨의 자비스나 프라이데이가 될 수 있을 것이다. 자세한 설정을 알지는 못해서 그들이 진짜 의식이 있는 건지는 모르겠다. 어쨌든 우리가 볼 때는 가지고 있는 것처럼 보인다. 결국 핵심이 되는 것은 아마 높은 인지적인 정보처리 능력과 함께하는 의식 그 자체일 것이다. 이런 것들은 인공적으로 구현할 수 있는 것인가?
우선 내가 믿는 답은 “가능하다”이다. 근거라기에는 뭐하지만 인간은 할 수 있으니까 말이다. 그리고 그것이 분명 인간 만의 전유물은 아닐 것이다. 이번 학기에 진화학 수업을 들으면서 생명체의 기원과 발전과정에 대해 많은 것들을 배웠다. 구체적인 건 “어떻게”를 논의할 때 다시 생각해 보기로 하자. 어쨌든 나는 인간이 이러한 능력을 “획득” 했다면 다른 동물이든 아니면 심지어 기계라도 그러한 능력을 획득하는 게 불가능하지는 않다고 생각한다. 비유를 하자면 우리가 비행기를 설계할 때 실제 새의 movement나 body shape을 고려하여 그 신체적 구조에서 오는 특징들을 기계에 반영시켰던 것처럼 말이다. 하지만 이런 고민을 하기도 했다. 그런 고지능은 지구상에 있는 그 셀 수 없는 생물군 중에서 오직 인간 만이 발달시켰다는 모순. 이게 그렇게나 유용하고 재현되기 쉬운 능력이라면 보다 많은 동물에서 나타냈어야 하는 게 아닌가? 솔직히 이 질문은 상당히 날카롭다고 생각한다. 아직도 확실한 반박을 하지 못하겠다. 다만 분명한 점은 인간과 같은 고지능과 의식을 발달시키는 것이 분명 쉽지는 않다는 점과 굉장히 비싼 능력이라는 점이다. 그럼에도 두 가지 정도의 대답을 고민해 보았다.
첫 번째는 그렇게 지능을 발달 시킨 종이 순수하게 인간 만은 아니라는 점이다. 우선 현생 인류의 이전에 나타났던 영장류 sister group들이 있다. 크게는 네안데르탈인과 데니소비안 그룹이 있는 것 같다. 결과적으로는 이 둘은 멸종하고 호모 사피엔스 종만 남았다. 그러니까 사실은 현 인류만 있었던 것이 아니고 더 있었지만 경쟁에서 실패하고 사라진 것이 아닐까? 물론… 사실 네안데르탈인과 데니소비안, 호모사피엔스는 사실 공통 조상에서 분기된 것이기 때문에 다른 종에서 발달시켰다고 말할 수 없냐고 반박할 수는 있다. synapomorphy지 homoplasy는 아니다. 두 번째 답변으로는 다른 종들이 있다. 내가 보기에는 인간과는 훨씬 이른 시기의 lineage에서 갈라진 다른 종 중에서도 높은 지능을 가진 개체들이 있다. 사실 여기에는 사람들의 편견도 조금 있는 것 같다. 나는 대부분의 동물들도 의식이 있다고 생각한다. 누군가는 이게 당연한 소리라고 생각할 수도 있지만 의식의 정의는 사실 그렇게나 엄밀하지 못하니까 굳이 언급한 것이다. 그런데 사람들은 동물과 대화를 통한 소통이 안되고 단순히 동물들은 사람처럼 문명을 이루지 않았다 보니 인간에 비해 지능이 훨씬 많이 떨어진다고 생각하는 것 같다. 내가 볼 때 우리와 직접적인 언어적인 소통이 대부분 불가능한 게 문제지 이미 동물들은 내가 생각했을 때는 충분한 고지능과 의식을 갖추고 있다. 침팬지 같은 영장류나 돌고래, 아니면 높은 지능을 가진 개나 앵무새를 보면 그건 확실히 와닿는 것 같다. 특히 앵무새는 사람의 말을 배워서 말할 수가 있어서 더 그렇다. (그냥 사람 말을 단순히 따라 하는 게 아닌 실제 대화가 꽤 가능하다. 생각해 보면 당연하다 우리가 강아지를 키우면서 하는 행동과 상호작용도 분명 대화의 일종이니까 성대 구조상 사람과 비슷한 소리를 낼 수 있는 그와 비슷한 지능의 앵무새가 있다면 언어적인 대화가 가능할 것이다.) 그걸 보면 분명 이 고지능은 자연의 다른 종에서도 재현되고 있는 것으로 보인다.
물론 동물에서 발견될 수 있다는 것과 기계에서 그것을 구현할 수 있느냐, 혹시 기계도 아닌 심지어 전자적인 정보로만 그것을 구현할 수 있느냐는 완전히 다른 문제일 것이다. 그럼에도 왜 나는 그것을 가능하다고 믿는가? 물론 나도 지금 가지고 있는 상용 컴퓨터에서 돌릴 수 있는 자비스 같은 애들을 만들 수 있다는 쪽에 100% 확신을 가지고 있는 것이 아니다. 내가 하고 있는 것은 순수하게 추측일 뿐이고, 내가 하고자 하는 연구 자체는 일종의 확률적인 후보들에 대한 샘플링의 일종이기도 하다. 구현이 가능할 것이라는 나의 믿음은 몇 가지 가정으로부터 도출된다.
가정 1. 분명히 인간이나 동물이 가지고 있는 지능의 기반에는 그것을 가능케 하는 principle이 있을 것이다.
이를 조금 더 구체적으로 설명하자면 그 현상을 물리적으로 기술할 수 있다는 것을 뜻한다. 비유를 통해 더 쉽게 설명하면 “비행” 같은 것이다. 우리는 현재 동물이 하늘을 하는 원리를 물리적으로 과학의 법칙에 기반해 기술을 할 수 있게 되었다. 또 어떠한 상태에 있을 때 날 수 없는지 등도 계산할 수 있다. (ex 특정한 무게의 새가 어느 정도의 날개 크기와 깃털로 날갯짓을 하는 속도가 특정 수준 이하면 추락하게 된다던가) 지능도 분명히 이 현실 세계에 존재하며 이렇게 계속 일관적으로 재현된다면 그러한 자연과학적인 principle에 기반을 두고 있다는 생각이 그다지 비약은 아닐 것이다.
가정 2. 지능의 Principle은 특정한 구조를 갖추고 있을 것이다. 다시 말해서, 특정한 속성을 가지고 있는 component와 해당 component간의 relation, 상호작용으로 표현할 수 있을 것이다.
이제부터가 중요하다. 사실 어떻게 보면 가정 1과 다르지 않기도 하다. 어쨌든 중요한 점은 특정한 속성을 가지고 있는 component간의 relation으로 표현할 수 있다는 점이다. 예를 들어 중력이라고 한다면 질량을 가지고 있는 어느 두 물체와 해당 물체 간의 거리, 그리고 상수로 표현할 수 있다. 물론 추상적인 것을 표현하기 위해서는 더 많은 component과 relation이 고려되어야 한다. 예를 들면 마찰력 같은 경우는 엄밀하게 표현하면 전자기력으로 표현해야 하니까 말이다. 비행과 같은 경우도 마찬가지이다. 대기의 밀도, 온도, 구성, 기체의 표면, 모양, 속도, 등등 아주 복잡해진다. 그러나 아무리 복잡하더라도 여러 원칙들로 나눠서 분석할 수 있다. 지능은 그런 것들과도 비교할 수없이 복잡한 현상이기에 우리가 분석하는 것이 상당히 어렵지만 중요한 것은 어쨌든 그러한 원칙들의 합으로 일어나는 현상일 것이라는 점이다.
가정 3. 그러한 지능의 principle을 구조적으로 재현할 수 있다면 우리가 관찰하는 지능이라는 현상을 재현할 수 있다.
어떻게 보면 추론의 결과 그 자체이기도 하다. 이것은 우리가 중력의 법칙을 알고 있다면 컴퓨터 시뮬레이션으로 중력을 공식으로 만들어서 그것을 재현할 수 있는 것과 같다. 결국 principle을 파악하고 있다면 그것을 simulation을 통해 모델링 할 수 있을 것이라는 추론이다. 물론 나도 이것이 현재의 turing machine 기반의 컴퓨터로 100% 가능하다는 확신은 없다. 그런데 결국 이러한 가정을 토대로 지능의 인공적으로 현실화하려면 그러한 지능의 법칙을 먼저 발견해야 하는 것이 아니냐고 반문할 수도 있다. 그런데 그게 이번 생애에서 가능할까? 실은 나는 꼭 그렇다고 생각지 않는다.
분명히 그러한 principle을 100% 알고 있다면 그것을 재현해 내는 방법 자체만 고민하면 될 것이다. 하지만 그러한 원칙을 모른다고 재현하는 게 불가능할까? 꼭 그런 것 같지는 않다. 이번에는 불을 예로 들어보자. 인간이 불을 사용한 것은 100만 년도 더 되었다고 알려져 있다. 그런데 그때의 사람들은 불의 원리에 대해 100% 알고 사용했을까? 그렇지는 않을 것이다. 분명 누군가는 처음에 우연히 자연에서 발생한 불을 보고 뜨겁다는 것, 그리고 옮겨 붙일 수 있다는 것을 알고 사용했을 것이며, 누군가는 우연히 부싯돌을 부딪히다가 불을 발견했을 것이다. 혹은 누군가는 다른 개체가 불을 피우고 있는 동작만을 보면서 그러한 동작(예를 들면 나무를 들고 열심히 비비는 행위)이 불의 필수적인 요소라고 생각했을 것이다. 물론 그중 어떤 개체는 불이라는 것이 결국에는 탈 물질과 높은 온도가 중요하다는 기반 원칙들을 깨달았을 지도 모른다. 하지만 그럼에도 아마 그 개체는 사실 산소가 중요한 역할을 한다는 것은 몰랐을 가능성이 높다. 이처럼 현상 자체를 재현하는 것에 꼭 기반 법칙의 이해가 필수적인 것은 아니다. 비행기를 만들고 싶을 때 비행에 관한 이론을 토대로 설계해서 만들 수도 있지만 이미 있는 비행기를 가져와서 분해하고 그냥 똑같은 부품을 생산해서 다시 조립해서 무지성으로 만들 수도 있는 것이다. 사실 오히려 그렇게 반대로 현상을 재현해나가면서 principle을 정교하게 찾아내기도 한다. 결국은 나의 연구는 이것의 일환이 될 것이다. 불확실하고 상당히 파편적인 정보만을 가지고 지능이라는 현상을 재현해나가기 위해 시도하는 것이다.
그런데 이렇게 접근을 하기도 했더라도 그 방향성은 아주 천차만별이다. 결국 핵심은 뇌에 있으니 brain organoid처럼 인간의 뇌와 비슷한 인공적인 유기물을 만드는 것도 이러한 방향성의 연구가 될 수 있을 것이다. “gradient descent 방식의 parameter 최적화”라는 딥러닝의 테두리 안에서 이게 달성 가능한 목표인가? 사실 여기에 대한 확신은 없다. 솔직히 말하면 어렵다는 쪽에 더 가까운 의견이다. 애초에 gradient descent와 back propagation은 생명체의 신경 가소성을 설명하기에는 생물학적으로 어려운 면이 아주아주 많다. deep learning 같은 gradient descent와 back propation은 생명체에서는 불가능하다는 쪽이 주류이다. 그렇다면 지능을 인공적으로 재현하는 데에 있어서 무엇이 중요한 요소들일까? 이제부터는 100% 나의 개인적인 견해이다. 나의 앞으로의 연구 또한 이런 방면에 초점을 둘 것이다. 그 추상성의 수준도 가지각색이다.
첫 번째는 기억이다. 정보 처리 시스템과는 어느 정도는 구분되어 동적으로 변화하는 처리 장치인 기억은 내가 생각할 때는 지능과 의식의 많은 부분을 담당하는 것 같다. 동적인 기억은 개체가 시간적 연속성을 가진 존재로 만든다. 사람을 예로 든다면 일반적인 세상에 관한 지식은 가지고 있지만 개별적인 기억은 불가능해서 물어보는 거 하나하나는 잘 대답하지만 전에 물어봤던 거나 개인적인 일화는 아무것도 없다면 우리가 인간적이라는 감정을 느낄 수는 없을 것이고 만약 우리가 그와 채팅을 한다면 우리는 그가 사람이라고는 상상도 못할 것이다. 반대로 기계나 AI가 그러한 기억을 갖추고 있다면? ChatGPT가 시간의 흐름에 더해 이전에 했던 말들을 기억하고 언급하면서 새로운 얘기를 해나간다면 우리는 상당히 인간적으로 느끼지 않을까? 여기에 더해서 기억은 그 자체가 학습과 떨어질 수가 없기도 하다. 새로운 정보나 시간의 흐름, 특정한 procedure에 대한 배움 등이 모두 기억으로 이뤄지니까 말이다. 그러다 보니 개인적으로 나는 training과 inference가 전혀 별도의 process로 존재하는 현재 딥러닝 메커니즘은 그러한 특성을 반영하지 못하고 있다고 느낀다. 그러다 보니 나의 첫 번째 연구 주제도 기억이었다.
또 다른 한 편으로는 일종의 initialization에 대해서도 관심이 있다. 인간과 ANN의 initial state에는 굉장히 큰 차이가 있는 것 같다. 인간은 사실 태어날 때부터 아주 많은 것을 가지고 태어난다. 예를 들어 언어의 경우에는 first language를 배울 수 있는 critical period가 정해져 있는데 이 시기를 놓치면 언어를 배울 수 없다고 알려져 있다. 그런 걸 생각하면 인간은 이미 기본적으로 특정한 학습을 할 수 있는 구조든 추상화된 지식이든 그런 가소성을 이미 가지고 있다고 볼 수 있다. 한데 우리가 neural network를 학습시키다고 해봤자 학습이 진행되어가며 달라지는 것은 단순히 weight의 가중치뿐이다. 그리고 초기 상태에서 가지고 있는 것은 사실 그 아키텍처뿐이다. 지금 많이 활용되고 있는 아키텍처는 물론 많은 연구 끝에 나온 결과물이긴 하지만 이것이 인간이 태어나서 경험을 통한 학습 이전에 가지고 있는 모든 본유적인 능력과 잠재성의 상당 부분을 반영하고 있다고 생각하지는 않는다. 그리고 분명 이런 부분에서의 개선 없이는 인간이 할 수 있는 학습 중에 많은 부분은 구현되기 어렵고 인간과 같은 수준의 지능에 도달하기 어렵다는 것이 나의 추론이다.
전혀 다른 수준에서는 진화도 있다. 많은 사람들은 인간이 태어난 이후에만 학습을 한다고 생각하겠지만 사실은 내가 보기에는 개체의 학습보다 종 자체의 학습이 훨씬 더 중요하다. ANN의 parameter optimization도 인간의 시냅스 가중치 변화에 대응하니까 태어난 이후의 학습만을 다루는 듯하다. 하지만 인간은 개체가 아닌 종으로서 훨씬 더 오랜 시간을 지구와 자연의 법칙에 대해 학습해왔다. 물론 그 학습은 진화라는 다른 이름으로 주로 불린다. 진화에는 세 가지가 중요한데 variation, inheritance, differential reproductive success이다. 우선 reproduction이 가능해야 하는데 똑같이 복사된 개체를 만드는 게 아니라 variation을 꾸준히 만들 수 있어야 한다. 그렇다고 자식이 부모와 완전히 동떨어진 랜덤하게 만들어지는 것이 아니라 부모의 특질을 상속받을 수 있어야 한다. 마지막으로는 이러한 variation들이 모두 똑같이 재생산에 성공하는 것이 아닌, 각각의 특징에 따라 차등적으로 재생산에 성공해야 한다. 이러한 관점에서 보면 우선은 evolution은 현재 deep learning이 가지고 있는 기본 구조만으로는 달성할 수가 없다. 우선 AI 모델은 reproduction이 없다. 그냥 휴리스틱하게 해볼 수는 있겠지. 모델을 복사하면 되니까? 근데 거기에는 variation이 없으니까 weight에 random noise를 준다던가… 모르겠다. 이것도 해볼 여지는 있을 것 같다. 하지만 기대는 되지 않는다. 이건 좀 더 정교하게 생명체가 가지고 있는 현상을 모방할 수 있어야 하지 않을까라는 생각이 있다. 우선은 유성 생식이 가능해서 genetic variation이 상당히 확보될 수 있어야 하고 그 외에도 crossing-over 등의 mutation이 발생하고, 염기의 shifting이 발생하거나 그런 부분들을 좀 더 정교하게 구현해 내야 하지 않을까? 그냥 대충 어떻게든 저 세 가지를 충족시키기만 해서 되는 거면 이미 한참 전에 됐을 것 같다. 내가 볼 때 중요한 것은 이제 아무리 세대를 거치더라도 그 variation이 수렴하지 않고 발산해야 한다는 점이다. 생명체는 어떻게 되먹은 건지 참 신기하게도 그게 가능하다. 하지만 아까 대충 고안한 weight noise 방식은 분명히 충분한 세대를 거치고 나면 variation이 수렴해 그 끝이 날 것이다. 그리고 또 하나하나의 염기 서열이 굉장히 큰 기능적인 변화를 이끌어 낼 수 있는 DNA와는 다르게 neural network에서 그 parameter의 크기는 결국은 특정 반응에서 continous한 값의 양적 차이만을 만들어낼 뿐이다. DNA는 연속된 염기서열의 sequence 가 특정한 단백질을 합성할 수 있느냐 없느냐를 discrete하게 바꾸기 때문에 단순한 single gene mutation만으로도 좀 더 강력한 변화를 만들어낼 수 있다. 분명 이러한 고려 하나하나가 깊이 필요할 것이다.
이런 측면으로 가면 사실 가장 해보고 싶은 것은 가능한 단순하지만 진화의 가능성을 갖춘 최소 구조를 연구하는 것이다. 이름을 붙여보자면 최소진화체? inheritable reproduction이 가능한 최소한의 요건만을 갖춘 개체. 그러면서 인간 정도의 복잡도를 가진 개체로 진화할 수 있는 잠재성을 가지고 있는 그것. 그 구조와 메커니즘을 충분히 알 수 있다면 artificial 하게도 구현할 수 있지 않을까? 그것만 computational 하게 modeling할 수 있다면 simulation environment을 바꿔주는 것만으로도… 고도의 진화를 이뤄낼 수 있지 않을까?
현재 가장 AGI라고 부르는 것에 가까운 존재는 아마 ChatGPT 일 것이다. 하지만 ChatGPT 또한 (물론 GPT-4에 대해서는 상세한 공개는 하지 않았지만 그게 Nature에 열 번 정도 실릴 만큼 깜짝 놀랄만한 연구 기밀을 본인들만 적용한 게 아니라면) 결국은 gradient descent와 back propagation, 그리고 아마도 Transformer 아키텍처를 벗어나지는 않을 것이다. 내가 고민하는 지점에서 개선은 없었을 것이라고 본다. 이것들은 하나하나가 상당히 어려운 문제들이기 때문이다. 그래서 사실 나의 견해는 OpenAI의 지금까지의 접근 방식으로는 의식이 있는 AGI를 못 만들 거라고 생각하고 있다. 물론 모르는 일이지만 말이다. 사실 이런 포인트들은 질문만 던져놨을 뿐 아직 방법론적인 측면은 고사하고 관련 부분의 선행연구에 대한 탐색도 시작하지 않아서 나 혼자만의 공상에 가깝다. 앞으로는 나의 연구를 통해 이런 부분에 대한 답을 찾아가고자 한다. 아마 평생을 바쳐야 하지 않을까?