오늘날, 체계 이론은 고도로 발전했지만 논쟁적인 분석 도구이다. 체계 이론은 예술과 직접적으로 관련되지 않는 이론적 결정을 요구한다. (물론 이는 다른 예술 분석—예를 들어 기호학적 분석—에도 해당된다.) 사회가 기능적으로 분화된 체계이며, 이러한 형태가 역사적으로 고유하다는 명제와 결합하면, 체계이론적 관점은 추가적인 함의를 갖는다. 즉, 서로 다른 기능 체계들이 여러 측면에서 비교 가능한 대상으로 다루어진다는 뜻이다.
체계 형성과 체계 경계, 기능, 매체와 형식, 작동적 폐쇄(operative closure), 자기생산(autopoiesis), 1차 및 2차 관찰, 부호화(coding)와 프로그래밍 같은 문제들은 어떤 기능 체계에 대해서도 연구될 수 있다. 이러한 연구가 구체화되어 답을 얻게 되면, 사회 이론은 사회의 통일된 의미를 찾아내려는 시도—예를 들어, 사회를 인간 본성, 창립 계약, 궁극적 도덕 합의로부터 유도하려는 시도—에 의존하지 않게 된다. 이런 명제들은 사회 체계가 가질 수 있는 자기서술(self-description)의 다양한 형태로 간주될 수 있다. 그러나 궁극적으로 사회를 특징짓는 것은, 바로 그 하위 체계들의 비교 가능성 속에서 나타난다.
예술(법, 과학, 정치 등과 마찬가지로)이라는 영역에서 발견되는 것은 예술만의 고유한 특징이 아니라, ‘적절한 변경을 거쳐’ 다른 기능 체계에서도 발견될 수 있는 특성들이다. 예를 들어, 2차 관찰의 방식으로의 전환이 그렇다. 예술은 하나의 체계로서 스스로를 분화함으로써 사회에 참여하며, 이는 다른 기능 체계와 마찬가지로 작동적 폐쇄의 논리에 예술을 종속시킨다. 현대 예술은 작동적 의미에서 자율적이다. 아무도 예술이 하는 일을 대신하지 않는다. 현대 예술의 사회적 성격은 이러한 작동적 폐쇄와 자율성에 있다.
우리는 다음과 같은 구분에 기초하여 분석을 진행한다. 즉, 한편으로는 체계/환경 관계, 다른 한편으로는 체계/체계 관계라는 구분이다. 체계/환경 관계를 다룰 때, 체계는 형식의 내부를 구성하며, 환경은 표시되지 않은(unmarked) 공간이다. 그러나 체계/체계 관계를 다룰 경우, 다른 쪽도 표시되고 지시될 수 있다. 이 경우 예술은 더 이상 ‘나머지 모든 것’과 관계 맺는 것이 아니라, 예술가가 정치적 편의에 의해 동기 부여를 받았는지, 부유한 고객의 의뢰를 받았는지와 같은 문제를 다루게 된다.
다른 사회 영역—경제, 정치, 과학 등—이 기능 체계로서 확립된다면, 예술에는 어떤 일이 일어날까? 이들이 특정 문제에 더 좁게 초점을 맞추고, 모든 것을 그 관점에서 바라보며, 궁극적으로 그 문제를 중심으로 폐쇄하게 된다면? 14세기 피렌체에서 메디치 가문이 의심스러운 방식으로 획득한 돈을 정치적 정당성을 확보하기 위해 예술을 후원하고, 그것을 정치적 지위를 강화하는 데 재투자한다면, 예술은 어떤 모습일까? 다른 체계들의 기능 지향적 분화가 사회 전체를 기능적 분화로 밀어붙인다면, 예술은 이제 다른 기능 체계의 노예가 될 것인가? 아니면—우리가 주장하듯—기능 체계들의 점증하는 자동화가 오히려 예술로 하여금 자기 고유의 기능을 발견하고 오로지 그 기능에만 집중하도록 촉구하는 것인가?
[...]
예술이 세계 속에서 만들어내는 차이를 보다 급진적으로 공식화해야 한다. 한 가지 가정은, 예술이 ‘지각’을 사용함으로써, 의식이 자기 바깥을 외화하는 활동 수준에서 의식을 포착한다는 것이다. 그렇다면 예술의 기능은 본질적으로 전달 불가능한 것—즉, 지각—을 사회의 의사소통 네트워크에 통합하는 데 있을 것이다. 칸트는 이미 예술의 기능(미적 관념의 제시)의 핵심을, 언어나 개념적 이해를 넘어서는 사고를 자극하는 능력에서 찾았다. 예술 체계는 지각하는 의식에게 작품 관찰이라는 고유한 모험을 허락하면서도, 그 모험을 촉발한 형식적 선택을 의사소통으로서 제공한다.
지각은, 사유나 의사소통과는 달리, 독립적으로 중복성과 다양성의 관계를 가진다. 지각은 놀라움과 인식을 단일한 순간에 제시할 수 있다. 예술은 이러한 지각의 가능성을 활용하고, 확장하며, 심지어 ‘착취’하여, 이 구별의 통일성을 제시할 수 있게 한다. 달리 말하면, 예술은 관찰이 놀라움과 인식 사이를 오가도록 허용한다. 예를 들어, 다른 작품에서의 전유를 통해 반복이 동시에 낯설고도 친숙하게 느껴지도록 하는 방식이다. 그러나 이러한 반복의 식별은 개념적 추상에 의존하는 것이 아니라 지각에 의존한다. 예술은 이러한 문제에 특화되어 있으며, 이것이 일상 지각에서의 작은 불편을 해결하려는 평범한 시도와 구분되는 지점이다.
따라서 예술 작품은 일상의 현실과는 다른 고유한 현실을 수립한다. 그러나 작품의 지각 가능성에도 불구하고, 그리고 그것의 부인할 수 없는 현실성에도 불구하고, 작품은 동시에 또 다른 현실—그 의미가 허구적이거나 상상의—을 구성한다. 예술은 세계를 현실 세계와 상상 세계로 분리한다. 이는 언어의 상징 사용이나 종교의 성스러운 사물·사건 처리 방식과 닮았으면서도 다르다. 예술의 기능은 이 분할의 의미와 관련된다. 이는 단순히 주어진 세계를 더 많은 사물(‘아름다운’ 것일지라도)로 풍부하게 만드는 문제가 아니다.
예술의 상상적 세계는 다른 어떤 것을 ‘현실’로 규정할 수 있는 위치를 제공한다. 이는 언어 세계가 오용의 가능성을 가지고 그렇게 하듯이, 또 종교 세계가 다른 방식으로 그렇게 하듯이 이루어진다. 이러한 차이의 표지가 없다면, 세계는 그저 있는 그대로일 것이다. 오직 ‘거기 밖에 있는’ 현실이 허구적 현실과 구별될 때만, 우리는 한쪽을 다른 쪽의 관점에서 관찰할 수 있다. 언어와 종교는 이러한 ‘이중화(doubling)’를 수행하여, 주어진 세계를 현실로 지시할 수 있게 한다. 예술은 여기에 새로운 변화를 가한다. 즉, 상상을 거쳐 현실로 돌아오는 우회로를 통해, 그러나 지각 가능한 사물의 영역에서 자신을 실현한다. 현실과 꿈, 현실과 놀이, 현실과 환상, 심지어 현실과 예술 사이의 다른 어떤 이중화도 예술 세계의 상상적 현실 속으로 복제될 수 있다. 언어와 종교와 달리, 예술은 ‘만들어진 것’이기에, 형식 선택의 자유와 제약이 모두 존재한다.
오직 현실과 허구적·상상된 현실 사이의 분화가 구체적인 현실과의 관계를 가능하게 한다. 예술은 현실이 보여주지 않는 것을 ‘모방’하거나(본질적 형태, 관념, 신성한 완전성 등), 현실이 인정하지 않으려는 것을 ‘비판’하거나(그 결함, ‘계급 지배’, 상업적 지향성 등), 혹은 현실을 ‘긍정’할 수도 있다(그 표현이 실제로 성공적이며, 작품 제작과 감상이 즐거움을 준다는 것을 보여줌). 모방/비판/긍정이라는 개념들은 가능성을 다 소진하지 않는다. 또 다른 목적은 관찰자를 개인으로 호명하여, 현실(결국 자기 자신과도)을 직면하게 하고, 현실에서 결코 배울 수 없는 방식으로 그것을 관찰하는 상황을 연출하는 것이다.
질문을 다시 말하면, 예술이 있을 때 현실은 어떻게 나타나는가?
현실의 복제를 만들어내어 현실을 관찰할 수 있게 하는 예술 작품은 관찰자가 이 분할을 극복하도록 맡길 수도 있다. 그것이 이상화적, 비판적, 긍정적 방식이든, 혹은 자신만의 경험을 발견하는 것이든 말이다. 어떤 텍스트는 긍정적이기를 의도하며, 지나친 부정성에 중독된 태도에 맞선다. 그러나 그 텍스트도 아이러니하거나 멜랑콜리한 태도로 읽힐 수 있고, 자신이 겪은 소통 경험을 비추는 거울이 될 수 있다.
예술은 그 형식을 사물에 내재시키므로, 현실에 대한 합의와 반대, 긍정과 비판 사이에서 선택을 강요받지 않는다. 예술은 합리적 정당성을 필요로 하지 않으며, 지각 가능한 사물의 영역에서 자신의 설득력을 펼쳐 보임으로써 이를 증명한다. 전통적 교리에 따르면 예술 작품이 주는 ‘쾌감’은 허영심을 조롱하는 악의적 즐거움, 즉 이성을 통해 세계에 접근하려는 헛된 시도를 향한 경멸의 힌트를 포함한다.
독립적으로 발전한 예술의 형태 감각은 자율성의 증대로 이어지며, 특히 예술이 자기 자신에 반응하는 역동성을 발전시킬 때 그렇다. 일상생활은 예술의 가치 있는 대상이 되며, 예전에는 중요한 것으로 여겨졌던 것들이 왜곡되고 허위로 표현된다. 보편적 가치는 단순히 부정되거나 전복되는 것을 넘어서 중립화되고 거부된다. 이는 예술이 가치가 아닌 ‘가능성의 질서’를 보여주기 위한 것이기 때문이다.
이러한 경향에 맞서 예술은 자체의 절차와 원칙을 발전시켰다. 즉, 새로움, 모호성, 스타일 의식, 그리고 다양한 예술 장르를 주제로 삼아 이들을 신(新) 합리주의와 구분 짓는 자기 서술이다.
20세기에 이르러서는 실제 사물과 구분이 불가능할 정도로 자신을 표현하는 작품들이 등장한다. 일반 사물이 스스로 평범한 것으로 받아들여지길 요구하지는 않지만, 그것을 요구하는 작품은 그 자체로 자신을 배신한다. 이런 경우 예술의 기능은 예술의 차이를 재생산하는 것이다. 하지만 예술이 이 차이를 없애려 하고 실패했다는 사실 자체가 어떤 변명이나 비판보다 예술에 대해 더 많은 것을 말해 준다. 여기서 우리는 관찰해야 할 것은 차이의 불가피하고 지워지지 않는 법칙임을 배운다.
철학과 달리, 예술은 다른 경험들을 환상적이거나 상상적이라고 배제하거나, 2차적 속성이나 쾌락, 상식의 세계로 거부하는 ‘안전한 섬’을 찾지 않는다. 예술은 현실과 단지 가능한 것 사이의 차이를 급진화하여, 자신의 작품을 통해 가능성의 영역에도 결국 질서가 있음을 보여준다.
그 기능의 중력장 안에서, 현대 예술은 형식적 수단으로 실험하는 경향이 있다. 여기서 ‘형식’이란, 현대 예술 초기에 중요했던 ‘형식과 물질’ 또는 ‘형식과 내용’의 구분을 의미하는 것이 아니라, 형식의 ‘반대편’에서 벌어지는 일을 ‘눈가림하듯’ 관찰하는 ‘지시적 작용’의 특성을 뜻한다. 작품은 관찰자에게 형식 관찰의 관찰이라는 지점을 가리킨다. 이것이 ‘자기목적적(autotelic)’이라는 개념의 의미였을 수 있다. 그러나 예술의 사회적 기능은 단순히 잠재적인 관찰 가능성을 재구성하는 것 이상이다. 오히려, 가능성의 영역에서 질서의 강력한 힘을 증명하는 데 있다.
예술은 어떤 작동적 연쇄 내에 ‘형태 발생(morphogenesis)’의 경향이 암시될 수 있는지, 그리고 관찰자가 ‘관찰하는 관찰’을 할 수 있으려면 반드시 어떤 질서를 기준으로 삼지 않으면 안 되는지의 문제를 제기한다. 이 관점에서, 작품이 달성할 수 있는 형식적 복잡성은 결정적 변수이며, 핵심적이다. 형식의 ‘반대편’으로 작동하는 것은 자체로 또 다른 형식을 요구하고, 그 형식도 다시 ‘반대편’을 만들기 때문에, 작품의 재귀적 완전성이 얼마나 많은 다양성을 수용하고 통제할 수 있느냐가 문제가 된다.
널리 퍼진 통념과 달리, 예술의 기능은 더 이상 세계를 재현하거나 이상화하는 것이 아니다. 또한 사회에 대한 ‘비판’을 행하는 것도 아니다. 예술이 자율화되면, 강조점은 외부 참조에서 내부 참조로 이동하는데, 이것이 곧 자기 고립(self-isolation)이나 목적 자체를 위한 목적(art for art's sake)과는 다르다. 이런 과도기적 표현은 이해될 수 있지만, 자기 참조(형식) 없는 외부 참조는 없다. 자기 참조가 배제되는 순간, 자신을 어떻게 지시할지 불분명하기 때문이다.
예술이 지각 또는 상상이라는 매체에서 자기 지시적 질서를 드러낼 때, 이는 실재뿐 아니라 허구적 현실에서도 표현되는 현실의 논리를 환기한다. 현실과 허구적 현실이라는 차이 내에서, 세계의 통일성(이 차이의 통일성)은 관찰을 피해 스스로를 구별의 형식의 질서로 제시한다.
예술은 미학적 통제를 통해 점점 확장되는 가능성의 영역에서 사회를 구원하려는 야망이 없다. 예술은 사회의 여러 기능 체계 중 하나에 불과하며, 비록 보편주의적 야망을 품을 수 있지만, 다른 체계를 대체하거나 지배하려는 진지한 의도는 없다. 예술의 기능적 우위는 오직 예술 자체에만 적용된다. 이런 이유로, 예술은 작동적 폐쇄에 의해 보호받으며, 자신의 기능에 집중하고, 내부에서 점점 넓어지는 경계 내에서 적합한 형식 결합을 지향하며 가능성의 영역을 관찰할 수 있다.
헤겔이 ‘예술의 종말’을 말할 때, 이는 오직 한 가지를 의미할 수 있다. 즉, 예술이 사회 및 세속적 문제와의 직접적 관계를 상실했고, 앞으로는 자신의 분화를 인정해야 한다는 것이다. 예술은 여전히 거의 모든 것에 대해 보편적 역량을 주장할 수 있지만, 그것은 오로지 예술 자체의 한 형태로서, 그리고 오로지 자신의 고유한 작동 양식에 기반해서만 가능하다.
예술가가 대표하는 예술이 사회의 어느 곳에든 지식 있고 공감하는 상대를 찾을 수 있다는 생각 역시 포기해야 한다. 만약 그런 ‘지원적 맥락’을 찾는다면, 그것은 더 이상 존재하지 않는다. 예술가와 감식가가 상호보완적 역할을 수행한다는 모델은 예술 체계와 사회 간 결합을 더 이상 나타내지 못한다. 오히려, 예술의 분화는 사회 내에서 소통으로서 이루어지며, 예술가, 전문가, 소비자 간의 상호작용은 오로지 예술 체계 내에서 이루어지고, 예술 체계는 이 과정으로써 자신을 확립하고 재생산한다.
낭만주의가 ‘예술 비평’이라 부르던 것은, 예술 체계에 ‘반성의 매체’로 통합되었으며, 이는 예술가의 작업을 완성하는 역할을 맡는다. 그러나 실제 반성하는 대상은 예술에 부과된 자율성, 즉 사회의 기능적 분화다.
예술 체계의 분화—연속성과 불연속성이 공존하는 과정—는 체계와 환경의 관계를 자기 참조와 외부 참조 관계로 다시 도입할 수 있게 한다. 다시 말하지만, 자기 참조는 외부 참조 없이는 존재할 수 없다. 자기 자신을 지시할 때 아무것도 배제하지 않으면 자기 자신을 어떻게 표시할 수 있겠는가? 자기 참조와 외부 참조의 통일성이 문제될 때, ‘참조의 참조’라는 공통 분모를 찾는 것이 자연스럽다.
자기 참조와 외부 참조의 관계가 어떻게 적용되는지에 따라, 우리는 주로 상징적인 예술과 자신을 기호로 생각하는 예술을 구분하며, 더 나아가 형식 조합을 실험하는 예술도 구분한다.
분화 이전 예술은 상징적이라 여겨졌는데, 이는 응축된 장식적 관계에서 더 높은 의미를 추구했다. 궁정과 시장 중심의 분화 과정에서 예술은 기호(sign)로 변모했다. 기호는 객관적 참조를 가진 것으로 믿어졌고, 예술가, 감식가, 애호가가 공통으로 가진 것을 나타냈다. 그러나 이 공동체의 분화가 의사소통으로서 실현되고 나면, 유일한 선택지는 예술 체계의 작동에서 자기 참조와 외부 참조의 균형을 관찰하는 것이다.
이러한 조건에서 자기 참조와 외부 참조의 연결점은, 관찰의 관찰을 촉진하는 작품의 형식적 조합에서 발견된다.
