Writing and its Double / L’écriture et son double

L'écriture à l'épreuve de la machine. Péritextes présentés à l'occasion de l'exposition Ça artificiel à Lausanne

Writing to the test of the machine. Peritexts presented during the exhibition Ça artificiel in Lausanne

Neural Dawn

The neural network occupies a median, uncomfortable, and still largely unthought position in the field of contemporary science. A recent technological outburst, despite theoretical foundations going back to the post-war years, it exceeds previous “tools” in flexibility and possibilities. Some go so far as to see the promise of the “singularity”, or “complete Artificial Intelligence”, which would be the emergence, in the more or less long term, of an artificial “consciousness”, forcing us to thoroughly to rethink our place in the universe. However, for those who study its details, this machinery may just as easily appear as an elaborate form of probabilistic calculus, only quantitatively exceeding the prowess, that few today would actually classify as belonging to the realm of intelligence, of the calculators or other programs that we make use of in our daily life. I feel in me these two positions struggle with each other. On the one hand, a kind of trivialisation: innovation is there, but it is limited, and soon these feats will be as obvious, as integrated in daily routine, as what what we already have today. On the other hand, I can also argue the opposite, that this progress is much greater, and that there has been a qualitative leap. We can then, in a retroactive movement, bring a large part of our cognitive functions down to this type of calculation, in a gesture that would be similar to famous past downfalls. The Earth is not the center of the Universe, Man is not the image of God, the Self is only a small part of ourselves, Matter in the common sense of the term is no more than the minority of what there is in our “Dark Energy”- and “Black Matter”-populated Universe… Finally, and this would be a reasonable step, most of of human consciousness, its emotions, its thoughts, would be conceptualisable as a work of functional approximation and probabilistic predictions.

There is no doubt that this position will unfold as a major conceptual force of our time. However, it is not forbidden to suppose that, contrary to a complete flattening of “the human”, in the sense still commonly given to this term in the fields of thought, emotion, choice, or creation, we will instead be the witnesses a displacement of these terms, and a redefinition, under the pressure of this new presence, of the very architecture of our humanity. In the next ten or twenty years, one could see emerge new distinctions: stupid, or banal, could be what neural networks can do; intelligent, what is beyond their reach (thus a mental calculation prodigy, invited to TV shows, somehow competing with the computer power available in 1960, is of almost no interest to the scientific, and especially mathematical, community, whose intrinsic process of discovery requires many other faculties).

Moreover, and in a parallel movement, it is more than likely that the so-called “artificial intelligence” will become as familiar at that time as the omnipresence of personal computers are today – a novelty, let us remember it, almost inconceivable still in 1970, and that some consider almost outdated today, under the pressure of smartphones and tablets. According to a severe thesis, one could then see “augmented” writing (using neural networks or other computer techniques), as little more than the passage from the manuscript to Microsoft Word (something still revolutionary, it should be noted, for some faculty members of the Humanities department of the University of Lausanne when I studied there a decade ago). Despite its appeal, and even if it would be the ideal provocation in the current saturation of mystico-scientistic logorrhœa surrounding these technological developments, I do not embrace this thesis, which seems to me to be unaware of where lie true work and actual collaborations with neural the networks, especially in an artistic context.

The most obvious parallel, and one that offers both the most inspiration and material for the present work, is that of the “constraints”, or “formal techniques”, found in the artistic avant-gardes of the past century: in literature, from the modernism of Joyce to the Oulipo; in music, with the Second Viennese School and post-war experiments in Darmstadt, Paris and elsewhere; in the visual arts, during these same years of serial and abstract explorations.

An Intermediate Step: The Computer as the Total Producer of Possibilities

The computer is the expansion of the tool itself, which, from its originary inertia and passivity, becomes ductile, surprising, to the point where the question arises, philosophically, whether and when we can talk about agency, choice and free will, on the part of these new algorithmic systems. So far, in my own experience, it has been less a competition with human capacities than a new form of collaboration, a complementarity of skills. The computer, in this new field of arts called “generative” or “procedural”, can for example make actual, produce, a set of possibilities, a “field”, which would be far too big to achieve “by hand” (not to mention the absurdity of such a task). This power of execution makes it possible, when one is interested in constrained literary practices, to move from a mode of work centred on the difficulty of realisation to another, centred on what one could call mining, or investigation. The Oulipians stubbornly explored the first field, which was also the natural way at a time when the computer was still the preserve of the army and state laboratories. Take as an example the patient work of a Perec composing A Void (1969), searching day and night for words without the letter “e”, or his Alphabets (1976), poems of eleven lines with each one containing the ten most frequent French letters plus an additional one giving the “tonality” of the text – a poem “in G”, “in W” – entirely composed with dictionary, paper and pencil, with lists of words composed of certain letters having to be fastidiously established by the writer beforehand.

Today it is possible to craft an apriori constraint, with the corresponding “recipe” (an algorithm) composed of clear construction steps defining a “field of possibilities”, and to let a computer deal with the execution. One may be surprised to see the magnitude of the results: when I was working on poetic squares of letters (or “magic squares”, where each line and column is a word), I found myself in front of a task that would have been terribly arduous for a human brain, but that was of the order of a day’s routine for my machine, which produced without blinking millions of possible solutions, given a specific dictionary. The task, faced with this surprising quantity (who would have said, in view of the difficulty for me to produce only one, that there existed so many?), was then to find interesting, strong, beautiful texts in this unfathomable magma. Because, a magma, it is one! One glance at the dizzying lists of results quickly reveals what we are dealing with: as far as the eye can see, a vast landscape of insignificant things, meaningless, senseless, lifeless. The possible, in its raw state. And there in the middle, invisible, needles lost in this exhausting haystack of boredom, rare islets, crystalline, that are able to speak to us.

What the computer allows for is an externalisation, a mechanisation, of the field of possibilities itself, which, daring thesis, can be seen as the field of imagination itself: once the set of constraints is established, an artificial gesture that restricts “the real world” of free creation, the universe of possibilities is reduced to only a few hundred thousand, a few million texts (contrary to what is actually possible to write, an altogether more gigantic set). This space is small enough for our machine, which can produce it in its entirety. Reading excerpts from this huge collection of texts is a bit like the meditation one can find oneself in when trying to find an idea. A good idea. Things come, but nothing remarkable. One pores over the n^th time all too well known possibilities. One gets nowhere, one grows tired, one despairs. But suddenly, something happens! One does not know whence. Yet it is here. It is the idea. The figure of the exception in the dull field of banal thoughts, of laborious search. In the externalised or actualised case, one still does not really know where it comes from, but something has happened, a remarkable transition from a “manual” practice: commonplace thoughts, alonside ideas, crystals and suprises, are there, on the page, in the database, and not only in the always suspicious, ever-changing space of our thoughts. What is at stake, then, all the work, all the research, has been shifted to the finding.

The Next Step: Toward a collaboration with the Machine

The computer as an integral producer of a constrained field of possibilities is a formidable ally in the quest for a formalised literary practice. The latter, vital agon, fight to the life with the constraint, can then be realised as the patient, fussy work with the formal principles themselves, assimilated by the practitioner to the point of virtuosity and naturalness regained, Perec acting once again as a paragon; or as algorithmic rules followed by full production and the crucial mining/picking phase that comes with it. These processes, and their intertwining, interesting as they are, are not the object of the present work. For recent developments in algorithmics and statistics are already opening new doors to us: the Achilles heel of integral production remains that the constraints employed must be extremely narrow (when I was looking for “magic squares” I discovered it the hard way: without the additional constraint of words present in the diagonals, the number of squares of three letters already exceeded two hundred thousand, and for four letters this number exploded, reaching the tens, maybe hundreds, of millions, exceeding both my patience and the capabilities of my machine); moreover, the mining itself is difficult, the greyness and banality of the “possibilities as such” being so deadening.

Machine learning, or Artificial Intelligence, represents an important step, for us the next step, in the deployment of these new tools. As if, after a detour in the narrow alleyways of constrained production, it was possible to regain access, gradually, to the vast spaces of “free writing”, a work with the neural networks being situated midway between the “classical” constraint of the Oulipians and the original interaction between the practice of writing and the “free” imagination. Indeed, and this is only a first attempt to explore their capabilities, a neural network can build a “model” of a given corpus (a set of abstract features, perhaps as a sketch, a map or a “Photofit picture”), and, from this model, produce new texts based on this blueprint. The devil lies in the architectural details of the model in question, an active area of research. The simplest principle is the following: “given this text extract, what could follow it?”. The neural network is a calculating, probability-gauging machine. We give: “Socrates is …”, it answers: “the highest probability of what comes next is X% for “mortal”, or Y% for “a man”, &c., given the texts given as a model. Using the internal mechanisms of chance of our machine, we can ask him to “throw a die”, one weighted with the given probabilities X% and Y%, return what will be the continuation of our sentence, and repeat the procedure with the result, thus producing a text of arbitrary length. (In our case, if “mortal” has a probability of 60%, against 40% for “a man”, the first case will have six chances to get out of ten attempts, and conversely four for the other.) What a neural network does when it “learns” is to extract, from the texts given as a source or corpus, regularities, repetitions, structures, and so on, thereby deducing abstract rules of inference from character to character or from word to word. Noting for example that “the” is very often followed by a plural form, the probability that such a form appears will be high will be high (although a detailed learning process will make it possible to distinguish the cases where “the” is a determiner or a pronoun, &c.). The advantage of this method is that it is possible to set extremely general rules, or instructions, without having to worry about the details of how the network organizes its internal parameters. For example, we choose how many elements given to the network must keep in memory at each step to calculate the probabilities of the following elements, and if, during the learning process, the network also looks “forward” and not only “backward”, based on the elements following the considered element. But it is possible to omit specific rules of the type: “if the word X is detected as being a plural, then the adjective that modifies it must be given in function”.

A remarkable detail, in the field of linguistics, is that before the emergence of deep learning, computational linguistics employed many researchers to try literally to write the grammar rules of different languages that one wished to encode. It is a bit like wanting to translate the English Grammar in Use into computer code, detailing each case and sub-case, or, even worse, trying to think of general and abstract rules, understandable by a machine, which can predict, for example, what a pronoun refers to in a sentence, and other niecties. Consider the following examples, semantic problems: - “The bottle does not fit in the bag because it is too big” – it is the bottle that is too big, but “The bottle does not fit in the bag because it is too small” – here is the bag; - even worse, undecidable cases without context: “Helen kissed Marie when she entered the room” – who entered the room?

Deep learning, in the current state of research, removes almost all of these preoccupations, replacing them with notions of usage: according to the given corpus (“how does one speak in this region of language that is the basis of the training”), the program reproduces the forms, the turns, which are most commonly used, with a margin of chance. The remarkable conclusion is that with a sufficiently large corpus and sufficiently sophisticated architectures, it tends to work.

Architectures, as mentioned above, differ, and are one of the most active aspects of current research. In this case, we find, for example, networks based on words (without any possibility of going “lower’’, to modify words themselves, but guaranteeing that the words used all come from the original corpus), as well as others, perhaps the most surprising, based on letters alone. The latter, from our human point of view, lead to already very convincing results on a lexical level: a flow of text that is essentially meaningless, but with a syntax that is not so wobbly, the terms and punctuation of which are correct, the style of which can already be recognized … For a computer program that does not “knew” nothing, and to which one does not give any rule of construction of words, punctuation, &c., beforehand, it is quite remarkable.

Let us develop this last example, the network based on letters. The question would be: once given “writ”, what are the most likely following letters?, with the answer: “e” (write, writes, writer, writerly, &c.), or “h” (writhe, writhes, writhing, &c.), “t”, and so on, each letter being assigned, given the previous letters, certain probabilities. Let us say that after one step, we hit “t”. The network reiterates the procedure, but with “writ” this time. Now “e’’ will have a high propensity to come out. By reiterating the process, one then witnesses the emergence, if the network is sufficiently trained, of known sequences, for example: “written in urgency… or “writing haphazardly…” , or similar. At each stage, the network rolls the dice, and combines this injection of randomness with:

the constraint of the preceding letters in the text to be produced (at each stage we reinject in the extract the selected letter, for example “w” followed by “r”, “wr” followed by “i”, “wri” by “t”, and so on);
a general knowledge of sequences of letters, encoded as probabilities (“i” and “o” will be very likely after “wr”, given the recurring presence of words such as “written” , “wrote”, &c., in the source corpus, while “z” or “q” will be almost absolutely improbable) – it is this knowledge that is often seen as a “black box” because that is what the network “learns” without our help, and what researchers are working to visualize or conceptualize;
a parameter, deliciously named perplexity, which encodes the tendency of the network to be more “conservative” or “experimental” in its choice of letters or words. A low perplexity means that after “writ” the letters “t” and “h”, very likely, will almost always be chosen by the network, as if these two letters shared the 98% of choices that the network will make in this situation; a high perplexity will increase the probability that rare or improbable solutions will “come out”, lowering the probability of our two letters to perhaps 40%, leaving 60% of the possible choices to other letters (say, for “h”, leading to “writhe”, a rather rare word, being used more frequently). A low perplexity is generally more stable, but less creative or original; on the other hand, a high perplexity can give rise to pure chaos (“writygzt6”), or strange creatures that resemble our language, because the sequences of letters follow its general tendencies, while not belonging to it (authentic examples, in French, following the letters “écri”: “écricadégiser”, “écrinaille”, “écrivanessé”, “écriclement”, “écrimau”…).

Hovels of meaning

The central problem of current architectures with regards to the modelling of language (and more generally sequences), is to manage to go beyond the immediate context, the short term: taken letter by letter, or on the scale of the word, current networks produce already impressive results, and manage to write texts in a recognizable “style” (Shakespeare or the current president of the United States often pop up in research examples). From the mere arrangement of letters, the network manages to “learn” to form words, place punctuation correctly, and so on. (Properly, of course, is a relative term and means: when the same calculation process is applied to a network-generated text or to a randomly selected passage in the source corpus, similar results are obtained. From the point of view of the network and its inference model, the texts are similar.)

On the other hand, these systems struggle with everything that goes both “further” (in the past of the flow of speech, which could influence the present choices), and “higher/deeper” (not only a model based on a hypothetical “letter to letter” influence, but hierarchically distributed, where, as linguists have tried to describe, levels of laws exist, governing the system of phonemes, morphemes, syntax, speech). There is a non-trivial link between these horizontal and vertical dimensions: the more we can conceptualize dependencies in the long term, the more elaborate the hierarchical system becomes (the present verb agrees with the subject at the beginning of a long sentence, this sentence logically follows previous ones in this paragraph, all the way to the overall trajectory of a novel or a philosophical treatise). The problem of long-term dependencies was the basis of the work of Sepp Hochreiter and Jürgen Schmidhuber, “Long Short-term Memory”, 1997, abbreviated LSTM, and remains the dominant approach today in this field. Unfortunately, these systems, revolutionary as they were, have their limits, and coherent texts, in which structures not only of syntax but of semantics can be observed, are still rare (the LSTM is elsewhere generally used in a more advanced form, including additional mechanisms called “attention”, which allow the network to “focus” on specific passages of the text, for example to get the subject at the beginning of a sentence when it is necessary to conjugate a verb, or to look for the word in the text to which a pronoun refers).

From the point of view of creation, this raises a lot of questions, and at the same time opens the possibility of a new type of constraint: the text produced by the network displays astonishing properties, sometimes contains even short inspiring passages, that I can extract as is. But again, most of the time, it is rather a chaotic flow, rich but coarse, which requires a very large amount of imaginative work to be transformed into a text, that, if not finished, is at least readable, that is to say, which to me could evoke more than the simple verbal magma that we often see in productions of this kind. It could be the specific constraint of this stage of a literary practice in collaboration with the machine: rather than a rigid choice of possibilities in which the core question is to find valuable texts, an obscure speech, muddy, disorderly, but containing here and there impulses, images, and many passages that could be deemed very strange first drafts. This is of course a personal choice, an aesthetic one: someone else, and it is a common approach, could only want to select among the texts produced and exhibit that (and seek only to improve the network itself, its architecture, its learning corpus); in my opinion, the real work is to make of this disarticulated speech, familiar and yet alien, the very material of the writing to come, and at the same time the constraint under which this writing comes to light. It is an arduous work, and it is only in brief spells, after many moments of perplexity and emptiness, where the words remain stubbornly obscure, that suddenly a link occurs, which makes it possible to read this passage that remained abstruse and shut, or such fragment that, once added there, offers an astonishing light, and acts retroactively, giving a meaning and a coherence to the whole that makes it almost impossible, once the path has been found, to return to the incongruous heap that inspired it. I then remember Piranesi’s Carceri d’invenzione (and their adaptation by Brian Ferneyhough in an iconic cycle of works), landscapes of artifice and difficulty, born out of stubborn and underworldly craft. Tunnel after tunnel, cell to cell, the work engineers itself.

Writing and its Double

There is a very specific, very peculiar feeling of alienation, of colonisation encountered when one begins to forage into the bowels of the code. If one looks too long into the abyss, as Nietzsche wrote, it is it, the abyss, that ends up looking into one. Often I feel the very strict and very severe computational hodgepodge as a kind of prosthesis, a “metallic” otherness, both inflexible and powerful, protective and deadly, which introduces itself into what I could once believe to be the purely organic matter of my thoughts, of my identity. Rather than the bars of metal in my flesh, or around my bones, which make up the fantasised cyborg of my adolescence, it is in my thought, in my emotions, in my self, as far as this word describes anything, that I inject (or which injects itself), willy-nilly, the machine and its cogs, the machine and its language.

Perhaps the notion “of tool”, that one controls, that one uses, was only an excuse, an illusion, for a more subtle seduction, a deeper osmosis. The tool, that was not thought yesterday, shapes us. We can deceive ourselves, we can say: I control, I manipulate, and it, the tool, is the inert, passive matter, the thing at my service. And yet. The human who hammers is not the one who plows; who takes the pen is stronger than who takes the sword; finally, the one who codes, it goes without saying, diverges from the one who does not. The humanity of the nineteenth century felt invaded, brutalized, dominated by mechanical horror: the locomotive, the industrial forge, coal and iron mines, the production chain. We now see new alienations: the cubicle, this tiny office, where the brain and fingers have nothing else in front of them but a keyboard and screens, to name only one relevant example among a thousand others. But it is not so much the action on the bodies, on my body, that interests me.

Today it is not so much this body that feels this insistent presence, this profound and seemingly unstoppable transformation, than this thing I thought was my mind. As I discover deeper and deeper the richness and power of algorithmic techniques, I find myself at the same time more and more divided, between a feeling of progress, where I can more and more, day after day, where my horizon widens – I master always a little more! – and where the Thing, its code, its formulas, its procedures, penetrates ever further into the fiber of my being, makes me dependent, or better, renders indistinguishable what is still the old, fantasised as “natural”, self, and this new entity at hand, growing, and dangerously unknowable. The code kneads me and shapes me, dominates me, probably irreversibly, all the more completely as I master it, as I merge with it. I am the very ground of a tension and an encounter, a mutual subjugation and emancipation, as if a wild emulation between the human and its creature.

Sometimes again, it is biologically that I see the thing: contamination or insemination, when the Other, without one being able to prevent it, or according to one deepest desire, sneaks in and gnaws, occurs and saves, grows inside oneself, in a process of destruction and regeneration, death of the old and birth of the new. The Other, moreover, does not even need to derive its origin from a supposed exteriority. The Other can be this self that changes, the internal being that is transformed, an anomaly that has occurred within a system, that proliferates and retroacts over the whole: the mutation, when a form of life, by the the accident of an unforeseen, traumatic or salvaging, stroke of chance, is reconfigured, changes course, opening the door to the most unexpected consequences, the most accomplished as well as the most terrifying.

If humanity should, as some Californian or Cantonese prophets claim, play a decisive role in the emergence, in the long run, of a new “life form”, produced life, actual intelligent artificiality, may these first, timid attempts at hybridation serve as a testimony both of the becoming-inhuman of our time, and the furious joy of the first interspecial coitus!

Aube neuronale

Le réseau de neurones occupe une position médiane, inconfortable, et encore très largement impensée, dans le champ des sciences contemporaines. Poussée technologique récente, malgré des bases théoriques remontant aux années d’après-guerre, elle dépasse en souplesse et possibilités les « outils » informatiques précédents. Certains vont jusqu’à y voir la promesse de la « singularité », ou « Intelligence Artificielle complète », qui serait l’émergence à plus ou moins long terme d’une conscience artificielle, nous forçant à repenser de fond en comble notre place dans l’univers. Toutefois, pour qui en étudie les détails, cette machinerie peut tout aussi bien apparaître comme une forme élaborée de calcul probabiliste, ne dépassant que quantitativement les prouesses, que peu aujourd’hui qualifieraient à proprement parler d’intelligentes, des calculatrices ou programmes que nous sommes habitués à manier. Je sens en moi ces deux positions s’affronter. D’un côté, une sorte de banalisation : l’innovation est là, mais elle est limitée, et bientôt ces prouessent seront aussi évidentes, intégrées au quotidien, que ce que nous avons aujourd’hui. D’un autre, je peux aussi soutenir le contraire, que le progrès est bien plus grand, et qu’il y a eu saut qualitatif. On peut alors, dans un mouvement rétroactif, rapprocher une grande partie de nos fonctionnements cognitifs dudit calcul, dans un geste qui s’apparenterait à de célèbres déchéances passées. La Terre n’est pas le centre de l’Univers, l’Homme n’est pas l’image de Dieu, le Moi n’est qu’une petite partie de nous-même, la Matière au sens commun n’est plus que la minorité de ce qu’il y a dans notre Univers peuplé « d’Énergie sombre » et « Matière noire »… Finalement, et ce serait une étape raisonnable, la plus grande partie de la conscience humaine, ses émotions, ses pensées, serait conceptualisable comme un travail d’approximation fonctionnelle et de prédictions probabilistes.

Que cette position se déploie comme une force majeure de notre temps n’est pas douteux. Toutefois, il n’est pas interdit de supposer qu’à l’opposé d’un aplanissement complet de « l’humain », au sens encore couramment donné à ce terme dans les domaines de la pensée, de l’émotion, du choix, de la création, on assiste à un déplacement de ces termes, et une redéfinition, sous la poussée de cette nouvelle présence, de l’architecture même de notre humanité. D’ici à dix ou vingt ans, on pourrait avoir, par exemple, de nouvelles distinctions : stupide, ou banal, serait ce qu’un réseau de neurones peut faire ; intelligent ce qui échappe à leur portée (ainsi un « singe savant » roi du calcul mental, rivalisant tant bien que mal avec la puissance informatique disponible en 1960, n’est d’à peu près aucun intérêt pour la communauté scientifique, dont le processus de découverte intrinsèque requiert bien d’autres facultés).

Par ailleurs, et dans un mouvement parallèle, il est plus que probable que les dites « intelligences artificielles » seront aussi familières à ce moment-là que l’omniprésence des ordinateurs personnels le sont aujourd’hui – nouveauté, rappelons-le, presque inconcevable en 1970 encore, et que certains jugent presque dépassés aujourd’hui, sous la poussée des smartphones et tablettes. On peut voir l’écriture « augmentée » (utilisant des réseaux de neurones ou autres techniques informatiques), selon une thèse sévère, comme pas grand chose de plus que le passage du manuscrit à Microsoft Word (chose encore révolutionnaire, soit dit en passant, pour certains professeurs de la Faculté des Lettres de cette université lorsque j’y étudiais il y a une décennie). Malgré son attrait, et même si ce serait la provocation idéale dans la saturation actuelle de verbiage mystico-scientiste entourant ces développements technologiques, je n’embrasse pas cette thèse, qui me semble méconnaître où se situe le travail, la collaboration, avec les réseaux de neurones, surtout dans un contexte artistique.

Le parallèle le plus flagrant, et celui qui offre à la fois le plus d’inspiration et de matériau pour le travail présent, est celui des « contraintes », ou « techniques formelles », que l’on trouve dans les arts d’avant-garde du siècle passé : en littérature, depuis le modernisme de Joyce jusqu’à l’Oulipo ; en musique, avec la Seconde École de Vienne et les expérimentations d’après-guerre à Darmstadt, Paris et ailleurs ; dans les arts plastiques, durant ces mêmes années d’explorations sérielles et abstraites.

Une étape intermédiaire : l’ordinateur comme producteur total des possibles

L’ordinateur est l’expansion de l’outil même, qui, de son inertie et de sa passivité premières, devient ductile, surprenant, au point même où se pose, philosophiquement, la question de savoir si et quand on peut parler de puissance d’agir propre, de choix et libre arbitre, de la part de ces nouveaux systèmes algorithmiques. Jusqu’à présent, dans mon expérience propre, il s’est agi moins d’une compétition avec les capacités humaines qu’une nouvelles forme de collaboration, une complémentarité des compétences. L’ordinateur, dans ce nouveau champ des arts appelé « génératifs » ou « procédural », peut par exemple rendre actuel, produire, un ensemble de possibilités, un « champ », qui serait bien trop grand à réaliser « à la main » (sans parler de l’absurdité d’une telle tâche). Cette puissance d’exécution permet, lorsqu’on s’intéresse aux pratiques littéraires contraintes, de passer d’un mode de travail centré sur la difficulté de réalisation à un autre, centré sur ce qu’on pourrait appeler la recherche, ou l’enquête. Les oulipiens ont exploré avec obstination le premier champ, qui était par ailleurs la voie naturelle en un temps où l’ordinateur était encore l’apanage de l’armée et des laboratoires d’état. Prenez le patient travail d’un Perec composant La Disparition (1969), cherchant jour et nuit des mots sans la lettre « e », ou ses Alphabets (1976), poèmes de onze vers contenant à chaque vers les dix lettres les plus fréquentes de la langue française plus une lettre supplémentaire, qui donne la « tonalité » du texte – un poème « en G », « en W » – entièrement composés avec dictionnaire, papier, crayon, les listes de mots composés de certaines lettres devant être fastidieusement établie par l’écrivain.

Aujourd’hui il est possible d’établir une contrainte préalable, avec la « recette » correspondante (un algorithme) composée d’étapes claires de construction définissant un « champ de possibilités », et d’en laisser l’exécution à l’ordinateur. On peut être surpris de voir l’ampleur des résultats : lorsque je travaillais sur des carrés poétiques de lettres (ou « carrés magiques », où chaque ligne et colonne est un mot), je me retrouvais devant une tâche qui aurait été terriblement ardue en tant qu’humain, mais qui était de l’ordre du quotidien pour ma machine, qui produit sans broncher des millions de solutions possibles à partir d’un dictionnaire donné. La tâche, devant cette étendue surprenante (qui aurait dit, au vu de la difficulté pour moi d’en produire un seul, qu’il en existait autant?), est ensuite de trouver les textes intéressants, forts, beaux, dans cet insondable magma. Car, magma, c’en est un ! Un coup d’œil dans les listes vertigineuses de résultats permet rapidement de se rendre compte de ce à quoi on a affaire : à perte de vue une étendue de choses insignifiantes, sans aucun sens, sans intérêt, sans vie. Les possibles, à l’état brut. Et là au milieu, invisibles, aiguilles perdues dans cette botte de foin épuisante d’ennui, des îlots rares, crystallins, qui peuvent nous parler.

Ce que l’ordinateur permet, c’est une externalisation, une mécanisation, du champ des possibles lui-même, qui, thèse audacieuse, peut être vu comme le champ de l’imagination elle-même : une fois l’ensemble de contraintes établi, geste artificiel qui restreint « le monde réel » de la création libre, l’univers des possibles est réduit à seulement quelques centaines de milliers, quelques millions de textes (contrairement à ce qui est effectivement possible lorsqu’on prend la plume, ensemble autrement plus gigantesque). Cet espace est suffisamment petit pour notre machine, qui peut le produire intégralement. Lire des extraits de cet immense amas de textes ressemble un peu à la méditation qu’on peut avoir lorsqu’on tente de trouver une idée. Une bonne idée. Des choses viennent, mais rien de notable. On passe en revue une n-ième fois des possibilités que trop connues. On piétine, on se lasse, on désespère. Mais tout à coup, quelque chose survient ! On ne sait d’où. C’est là. C’est l’idée. Figure de l’exception dans le champ morne des pensées banales, de la recherche laborieuse. Dans le cas externalisé, ou actualisé, on ne sait toujours pas vraiment d’où ça sort, mais quelque chose s’est produit, une transition remarquable : les pensées banales comme les idées, crystaux et suprises, sont là, sur la page, dans la base de donnée, et non seulement dans l’espace toujours suspect, toujours changeant, de nos pensées. Tout l’enjeu, alors, tout le travail, toute la recherche, est de les trouver.

Le pas d’après : vers une collaboration avec la machine

L’ordinateur comme producteur intégral d’un champ contraint des possibles est est un formidable allié dans la quête d’un travail littéraire formalisé. Celui-ci, agôn vital, combat à vie avec la contrainte, peut se réaliser alors comme la pratique patiente, tatillonne, des principes formels eux-même, assimilés par le practicien jusqu’à la virtuosité et au naturel retrouvé, à l’exemple de Perec ; ou encore comme établissement de règles algorithmiques suivies d’une production intégrale et de la phase cruciale de recherche/triage qui l’accompagne. Ces processus, et leur entrelacements, aussi intéressants soient-ils, ne sont pas l’objet du présent travail. Car les récents développements de l’algorithmique et la statistique nous ouvrent déjà de nouvelles portes : le talon d’Achilles de la production intégrale restant que les contraintes employées doivent être extrêmement étroites (lorsque je cherchais des « carrés magiques » je le découvrais à mes dépens : sans la contrainte additionnelle de mots présents dans les diagonales, le nombre de carrés de trois lettres excédait déjà deux cent mille, et pour quatre lettres ce nombre explosait, atteignant les dizaines, peut-être centaines, de millions, dépassant et ma patience et les capacités de ma machine) ; par ailleurs, la recherche elle-même est difficile, tant les « possibilités telles quelles » peuvent être abrutissantes de grisaille et banalité.

Le machine learning, ou Intelligence Artificielle, représente une étape importante, l’étape d’après, dans le déploiement de ces nouveaux outils. Comme si, après un détour dans les allées étroites de la production contrainte, il était possible d’accéder à nouveau, graduellement, aux vastes espaces de « l’écriture libre », le travail avec les réseaux de neurones se situant à mi-chemin entre la contrainte « classique » des oulipiens et l’interaction originelle entre la pratique de l’écriture et l’imagination « libre ». En effet, et ce n’est là seulement qu’un premier pas, qu’une première tentative d’exploration de leurs capacités, un réseau de neurones permet de construire le « modèle » d’un corpus donné (un ensemble de caractéristiques abstraites, peut-être comme une esquisse, une carte ou un « portrait robot »), et, à partir de ce modèle, de produire de nouveaux textes respectant ces lignes directrices. Toute l’intrigue réside dans les détails de construction du modèle en question, un domaine actif de recherche. Le principe le plus simple est le suivant : « étant donné cet extrait de texte, quelle en serait la suite ? ». Le réseau de neurone est une machine à calculer, à jauger les probabilités. On donne : « Socrate est … », il répond : « la probabilité la plus haute de la suite est de X % pour « mortel », ou de Y % pour « un homme », &c., étant donné les textes donnés comme modèle. Utilisant les mécanismes internes de hasard de notre machine, on peut lui demander de « tirer au sort », en fonction du « poids » des probabilités données X % et Y %, quel sera la suite de notre phrase, et répéter la procédure avec le résultat, produisant ainsi un texte de longueur arbitraire. (Dans notre cas, si « mortel » a une probabilité de 60 %, contre 40 % pour « un homme », le premier cas aura six chances de sortir sur dix tentatives, et inversement quatre pour l’autre.) Ce qu’un réseau de neurone fait lorsqu’il « apprend », c’est extraire, à partir les textes donnés comme source, le corpus de base, des régularités, des répétitions, des structures, et en déduire des règles abstraites d’inférence de caractère à caractère ou de mot à mot. Constatant par exemple que « les » est très souvent suivi par une forme plurielle, la probabilité qu’une telle forme sorte apparaisse sera haute (même si un apprentissage détaillé permettra de distinguer les cas où « les » est déterminant ou pronom, &c.). L’intérêt de cette méthode est qu’il est possible de fixer des règles, ou instructions, extrêmement générales, sans avoir à se soucier du détail de comment le réseau organise ses paramètres internes. Par exemple, on choisit combien d’éléments passés le réseau doit garder en mémoire à chaque étape pour calculer la probabilités des éléments suivants, et si, durant l’apprentissage, le réseau regarde également « en avant » et non seulement « en arrière », se basant sur les éléments suivant l’élément considéré. Mais il est possible d’omettre des règles spécifiques du type : « si le mot X est détecté comme étant un pluriel, alors l’adjectif qui le modifie doit être accordé en fonction ».

Un détail remarquable, dans le domaine de la linguistique, est qu’avant l’émergence du deep learning, la linguistique computationnelle employait quantités de chercheurs pour tenter d’écrire, littéralement, les règles de grammaire des différentes langues qu’on tentait d’encoder. C’est un peu comme vouloir traduire le Bon Usage en code informatique, détailler chaque cas et sous-cas de l’accord du participe passé, ou, encore pire, tenter de penser des règles générales et abstraites, compréhensibles par une machine, qui permettent de prédire par exemple à quoi un pronom se réfère dans une phrase, ou autres joyeusetés. Considérez les exemples suivants, problèmes de sémantique : - « La bouteille ne rentre pas dans la valise parce qu’elle est trop grande » – c’est la bouteille qui est trop grande, mais « La bouteille ne rentre pas dans la valise parce qu’elle est trop petite » – ici c’est la valise ; - pire encore, les cas indécidables sans contexte : « Hélène a embrassé Marie quand elle est entrée dans la pièce » – qui est entré dans la pièce ?

Le deep learning, en l’état actuel de la recherche, évacue presque entièrement le pan formel de ces préoccupations, en les remplaçant par des notions d’usage : suivant le corpus donné (« comment on parle dans cette région du langage soumise à l’entraînement »), le programme reproduit les formes, les tournures, qui y sont le plus couramment utilisée, avec une marge de hasard. La conclusion remarquable étant qu’avec un corpus suffisamment grand et des architectures suffisamment sophistiquées, ça tend à marcher.

Les architectures, comme mentionné plus haut, diffèrent, et sont un des aspects les plus actifs de la recherche actuelle. Dans le cas qui nous occupe, on trouve par exemple des réseaux basés sur les mots (sans aucune possibilité d’aller en-deça, de modifier les mots eux-mêmes, mais garantissant que les mots utilisés proviennent tous du corpus d’origine), ainsi que d’autres, peut-être les plus surprenants, basés sur les lettres. Ces derniers, de notre point de vue humain, conduisent à des résultats déjà très convaincants à un niveau lexical : un flux de texte pour l’essentiel dépourvu de sens, mais à la syntaxe pas si boiteuse que ça, et dont les termes et la ponctuation sont corrects, et dont le style peut déjà se reconnaître… Pour un programme informatique qui ne « savait » rien, et à qui on ne donne aucune règle de construction des mots, de ponctuation, &c., au préalable, c’est assez remarquable.

Développons ce dernier exemple, le réseau basé sur les lettres. La question serait : une fois donné « écri », quelles sont les lettres suivantes les plus probables ?, avec pour réponse : « t » (écrit, écrits, écrits, écriture, &c.), ou « v » (écrivain, écrivons, écrivez, &c.), « s », et ainsi de suite, chaque lettre se voyant assigner, vu les lettres précédents, certaines probabilités. Disons qu’après notre lancer de dé, nous tombions sur « t ». Le réseau réitère la procédure, mais avec « écrit » cette fois. Peut-être que dans ce cas l’espace, « », aura une grande probabilité de sortir, indiquant la fin du mot. En réitérant le processus, on tombe alors, si le réseau est suffisamment entraîné, sur des séquences connues, par exemple : « -t dans l’urgence… » ou « -ture hasardeuse… », ou choses similaires. À chaque étape, le réseau lance les dés, et combine cette injection de hasard avec :

la contrainte des lettres précédents dans le texte à produire (à chaque étape on réinjecte dans l’extrait la lettre choisie, par exemple « é » suivi de « c », « éc » suivi de « r », « écr » de « i », et ainsi de suite) ;
la connaissance générale des suites de lettres, encodées sous forme de probabilités (« i » et « a » seront très probables après « écr », vu la présence récurrente de mots tels que « écrit », « écran », &c., dans le corpus source, alors que « z » ou « q » seront presque absolument improbables) – c’est cette connaissance qui est souvent vue comme une « boîte noire », car c’est ce que le réseau « apprend » sans notre aide, et ce que les chercheurs travaillent à visualiser ou conceptualiser ;
un paramètre, délicieusement nommé perplexité, qui encode la tendance du réseau à être plus « conservateur » ou « expérimental » dans ses choix de lettres ou de mots. Une perplexité basse signifie qu’après « écr » les lettres « i » et « e », très probables, seront quasi systématiquement choisies par le réseau, comme si ces deux lettres se partageaient le 98 % des choix que le réseau fera dans cette situation ; une perplexité haute augmentera la probabilité que des solutions rares ou improbables « sortent », abaissant la probabilité de nos deux lettres à peut-être 40 %, laissant 60 % des choix possibles à d’autres lettres. Une perplexité basse est généralement plus stable, mais moins créatrice ou originale ; par ailleurs, une perplexité haute peut donner lieu à du pur chaos (« écriygzt6 »), ou d’étranges créatures qui ressemblent à notre langue, car les suites de lettres en suivent les tendances générales, sans y appartenir pour autant (quelques exemples autenthiques : « écricadégiser », « écrinaille », « écrivanessé », « écriclement », « écrimau »…).

Réduits du sens

Le problème central des architectures actuelles en ce qui concerne la modélisation du langage (et plus généralement des séquences), est de parvenir à dépasser le contexte direct, le court terme : pris lettre à lettre, ou à l’échelle du mot même, les réseaux actuels produisent des résultats déjà impressionnants, et parviennent à écrire des textes dans un « style » reconnaissable (Shakespeare ou le président actuel des États-Unis reviennent souvent comme exemples pratiques). À partir du seul agencement des lettres, le réseau parvient à « apprendre » à former des mots, placer la ponctuation correctement, &c. (Correctement bien sûr est un terme relatif et veut dire : lorsqu’on applique le même processus de calcul sur un texte généré par le réseau ou sur un passage choisi au hasard du corpus source, on tombe sur des résultats similaires. Du point de vue du réseau et de son modèle d’inférence, les textes se ressemblent.)

Par contre, ces systèmes achoppent sur tout ce qui va à la fois « plus loin » (dans le passé du flux du discours, ce qui pourrait influencer les choix présents), et « plus haut/profond » (non seulement un modèle basé sur une hypothétique influence « lettre à lettre », mais hiérarchiquement distribué, où, comme les linguistes ont tenté de le décrire, des niveaux de lois existent, régissant le système des phonèmes, morphèmes, de la syntaxe, du discours). Il y a un lien non-trivial entre ces dimensions horizontales et verticales : plus on peut conceptualiser de dépendances sur le long terme (le verbe présent s’accorde avec le sujet au début d’une longue phrase, cette phrase suit logiquement des précédentes dans ce paragraphe, jusqu’à l’arc global d’un roman ou d’un traité philosophique). Le problème des long-term dependencies, dépendances à long terme, fut à la base du travail de Sepp Hochreiter and Jürgen Schmidhuber, « Long Short-term Memory », de 1997, abbrévié LSTM, et demeure l’approche dominante aujourd’hui dans ce domaine. Malheureusement, ces systèmes, tout révolutionnaires qu’ils furent, ne sont pas suffisants, et des textes cohérents, dans lesquelles des structures non seulement de syntaxe mais de sémantique peuvent être observées, sont encore rares (le LSTM est d’ailleurs généralement utilisé sous une forme plus avancée, incluant des procédés nommés « d’attention », qui permettent au réseau de se « focaliser » sur des passages spécifiques du textes, par exemple aller chercher le sujet au début d’une phrase lorsqu’il faut accorder un verbe, ou aller chercher le mot dans le texte auquel se réfère un pronom).

Du point de vue de la création, cela pose une foule de questions, et tout à la fois ouvre la possibilité d’un type de contrainte nouveau : le texte produit par le réseau a des propriétés étonnantes, parfois recèle même de courts passages inspirants, que je peux extraire tels quels. Mais à nouveau, la plupart du temps, il s’agit plus d’un flux désordonné, riche mais brut, qui requiert une somme très importante de travail d’imagination pour être amené à un texte, sinon fini, du moins lisible, c’est-à-dire, qui pourrait pour moi évoquer plus que le simple magma verbal qu’on voit le plus souvent dans des productions de ce type. Ce serait la contraint spécifique de cette étape du travail littéraire avec la machine : plutôt qu’un choix rigide de possibilités dans lesquels il s’agit de trouver des textes de valeur, un discours obscur, vaseux, mais contenant ici ou là des élans, des images, et de nombreaux passages qui pourraient être pris pour de très étranges premiers jets. C’est bien sûr un choix personnel, esthétique : un autre, et c’est une démarche courante, pourrait vouloir seulement sélectionner dans les textes produits (et chercher uniquement à améliorer le réseau lui-même, son architecture, son corpus d’apprentissage) ; à mon sens, le réel enjeu est de faire de ce discours désarticulé, ressemblant et pourtant aliène, la matière même d’une écriture à venir, et tout à la fois la contrainte sous laquelle cette écriture vient à naître. C’est un travail ardu, et ce n’est que par éclaircies passagères, après de nombreux moments de perplexité et de vide, où les mots demeurent obstinément abscons, que tout à coup un lien survient, qui permet de lire ce passage resté fermé, ou tel fragment qui, une fois ajouté là, offre un éclairage étonnant, et agit rétroactivement, donnant un sens et une cohérence qui rend presque impossible, une fois la voie trouvée, de revenir à l’amas incongru qui l’avait inspiré. Je me souviens alors des Carceri d’invenzione du Piranèse (et leur reprise par Brian Ferneyhough dans un cycle d’œuvres emblématiques), paysages de l’artifice et de la difficulté, de la construction à la fois acharnée et souterraine. Tunnel après tunnel, d’un cachot l’autre, l’œuvre se machine.

L’écriture et son double

Il est un sentiment d’aliénation, de colonisation tout particulier rencontré lorsqu’on se met à fourrager dans les entrailles du code. À trop regarder dans l’abysse, disait l’autre, c’est lui, l’abysse, qui finit par regarder en nous. Souvent je ressens le très strict et très sévère salmigondis informatique comme une sorte de prothèse, une altérité « métallique », à la fois inflexible et puissante, protectrice et mortifère, qui s’insère dans ce que je pouvais croire autrefois être la matière purement organique de mes pensées, de mon identité. Plutôt que les barres de métal dans ma chair, ou autour de mes os, qui font le cyborg fantasmé de mon adolescence, c’est dans ma pensée, dans mes émotions, dans mon moi, pour autant que ce mot décrive quelque chose, que j’introduis (ou s’introduit), bon gré mal gré, la machine et ses rouages, la machine et son langage.

Peut-être la notion « d’outil », qu’on contrôle, qu’on utilise, n’était qu’une excuse, qu’une illusion, pour une séduction plus subtile, une osmose plus profonde. L’outil, cela n’as pas été pensé hier, nous façonne. On peut se leurrer, on peut dire : je contrôle, je manipule, et lui, l’outil, est l’inerte, matière passive, la chose à mon service. Et pourtant. L’humain qui martelle n’est pas celui qui laboure ; celui qui prend la plume est plus fort que celui qui prend l’épée ; enfin, celui qui code, cela va de soi, diverge de celui qui ne code pas. L’humanité du XIX^ème siècle a pu se sentir envahie, brutalisée, dominée par l’horreur mécanique : locomotive, forge industrielle, mines de charbon et de fer, chaîne de production. On voit aujourd’hui de nouvelles aliénations : le cubicle, bureau minuscule, où le cerveau et les doigts n’ont rien d’autre devant eux que clavier et écrans, pour ne nommer qu’un exemple pertinent parmi mille autres. Mais ce n’est pas tant l’action sur les corps, sur mon corps, qui m’intéresse.

Aujourd’hui en effet ce n’est pas tant ce corps qui sent cette présence insistante, cette transformation profonde et d’apparence inarrêtable, que ce que j’ai pu penser être mon esprit. Alors que je découvre de plus en plus en profondeur la richesse et la puissance des techniques algorithmiques, je me retrouve en même temps de plus en plus divisé, entre un sentiment de progrès, où je peux davantage de jour en jour, où mon horizon s’élargit – je maîtrise toujours un peu plus ! – et où la Chose, son code, ses formules, ses procédures, pénètre toujours plus avant dans la fibre de mon être, me rend dépendant, ou mieux, rend indistinguable ce qui relève encore l’ancien moi, fantasmé « naturel », de cette nouvelle entité présente, croissante, dangereusement inconnaissable. Le code me pétrit et me façonne, me domine, sans doute irréversiblement, d’autant plus complètement que je le maîtrise, que je fais corps avec lui. Je suis le terrain même d’une tension et d’une rencontre, d’une sujétion et d’une émancipation mutuelles, comme d’une émulation sauvage entre l’humain et sa créature.

Parfois encore, c’est biologiquement que je vois la chose : contamination ou insémination, lorsque l’Autre, sans qu’on puisse l’en empêcher, ou selon notre plus profond désir, s’immisce et ronge, survient et sauve, croît à l’intérieur de soi-même, dans un processus de destruction et de régénération, mort de l’ancien et naissance du nouveau. L’Autre, d’ailleurs, n’a pas besoin même de tirer son origine d’une extériorité supposée. L’Autre peut être ce soi qui change, l’être interne qui se transforme, anomalie survenue au sein d’un système, qui prolifère et rétro-agit sur l’ensemble : mutation, lorsqu’une forme de vie, par l’accident d’un hasard imprévu, traumatique ou salvateur, se reconfigure, change de voie, ouvrant la porte aux conséquences les plus inattendues, les plus éloignées, les plus accomplies comme les plus terrifiantes.

Si l’humanité devait, comme le prétendent certains prophètes californiens ou cantonais, jouer un rôle déterminant dans l’émergence, à long terme, d’une nouvelle « forme de vie », vie produite, artificialité réellement intelligente, puissent ces premières, timides tentatives d’hybridation servir de témoignage à la fois du devenir-inhumain de notre temps, et de la joie furieuse des premiers coïts interspéciaux !

All my gratitude to Colin Pahlisch for inviting me to participate in the Printemps de la Poésie in Lausanne, as well as Monica Unser and Rafael Santianez, co-curators of the gallery Le Cabanon, as well as the rest of the team, Marie, Clarissa, Letizia, Chloé, Janett, Lucas and Sébastien, for their enthusiasm and the impeccable professionalism they showed during the development of this project. I am also grateful to Rebecca Aston, Clément Hongler and Jacob Menick for their support and sorcery. None of this would exist without them, thank you!

Toute ma gratitude à Colin Pahlisch pour m’avoir invité à participer au Printemps de la Poésie, ainsi qu’à Monica Unser et Rafaël Santianez du Cabanon, ainsi que le reste de l’équipe, Marie, Clarissa, Letizia, Chloé, Janett, Lucas et Sébastien, pour leur enthousiasme et le professionalisme impeccables dont ils ont fait preuve durant l’élaboration de ce projet. Toute ma gratitude également à Rebecca Aston, Clément Hongler et Jacob Menick pour leur soutien et leur sorcellerie. Rien de tout cela n’existerait sans eux, merci !