RSS feed

What is a plurisemiotic work in translation?

Sarah Neelsen, Université Sorbonne Nouvelle

Translated by Stephen Slessor

ABSTRACT

In this part of the Introduction, I define what plurisemiotic practices are in translation. I first compare three related terms, namely ‘multimodal’, ‘multimedia’ and ‘intersemiotic translation’, within the history of Translation Studies, starting in the 1960s (Jakobson, Reiss, Snell-Hornby). The 2000s turn out to be an important caesura, not only from a theoretical point of view (publications by Kress and van Leuwen, Gambier and Gottlieb, later Kaindl), but also by the advent of audiovisual translation, quickly established as an archetype of multimodal translation. Following this observation of an important bias, I shift to plurisemiotic artistic practices that I call ‘situated practices’: they take place in public spaces, are intended for collective reception, make the translator visible, and promote inclusion and accessibility. In the light of examples borrowed from genres often considered minor (murals, mime, performance in sign language, popular music), I explain their stakes for translation and their methodological challenges for research.

KEYWORDS

Plurisemiotic, intersemiotic, multimedia translation, situated practices, Jakobson, multimodality, museum translation, intermediality.

1. Multimodal, multimedia, or plurisemiotic translation?

At first glance, these three terms appear to be closely related, and they can be used as synonyms: “the multimedial, or polysemiotic, nature of electronic communication” (Gambier and Gottlieb 2001, emphasis mine). However, they are also sometimes seen as contrasting terms: “Intersemiotic transposition is to be distinguished from multimedia translation” (Mossop 2019, emphasis mine). It should be noted that Mossop actually introduces a fourth term – ’intersemiotic’ – a concept to which I will return. But for the moment, what are we to do with this terminology and how do we make sense of it?

1.1 Conceptual shifts

You could say that in the beginning, there was multimodality, and not only in the beginning of multimodal Translation Studies around 2001, but in the beginning of all communication, at least according to Kress and van Leeuwen (2001: 21): “multimodality is the normal state of human communication.” Klaus Kaindl (2013: 257) has similarly stated that “multimodality is the rule.” Multimodality refers to any combination of visual, acoustic, and/or linguistic elements – for example, in a film – but also applies to texts, in the narrow sense, that simply bring together typographical signs in a particular layout on the page. All communication is therefore a combination of various modes that are closely associated with a particular medium. For example, if I write a letter, the letter is the medium and writing is the mode. In 2001, the publication of the seminal work of Günther Kress and Theo van Leeuwen brought with it a new awareness that any text (in the broader sense) contains several modes that exist only in active combination with each other, and not simply in isolation or juxtaposition (Kaindl 2013: 258). This marks a significant change in the traditional focus of Translation Studies (the text), as well as in the discipline itself, which shifts from being monomodal to becoming multimodal, leading to a renewal of its tools through dialogue with other disciplines, especially communication studies. At the same time, the term ‘multimodal’ loses its ability to make distinctions because everything studied within Translation Studies becomes multimodal. A spoken text, for example, becomes a combination of sub-modes such as volume, intonation, voice quality, speed of elocution, and pauses (Kaindl 2013: 259). In losing its ability to make distinctions, the term ‘multimodal’ also loses its potency. Yet, if asked, we could probably all come up with a concrete example of a multimodal creation, such as a film, website, or video game. We associate multimodality with multimedia: “In a more narrow, and gradually more usual sense, however, multimedia is referred to when speaking of the processing and presentation of texts, graphics and pictures, if not animation and motion video” (Cattrysse 2001: 1). The reasons for this association include the rapid development of new technologies beginning in the 1980s, the genuine difficulty of clearly distinguishing “mode” from “medium” (Kress and van Leeuwen 2001: 22) and of identifying their respective impacts on translation (Kaindl 2013: 259 and 2016: 125), and the history of the terminology used in Translation Studies before the emergence of multimodality.

Without reiterating the key trends outlined by Francis Mus in his own contribution to this Introduction, I would like to examine the related conceptual shifts. Klaus Kaindl (2013) provides an enlightening overview of these shifts in his article “Multimodality and translation,” in which he traces the complicated emergence of multimodality within Translation Studies. As with any genealogy, this history involves name changes and new branches, including some that bear no fruit (for example, ‘constrained translation’). There are three dates to remember that provide some clarity to this history: 1971 – when Katharina Reiss includes in her typology an ‘audio-medial’ text type, which, in 1984, she renames ‘multimedial’; 1993 – when Mary Snell-Hornby uses the word ‘multimedial’, which she divides, in 2006, into four subcategories; and 1994 – when Henrik Gottlieb proposes the term ‘polysemiotic’ in his work on audiovisual translation. According to Kaindl (2013: 260), the initial users of the term ‘multimedial’ used it to refer only to mode, without connection to medium. And this confusion between mode and medium continued to increase, with audiovisual forms taking precedence over other multimodal ones. The year 2001 is thus an important date – though also a purely symbolic one if we consider the 30 years of research that led up to it – in that it marked the simultaneous publication of Kress and van Leeuwen’s Multimodal Discourse: The Modes and Media of Contemporary Communication, which I have already mentioned, and Gambier and Gottlieb’s (Multi) Media Translation. The dual birth of these key publications ensured the ongoing association of multimodality with multimediality. The history of this terminology and its usage within Translation Studies, as outlined here, tell us almost more about the terms and their implicit meanings than about their precise definitions. So, before I turn to the notion of the plurisemiotic, I would first like to consider further the effects of the predominance of multimedia translation.

1.2 Audiovisual translation as archetype

In the 1990s, research began to focus on other types of multimodal texts in translation, such as plays (both the script and the on-stage performance), operas, comics, and children’s literature (Snell-Hornby 2006: chapter 3.1). However, multimedia translation, which I will refer to here as ‘audiovisual translation’, has experienced an unprecedented boom. The new markets created by the Internet revolution (video games, streaming services, tourism websites, etc.) have multiplied the demand for translation, requiring translators, associations, and trainers to re‑examine their practices (O’Hagan and Mangiron 2013). This prominence of audiovisual translation has had repercussions for research, including research on other types of multimodal texts. Indeed, it has shaped and impacted all multimodal studies. As early as 2005, Gottlieb (2005: 2, emphasis mine) was arguing that the “most prominent polysemiotic text type is the audiovisual text,” while Perego (2012: 7) referred several years later to such texts as “an ‘archetypal’ form of multimodal texts.” Audiovisual texts have taken up so much room that many researchers still give the impression that they are the sole focus of multimodal translation (Boria and Tomalin 2020: 5). My purpose here, of course, is not to spark a pointless intradisciplinary squabble. The rapid development of research on audiovisual translation has unquestionably made a significant contribution to the discipline as a whole, but it has also brought with it certain biases regarding the role of the text and of other sign systems, as well as the issue of meaning-making.

The main contribution of audiovisual research has been the re-evaluation of the role of the text within Translation Studies, a discipline that emerged from literary studies and which has traditionally focused on interlingual translation (Kaindl 2013: 257). With audiovisual translation, the text is but one element among others (images, music, etc.) and is thus translated with special attention paid to any potential interactions with or interference from those other elements (Remael 2001: 14). However, because of the historical importance of literary studies within Translation Studies, the text has retained a certain aura in research on audiovisual translation, which has helped legitimise such research and ensured its recognition as genuine Translation Studies research, but has also represented an obstacle to a clear understanding of multimodality.

The second bias stems directly from the first and has to do with way in which the other sign systems, especially non-verbal ones, are taken into account. Although those systems now receive greater attention, audiovisual translation remains essentially the linguistic translation of the verbal components. The verbal message tends to be isolated from the other components, with consideration only rarely given to the multimedia text as a whole and to the interaction of the sign systems (Cattrysse 2001: 1). Non-verbal signs are seen as dependent on the verbal component.

The third and final bias is that audiovisual translation involves only the translation of meaning, a focus it inherited from communication studies, along with a number of related tools. It is striking how frequently this credo is reaffirmed: “all the other types of resources that can be employed to convey meaning” (Tuominen, Jiménez Hurtado, and Ketola 2018: 2, emphasis mine) or “[language] loses its privileged status as the primary agent of meaning-making, and it becomes merely one of many possible ways of creating and communicating meanings” (Boria and Tomalin 2020: 14, emphasis mine). So even as the role of non-verbal elements is highlighted, those elements are never more than another form of communication and meaning making. It appears to be difficult – or almost impossible – to move beyond logocentrism, even though a significant number of audiovisual texts contain and assert aesthetic, ludic, and emotional aspects that go beyond meaning (O’Hagan 2009).

The three biases described above must be considered in context, if only because practices evolve rapidly and are not always uniform. However, they can generally be explained by the fact that the translator of an audiovisual work is hired to translate only the verbal component. Even if she has an opportunity to collaborate with a technician, producer, or artistic director, she has no control over the other components. It is rare for translation to be part of pre-production planning or for its limitations to be considered during editing (Cattrysse 2001: 4). And if the adaptation of an American music video for the European market that includes changes to the cuts and images remains the exception to the rule, it is perhaps due to the costs involved (Kaindl 2013: 262).

1.3 Intersemiotic translation: The odd one out?

I would like to return to the third term that sometimes appears alongside multimedia and multimodal translation, but which seems to have enjoyed less favour and even been rejected outright. Its history dates to well before the beginnings of ‘multimedial translation’ with Katharina Reiss in 1971, but its name was then still ‘intersemiotic translation’. As many of the contributors to this special issue remind us, the term was apparently first introduced in a 1959 article by Roman Jakobson to describe the use of non-verbal signs to interpret verbal ones. Intersemiotic translation could also be characterised as a change of code, such as when an image is used to translate a linguistic sign. Francis Mus has, in his contribution to this Introduction, already provided a summary of the fierce criticism directed at Jakobson’s terminology. Intersemiotic translation has thus been largely left to other academic disciplines, such as Film Studies, literature, and theatre. Within those disciplines, the term has also gone by other names, including ‘adaptation’, ‘recreation’, ‘remediation’, and ‘intermediality’, but it has also resurfaced regularly within Translation Studies. In the end, Kaindl concludes that the term intersemiotic is “unfortunate” (2013: 261) and that ‘polysemiotic’ is “too diffuse” (ibid.: 260). I have nevertheless included intersemiotic translation here because, perhaps, of its history, as well as its meaning. Although the terms ‘multimodal’, ‘multimedia’, and ‘plurisemiotic’ have closely related meanings, which reduces their functional value, they still have fruitful associations and connotations that make them useful. In choosing ‘plurisemiotic’, our purpose in this issue is not to reclaim an old term, nor to impose a new one, but rather to explore the potential of a term that is perhaps provisional and whose boundaries remain deliberately malleable. The term ‘plurisemiotic’ inherently conveys the history of the term ‘intersemiotic’, which is principally associated with artistic works and what is commonly referred to as ‘adaptation’, with all the questions it raises around fidelity/freedom. But in comparison to intersemiotic translation, plurisemiotic translation presupposes that the work to be translated (the source text) is already a combination of codes or a combination of modes. There are many modes in the work to be translated and many in the translated work (the target text). If the question is whether a linguistic mode must remain linguistic or may become visual or visual and acoustic, the answer is that all combinations are possible. On that issue, Henrik Gottlieb (2005: 4) has proposed an interesting typology that includes the terms ‘isosemiotic’, ‘diasemiotic’, ‘supersemiotic’, and ‘hyposemiotic’. The contributors to this special issue provide examples of these variations. They all investigate plurisemiotic practices, and the addition of the noun ‘practices’ – which is as important as the qualifier ‘plurisemiotic’ – marks a revival of concerns that were present in early research on multimodality but have since receded. On the one hand, Kaindl emphasises the importance that Justa Holz-Mänttäri places on social agency. In 1984, drawing on action theory, Holz-Mänttäri viewed translation as an activity that involves various actors participating in the development of a text. If applied to today’s artistic practices, this idea gains new vitality, because the actors participating in the translation are often physically present on‑stage (including the translator) and make visible a translation process whose only product is its repeat performance each evening. On the other hand, Kaindl (2013: 259) insists that while Holz-Mänttäri did not formally describe multimodality as comprehensively as did Kress and van Leeuwen, she did highlight the transcultural aspect, which was almost absent from Kress and van Leeuwen’s work in 2001. The case studies presented in this special issue all represent a combination of multimodality and transculturality.

2. Plurisemiotic practices in translation
2.1 Situated practices

The practices examined by the articles in this issue are all plurisemiotic within the meaning I have just set out. They start (from a source text) with hybrid practices that combine several sign systems and comprise various modalities but do not belong to the field of multimedia translation (films, video games, advertisements, websites). All of them deal solely with artistic practices (whereas multimedia translation also includes texts without aesthetic ambitions) that are performed for an audience at a specific place and time. The range of practices is quite broad and includes music, dance, painting, and theatre, but not literature (which would have to have been treated in the context of a public reading in which author and translator generally appear together). These artistic practices are not new to Translation Studies, but the focus has been placed on genres that are often considered minor even within their own canonised form of art, such as mural painting, mimodrama, and popular music, as well as on emerging practices such as vertical dance and sign language performance. But what might be the points of commonality among these practices, and why have we brought them together here?

I would now like to examine these practices in terms of four distinctive features that place them in the realm of situated practices:

  • They take place in public spaces.
  • They are intended for collective reception.
  • They make the translator visible.
  • They promote accessibility and inclusion.
2.2 Features of situated practices and their impact on translation
2.2.1 Inscription in a space

The plurisemiotic practices examined in this issue are all inscribed in specific spaces, including the stage (Hausbei, Montesi), a festival space (Lin), and a concert space (Desblache), as well as exhibition spaces (Kohn and Weissbrod; Reviers, Roofthooft and Remael), a cultural centre (Tenbrinck and Lawrence), and even a neighbourhood (Gambier, Juzelėnienė and Petroniené). In other Translation Studies research, it is not unusual to see references to the space of the page (text) or the space of the screen (video games, films for TV), both of which clearly impact multimedia translation choices (Cattrysse 2001). But the spaces of plurisemiotic practices are, on the one hand, public spaces that are separate from domestic ones and, on the other hand, environments that themselves participate in the work because they are reserved (or not) for those practices and are part of the experience of the work (theatre, outdoor stage, urban landscape). Recent research has illustrated the importance of “place semiotics” (Scollon and Scollon 2003) and, using the example of the museum, highlighted “different in-place meanings” that depend on whether visitors have access to the source text or the target text (Pang 2004, Liao 2018). Kohn and Weissbrod’s contribution to this special issue provides an insightful examination of these ideas by studying the work of a Ukrainian non-religious Jewish artist who has immigrated to Israel and is fairly critical of Israeli religious practices but whose paintings are exhibited at Jerusalem’s most important museum. Gambier, Juzelėnienė and Petroniené analyse the interaction between a mural and its urban surroundings in Kaunas, Lithuania (natural and artificial light is reflected by parts of the work) and the history of the neighbourhood (a former Jewish ghetto). In both these cases, the space directly influenced translation choices or the audience’s reception of the translation.

2.2.2. Collective reception

Whether we are referring to a performance attended by all spectators simultaneously or a work experienced consecutively by small groups, the reception of these situated practices is collective in nature and entails the synchronous or asynchronous co-presence of individuals. The audiences of audiovisual works are typically seen as more familial for television and more individual for the computer (Gambier and Gottlieb 2001), but such practices are evolving quickly, for example with public viewings on a big screen and concerts streamed by smartphone. At the same time, audiovisual works are often aimed at an international audience (Cattrysse 2001: 10) or perhaps a “sufficiently Americanised” one (Remael 2001: 20). In contrast, the works examined in this special issue are intended for audiences that are smaller numerically, more local, and assumed to be linguistically, culturally, and biographically diverse. For example, Tenbrinck and Lawrence describe the audience of Omnibus – a spectacle for children based on the Roald Dahl work – as multigenerational (parents and children) and bilingual (English-Welsh) and as having some members with disabilities (audio description). The diversity of the audience is also key to Lucile Desblache’s article, which investigates translation expectations for different genres of vocal music (opera, musical theatre, rap), with rather surprising results.

2.2.3 Making the translator visible

Situated plurisemiotic practices often involve the simultaneous presentation of different versions of a work (Kaufmann 2002), such as the original with an intermodal translation (audio description), interlingual translation (foreign language), or intermedial translation (a dance interpretation of a painting displayed upstage). This makes the relationships between a source text and its target text(s) more complex because the texts together contribute to the creation of a new work. In the past, the target text was seen as able to dispense with the original and achieve “freestandingness” (Mossop 2019). For the most part, however, the works discussed in this special issue deal directly with translation, plurilingualism, or interculturality and do not present translations as originals. On the contrary, the work of the translator is deliberately made visible by, for example, the co-presentation of the original and its translation(s), the on-stage embodiment of the translation – in dance, sign language, or mime – or the presence of intentional discrepancies with the original. Kerstin Hausbei turns her attention to a French mimodrama based on an Austrian play to show how Marcel Marceau, who is at once translator of the text, director of the mimodrama, and artist/performer, is able to reshape the order of appearance of the characters and play with the sequencing of the action. Lin examines the work of Christie Ni, who consecutively acts as sign language translator and performer at a Chinese poetry festival in Shanghai. Ni is at first forced to omit parts of the text (personal pronouns, repetitions), but once on-stage, she can reintroduce those elements (by pointing or heightening a gesture). Just like in audiovisual translation, the translator here tends to be associated with the work of technicians and producers (Cattrysse 2001, Gambier and Gottlieb 2001); however, in situated practices, the translator may also appear and work live, almost as a co-creator (Griesel 2014), or sometimes as a self-translator (Weissbrod and Kohn 2019: chapter 8). A translation recreated each night on-stage will exhibit a much greater degree of instability than even electronic texts, which themselves show fluidity as they are updated (Cattrysse 2001: 4).

2.2.4 Promoting accessibility and inclusion

Audiovisual translation often deals in ‘universals’ as it attempts to reach as large an audience as possible (Cattrysse 2001: 11). This affects choices regarding both standardised and highly specialised language (Gambier and Gottlieb 2001: xiii). Plurisemiotic practices with less reach have greater latitude to encourage diversity and often make it their political goal to promote so-called minority languages and cultures. This is one of the major points made by Julie Chateauvert in her interview for this special issue. The coexistence of two official languages is an issue for bilingual productions (Welsh-English), and festivals are more and more open to promoting accessibility, including through sign language (Desblache, Lin). Vanessa Montesi’s article illustrates in detail how choreographer Marie Chouinard engages in a critical translation of a Hieronymus Bosch tableau by subverting what the painting depicts as universal, namely gender relations, the punishment of sin, and the damnation of non-white figures. Reviers, Roofthooft, and Remael describe an example of audio introduction that was at first aimed at blind and visually impaired members of the audience but ultimately offered to everyone. The audio describer guides the audience’s perception by intervening orally before the performance begins to provide some keys to approaching the work. These two articles pay particular attention to the translation of emotions, sensory perceptions, and materiality, which all fall outside the typical focus on meaning-making and necessitate a reconsideration of the goals of a translation beyond comprehension. The experience of the work thus becomes an experience of translation or of a “translation event” (Tuominen et al. 2018: 17).

These four features of plurisemiotic practices in translation show us that works of art lend themselves well to theorisation and cannot be reduced to merely being unique in nature. As I have just demonstrated, it is possible to bring the different contributions to this issue into conversation with each other, thereby broadening the field of multimodal translation to include new areas of focus. Audiovisual translation has been cited throughout to provide points of both contrast and comparison, to shed light on common lines of questioning, and to highlight differences in the responses offered.

3. Reflections on multimodal research

In closing, I would like to offer some reflections on how the study of plurisemiotic artistic works could enrich research on multimodality in translation.

3.1 The shadow of the text in translation

Much ink has been spilled over the broadening of the concept of ‘translation’, which is a fitting consequence of the earlier redefinition of ‘text’ within Literary and Cultural Studies (cf., for example, the concept of the texte infini in Barthes 1994: 241). Although this openness has helped us see works, their contexts, and their interwoven relationships with other cultural productions through new eyes, it has also required a re-evaluation of the role of language:

Of course nobody pretends that translation can dispense with language (or with source and target texts) altogether, but it is now seen as a tool or instrument for translatorial action rather than as the central object of study in itself (Snell-Hornby 2006: 79)

Today, researchers interested in translation must grapple with semiotic systems other than the text, in the narrow sense. While the text has long been considered the primary semiotic system, which could perhaps be ‘illustrated’ by iconography or ‘highlighted’ by a soundtrack, current multimodal approaches are more interested in the interaction among sign systems (verbal and non-verbal), which means that the text is now simply one system among others. However, this interaction is still usually perceived as a collaboration, as the co-construction of meaning, whereas the relationships among different sign systems can also be contrasting or even parasitic (an image that reassesses the text, a soundtrack that offers ironic counterpoint to the dialogue) (Weissbrod and Kohn 2019). In Media Studies, this is the favoured approach to the concepts of ‘noise’, ‘Rausch’/’Störung’, and ‘interference’. It would be reductive for a translator to view the interaction of sign systems as simply the construction of a message that is meant to be understood. As Brian Mossop (2019: 86) notes, “[i]nstrumental music is certainly meaningful, but there is no way of saying its meaning, and thus no way of agreeing on what it means.” And Minako O’Hagan has shown that in video games, the text always also appeals to the imagination and to pleasure (2009). Opening Translation Studies (once again) up to the study of plurisemiotic and transcultural artistic practices would also help us account for the evolution of those practices, many of which are now constructed only partially with text. For example, quite a few theatre companies develop new shows by starting with the actors acting on-stage without a pre-prepared script. Likewise, a pictorial work may be the result of an extended plurilingual verbal exchange – such as the one described in Gambier, Juzelėnienė, and Petroniené’s article – or simply emerge from physical engagement with the materiality of the colours, canvas, and environment. Mossop (2019: 78) distinguishes an ‘intersemiotic activity’ from a translation, placing it in the realm of adaptation, but I would argue that the term aptly describes these new kinds of artistic practices and their reception.

If we question the role of the text in Translation Studies, we must also question the ways we read translated works, because textual reception practices still influence how we approach a work, including a non-written or non-verbal one (Remael 2001: 19). We can see this for example with Zoya Cherkassky’s paintings; her diptychs read from right to left, as in Hebrew, which may impede reception by a European visitor (Kohn and Weissbrod). And even though Marie Chouinard’s choreography is entirely non-verbal, it is still a critical dialogue with the text of the Bible and the ways in which gender relations are described in Genesis (Montesi). In 2001, Gambier and Gottlieb (2001: xviii) were already pointing out that the reading of audiovisual texts had become fragmented in nature and that we must take this into account when subtitling. Twenty years later, it is clear that they were right and that we should continue their work on the new forms of attention required when reading plurisemiotic works in translation. The co-presence, on-stage or in the museum, of a multimodal original and one or many translations (for example, in several foreign languages simultaneously or in a foreign language and in sign language) may saturate the space and overload viewers’ attention. What we need, therefore, are more in-depth analyses of the reception strategies employed by the target audiences of these types of works in translation.

3.2 The shadow of the text in translation theory

The research assembled for this issue has brought with it one unexpected side-effect: it has raised the question of the role of the text in translation theory. This is a metatheoretical question that cannot receive the attention it deserves here. I would, nevertheless, like to make several observations that flow from the methodological reflections of others. O’Sullivan (2013), for example, has outlined the logistical, technical, and financial challenges researchers face when studying multimodal translation, such as tracking down sources, accessing archives, and reading works on older media (film reels, floppy disks, DVDs, etc.). These challenges, which also affect other types of research, seem much greater when you consider how rudimentary the techniques for preserving or simply circumscribing a plurisemiotic work can still be. The study today of a 1953 mimodrama must rely on only photographs, an account of the staging, and an interview with the artist (Hausbei). The study of a sign language performance at a Shanghai festival in 2018 must rely on only a recording and spectators’ recollections (Lin). Academic writing itself therefore becomes a form of intersemiotic translation as it describes and analyses works that, for the most part, cannot be replicated. If we were once able, when commenting on a translation between two languages, to cite an original and its translation side by side, we will now have to start describing gestures and transcribing choreography. For Christie Ni’s Chinese sign language performance, Lin worked with a video recording, from which still images were extracted. Individual signs then had to be translated verbally (into English) before they could be compared to the source text (a Chinese poem). Even when a video of a performance is available online, it is no substitute for the original performance. The analysis of these plurisemiotic practices is therefore even more difficult than for audiovisual translations (Taylor 2003) that can be reproduced and repeated. In her interview, Julie Chateauvert explains how she is developing multimodal research on sign language together with a research group at the Université Vincennes-Saint Denis.

These methodological considerations should be incorporated not only into multimodal theory but translation teaching as well (Taylor 2003). Training on multimodality – including on situated artistic practices – is necessary if budding translators do not want to see their role limited to either producing ‘rough’ translations that will be made multimodal by other professionals (Snell-Hornby 2006: 89) or post-editing machine translations. The translations described in this special issue are all examples of works that are handmade and made to measure. Translators will have to learn how to be both tailors (Reviers, Roofthooft, and Remael) and designers (Kaindl 2016: 123) so they can claim their spots on the production team.

Bibliography
  • Barthes, Roland (1994). “Le plaisir du texte.” Roland Barthes: Œuvres complètes. Edited by Eric Marty. Vol. 4: Livres, Textes, Entretiens 1972-1976, Paris: Seuil, 217-267.
  • Boria, Monica and Marcus Tomalin (2020). “Introduction.” Monica Boria, Angeles Carreres, María Noriega-Sánchez, and Marcus Tomalin (eds) (2020). Translation and Multimodality: Beyond Words. London and New York: Routledge, 1-23.
  • Cattrysse, Patrick (2001). “Multimedia and translation: Methodological considerations.” Yves Gambier and Henrik Gottlieb (eds) (2001). (Multi)Media Translation. Amsterdam and Philadelphia: John Benjamins, 1-12.
  • Gambier, Yves and Henrik Gottlieb (2001). “Multimedia, multilingua: Multiple challenges.” Yves Gambier and Henrik Gottlieb (eds) (2001). (Multi)Media Translation. Amsterdam and Philadelphia: John Benjamins, viii-xx.
  • Gambier, Yves and Henrik Gottlieb (eds) (2001). (Multi)Media Translation. Amsterdam and Philadelphia: John Benjamins.
  • Gerzymisch-Arbogast, Heidrun (2005). “Introducing multidimensional translation.” Heidrun Gerzymisch-Arbogast and Sandra Nauert (eds). Challenges of Multidimensional Translation: Proceedings of the First MuTra Conference in Saarbrücken, 2-6 May. http://euroconferences.info/proceedings/2005 (consulted 1.12.20).
  • Gottlieb, Henrik (1994). “Subtitling: People translating people.” Cay Dollerup and Anne Loddegaard (eds) (1994). Teaching Translation and Interpreting 2: Insights, Aims, Visions. Papers from the Second Language International Conference. Elsinor, Denmark 4-6 June 1993. Amsterdam and Philadelphoa: John Benjamins, 261-274.
  • Gottlieb, Henrik (2005). “Multidimensional translation: Semantics turned semiotics.” Heidrun Gerzymisch-Arbogast and Sandra Nauert (eds) (2005). Challenges of Multidimensional Translation: Proceedings of the First MuTra Conference in Saarbrücken, 2-6 May. https://www.euroconferences.info/proceedings/2005 (consulted 1.11.20).
  • Griesel, Yvonne (ed.) (2014). WELTTHEATER VERSTEHEN – Übertitelung, Übersetzen, Dolmetschen und neue Wege. Berlin: Alexander Verlag.
  • Holz-Mänttäri, Justa (1984). Translatorisches Handeln: Theorie und Methode. Helsinki: Suomalainen Tiedeakatemia.
  • Jakobson, Roman (1959). “On linguistic aspects of translation.” Reuben A. Brower (ed.). On Translation. Cambridge, MA: Harvard University Press, 232-239.
  • Kaindl, Klaus (2013). “Multimodality and translation.” Carmen Millán and Francesca Bartrina (eds) (2013). The Routledge Handbook of Translation Studies. London and New York: Routledge, 257-269.
  • Kaindl, Klaus (2016). “Multimodales und mediales Übersetzen.” Mira Kadric and Klaus Kaindl (eds) (2016). Berufsziel Übersetzen und Dolmetschen. Grundlagen, Ausbildung, Arbeitsfelder. Tübingen: A. Francke, 120-136.
  • Kaufmann, Francine (2002). “La coprésence de l’original et de sa traduction.” Fortunato Israel (ed.) (2002). Identité, altérité, équivalence ? La traduction comme relation. Actes du colloque international tenu à l’ESIT les 24, 25 et 26 mai 2000 en hommage à Marianne Lederer. Paris/Caen: Minard, 323-338.
  • Kress, Günther and Theo van Leeuwen (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. Oxford University Press.
  • Liao, Min-Hsiu (2018). “Translating multimodal texts in space: A case study of St Mungo Museum of Religious Life and Art.” Linguistica Antverpiensia, New Series: Themes in Translation Studies 17, 84-98.
  • Mossop, Brian (2019). “Intersemiotic translating: Time for a rethink?” Translation and Interpreting Studies 14(1), 75-94.
  • O’Hagan, Minako (2009). “Putting pleasure first: Localizing Japanese video games.” TTR 22(1), 147-165. https://doi.org/10.7202/044785ar (consulted 1.11.20).
  • O'Hagan Minako and Carmen Mangiron (2013). Game Localization: Translating for the Global Digital Entertainment Industry. Amsterdam and Philadelphia: John Benjamins.
  • O’Sullivan, Carol (2013). “Introduction: Multimodality as challenge and resource for Translation Studies.” Carol O’Sullivan and Caterina Jeffcote (eds) (2013). Translating Multimodalities. JoSTrans 20, 2-14.
  • Pang, Alfred Kah Meng (2004). “Making history in From Colony to Nation: A multimodal analysis of a museum exhibition in Singapore.” Kay O’Halloran (ed.). Multimodal Discourse Analysis: Systemic–Functional Linguistics. London: Continuum, 28-54.
  • Perego, Elisa (2012). “Introduction.” Elisa Perego (ed.) (2012). Eye Tracking in Audiovisual Translation. Rome: Aracne Editrice, 7-11.
  • Reiss, Katharina (1971). Möglichkeiten und Grenzen der Übersetzungskritik. Kategorien und Kriterien für eine sachgerechte Beurteilung von Übersetzungen. Munich: Max Huber.
  • Reiss, Katharina and Hans Vermeer (1984). Grundlegung einer allgemeinen Translationstheorie. Tübingen: Niemeyer.
  • Remael, Aline (2001). “Some thoughts on the study of multimodal and multimedia translation.” Yves Gambier and Henrik Gottlieb (eds) (2001). (Multi)Media Translation. Amsterdam/Philadelphia: John Benjamins, 13-22.
  • Scollon, Ron and Suzanne Wong Scollon (2003). Discourses in Place: Language in the Material World. London and New York: Routledge.
  • Snell-Hornby, Mary (1993). “Der Text als Partitur: Möglichkeiten und Grenzen der multimedialen Übersetzung.” Justa Holz-Mänttäri and Christiane Nord (eds) (1993). Traducere Navem: Festschrift für Katharina Reiss zum 70. Geburtstag. Tampere: Tampereen Yliopisto, 335-350.
  • Snell-Hornby, Mary (2006). The Turns of Translation Studies: New Paradigms or Shifting Viewpoints? Amsterdam and Philadelphia: John Benjamins.
  • Taylor, Christopher (2003). “Multimodal transcription in the analysis, translation and subtitling of Italian films.” The Translator 9(2), 191-205.
  • Tuominen, Tiina, Catalina Jiménez Hurtado and Anne Maria Ketola (2018). “Why methods matter: Approaching multimodality in translation research.” Linguistica Antverpiensia, New Series: Themes in Translation Studies 17, 1-21.
  • van Leeuwen, Theo (2006). “Towards a semiotics of typography.” Information Design Journal 14(2), 139-155.
  • Weissbrod, Rachel and Ayelet Kohn (2019). Translating the Visual: A Multimodal Perspective. London and New York: Routledge.
Biography

Neelsen_portrait

Sarah Neelsen is Assistant Professor of German Studies at the Université Sorbonne Nouvelle. Since 2010, she has taught translation to a variety of academic audiences in departments of literature and languages, applied foreign languages, and translation and interpretation. She currently directs a Master’s program in Paris on intercultural art education. Her research focuses on the relationships between literature and other arts, the museum and exhibitions, as well as on the professionalisation of university training programmes. She is an Associate Member of CIRTI at the Université de Liège, a member of the Editorial Board for the Collection Truchements, and has published in TTR.

Email: sarah.neelsen@sorbonne-nouvelle.fr


Qu’est-ce qu’un objet plurisémiotique en traduction ?

Sarah Neelsen, Université Sorbonne Nouvelle

RESUME

Dans cette partie de l’introduction, je définis ce que sont les pratiques plurisémiotiques en traduction. Je confronte d'abord trois termes apparentés, à savoir la « traduction multimodale », « multimédia » et « intersémiotique », dont je retrace l'histoire depuis les années 1960 au sein des théories traductologiques (Jakobson, Reiss, Snell-Hornby). Les années 2000 s'avèrent être un tournant important, non seulement d'un point de vue théorique (publications de Kress et van Leuwen, Gambier et Gottlieb, puis Kaindl), mais aussi par l'avènement de la traduction audiovisuelle, rapidement érigée en archétype de la traduction multimodale. Après le constat de cet important biais, je m'intéresse aux pratiques artistiques plurisémiotiques que je qualifie de « pratiques situées » : elles sont liées à un espace public et un collectif de réception, donnent de la visibilité au traducteur et sont soucieuses d'inclusion et d'accessibilité. A la lumière d’exemples empruntés à des genres souvent considérés comme mineurs (peinture murale, mime, performance en langue des signes, musique populaire), j'explique leurs enjeux pour la traduction et leurs défis méthodologiques pour la recherche.

MOTS CLES

Plurisémiotique, intersémiotique, traduction multimédia, pratiques situées, Jakobson, multimodalité, musée, intermédialité

1. Traduction multimodale, multimédia ou plurisémiotique ?

Ces trois termes semblent à première vue très proches et ont pu être employés comme synonymes : « the multimedial, or polysemiotic, nature of electronic communication » (Gambier et Gottlieb 2001, nous soulignons). Cependant, il arrive aussi de les voir opposés : « Intersemiotic transposition is to be distinguished from multimedia translation » (Mossop 2019, nous soulignons). A noter que l’auteur de la citation introduit même un quatrième terme (« intersémiotique ») sur lequel nous reviendrons. Que faire de cette terminologie et comment s’y retrouver ?

1.1 Déplacements conceptuels

On peut dire qu’au commencement était la multimodalité. Non seulement au commencement de la traductologie multimodale – globalement vers 2001 –, mais, si l’on en croit Kress et van Leeuwen, au commencement même de toute communication : « multimodality is the normal state of human communication » (2001 : 21). Une déclaration reprise par Klaus Kaindl : « multimodality is the rule » (2013 : 257). La multimodalité désigne en effet tout ensemble d’éléments visuels, sonores et/ou linguistiques – on pense par exemple à un film – mais elle inclut aussi les textes au sens strict qui ne combinent quedes signes typographiques dans une certaine disposition sur la page. Toute communication est donc combinaison de plusieurs modes et cela en étroite association avec un média : si j’écris une lettre, le média est la lettre, tandis que l’écriture est le mode. Ce qui change en 2001 avec la publication de l’ouvrage séminal des linguistes Günther Kress et Theo van Leeuwen, c’est la conscience que tout texte (en son sens le plus large) comporte plusieurs modes qui n’existent qu’en combinaison active les uns avec les autres et non de manière juxtaposée et isolable (Kaindl 2013 : 258). Cela modifie assez profondément l’objet traditionnel de la traductologie (le texte) mais aussi la discipline elle-même, qui cesse d’être monomodale pour devenir à son tour multimodale et renouveler ses outils au contact d’autres disciplines, tout particulièrement les communication studies. En même temps, le terme « multimodal » cesse d’être discriminant, puisque tout objet de la traductologie devient multimodal. Un discours oral est une combinaison de sous-modes : volume, intonation, grain de la voix, vitesse d’élocution, pauses (Kaindl 2013 : 259). En cessant d’être discriminant, le terme cesse aussi d’être opérant. Et pourtant, chacun a probablement un exemple très concret qui lui vient en tête si on lui demande de citer un objet multimodal : un film, un site internet, un jeu vidéo. Nous associons en fait le multimodal au multimédia : « In a more narrow, and gradually more usual sense, however, multimedia is referred to when speaking of the processing and presentation of texts, graphics and pictures, if not animation and motion video » (Cattrysse 2001 : 1). Cela s’explique par le développement rapide des nouvelles technologies à partir des années 1980, par une vraie difficulté à distinguer nettement « mode » et « média » (Kress et van Leeuwen 2001 : 22) et leur impact respectif sur la traduction (Kaindl 2013 : 259 et 2016 : 125), et par l’histoire des terminologies traductologiques avant l’avènement de la notion de « multimodalité ». Sans revenir sur les grandes tendances rappelées par Francis Mus dans sa contribution à l’introduction, examinons ici simplement les déplacements conceptuels. Klaus Kaindl (2013) en donne un aperçu tout à fait édifiant dans son article « Multimodality and translation », où il retrace la genèse complexe de la multimodalité au sein de la traductologie, qui comme toute généalogie comporte des ramifications, des changements de noms et des lignées sans descendance (par exemple « constrained translation »). Ne retenons ici que trois dates par souci de clarté : 1971, Katharina Reiss inclut dans sa typologie un type « audio-medial » qu’elle renomme en 1984 en « multimedial » ; 1993, Mary Snell-Hornby recourt au mot « multimedial » qu’elle subdivise en 2006 en quatre sous-catégories ; 1994, Henrik Gottlieb, s’intéressant à la traduction audio-visuelle, propose de l’appeler « polysemiotic ». D’après Kaindl (2013 : 260), le « multimedial »n’était sous la plume de ses premières utilisatrices qu’une autre désignation du mode, sans lien avec les médias. Mais la confusion entre mode et média n’a cessé de s’amplifier et l’audiovisuel de s’imposer sur d’autres formes multimodales. Ainsi 2001 marque la date – toute symbolique si l’on tient compte des trente ans de recherche qui l’ont préparée – d’une double naissance avec la publication concomitante du livre de Kress et van Leeuwen déjà évoqué, Multimodal Discourse : The Modes and Media of Contemporary Communication,et de celui de Gambier et Gottlieb (Multi) Media Translation. Cette coïncidence vient sceller en quelque sorte l’association courante entre multimodalité et multimédialité.

La genèse terminologique et les usages disciplinaires esquissés ici renseignent presque davantage sur les termes et leur implicite que leur stricte définition. Avant d’en venir au plurisémiotique, arrêtons-nous un instant encore sur les effets de la prédominance du multimédia.

1.2 Le caractère archétypal de la traduction audiovisuelle

Dans les années 1990, d’autres objets multimodaux en traduction ont intéressé la recherche : le théâtre (plus seulement le texte mais bien la représentation sur scène), l’opéra, la bande dessinée ou encore les albums jeunesse (Snell-Hornby 2006 : chapitre 3.1). Toutefois, la traduction multimédia, que nous appellerons ici « audiovisuelle », a connu un boom sans comparaison. Les nouveaux marchés issus de la révolution technologique d’internet (jeux vidéo, services de streaming, sites de tourisme, etc.) décuplent les demandes de traduction, obligeant traducteurs, associations et formateurs à repenser leurs pratiques (O’Hagan et Mangiron 2013). Or l’importance prise par la traduction audiovisuelle n’a pas été sans effet sur la recherche y compris pour les autres objets multimodaux : elle a orienté et impacté l’ensemble des études multimodales. Dès 2005, on pouvait lire « the most prominent polysemiotic text type is the audiovisual text » (Gottlieb 2005 : 2, nous soulignons), et Perego constate quelques années plus tard qu’il s’agit désormais de « the ‘archetypal’ form of multimodal texts » (2012 : 7). L’audiovisuel a pris une telle place, qu’aujourd’hui encore nombre de chercheurs donnent l’impression qu’elle est l’unique objet de la traduction multimodale (Boria et Tomalin 2020 : 5). Il ne s’agit évidemment pas ici de déclencher une vaine querelle disciplinaire. Le développement rapide de la recherche sur la traduction audiovisuelle a incontestablement eu de multiples apports pour toutes les études dans ce domaine, mais il a introduit aussi quelques biais concernant la place du texte, la place des autres systèmes de signes et la question du sens (meaning making).

Le principal apport de la recherche audiovisuelle est d’avoir contribué à réévaluer la place du texte au sein de la traductologie, historiquement issue des études littéraires et concentrée sur la traduction interlinguale (Kaindl 2013 : 257). Avec la traduction audiovisuelle le texte devient un élément parmi d’autres (images, musique, etc.) et il est désormais traduit avec une attention particulière à tout ce qui est susceptible d’interagir et d’interférer avec lui (Remael 2001 : 14). Pourtant, et justement en raison du poids historique des études littéraires au sein de la discipline, la recherche en traduction audiovisuelle a conservé au texte une certaine aura, ce qui lui permettait de légitimer ses travaux et de les faire reconnaître comme authentiquement traductologiques, mais a pu constituer un frein pour la bonne appréhension de la multimodalité.

Le deuxième effet déformant découle directement du premier et concerne la façon dont les autres systèmes de signes, en particulier non-verbaux, sont pris en compte. Si l’attention qui leur est désormais accordée s’est accrue, la traduction audiovisuelle reste fondamentalement une traduction linguistique des parties verbales. Elle tend à isoler le message verbal du reste, mais considère rarement l’objet multimédia comme un ensemble et les systèmes de signes dans leur interaction (Cattrysse 2001 : 1). Les signes non-verbaux sont perçus sous la dépendance de la partie verbale.

Troisième et dernier biais : la traduction audiovisuelle travaille à la traduction exclusive d’un sens (meaning). Elle est héritière en cela des communication studies, qui lui ont fourni un certain nombre d’outils. Il est frappant de voir avec quelle régularité, ce credo est réaffirmé : « all the other types of resources that can be employed to convey meaning » (Tuominen, Jiménez Hurtado et Ketola 2018 : 2, nous soulignons) ou « [language] loses its privileged status as the primary agent of meaning-making, and it becomes merely one of many possible ways of creating and communicating meanings » (Boria et Tomalin 2020 : 14, nous soulignons). Alors même que la contribution des éléments non-verbaux est revalorisée, ils ne sont jamais qu’une autre forme de communication et de production du sens. Le logocentrisme semble difficile, presque impossible à surmonter, alors même qu’un nombre important d’objets audiovisuels comportent et revendiquent une dimension esthétique, ludique, émotionnelle qui va au-delà du sens (O’Hagan 2009).

Les trois biais exposés ci-dessus doivent être relativisés, ne serait-ce que parce que les pratiques évoluent très rapidement et ne sont pas toujours homogènes. Toutefois, ils s’expliquent globalement par le fait que le traducteur d’une œuvre audiovisuelle n’est engagé que pour traduire la partie verbale. Même s’il a la chance de pouvoir collaborer avec un technicien, un producteur ou un directeur artistique, il n’a pas de prise sur les autres canaux. Rares sont les cas où la traduction est pensée en phase de pré-production et ses contraintes intégrées par exemple au montage (Cattrysse 2001 : 4). Et l’adaptation d’un clip américain pour le marché européen intégrant une modification des coupes et de la qualité d’images reste l’exception, ne serait-ce qu’en raison de son coût (Kaindl 2013 : 262).

1.3 L’intersémiotique : le mal-aimé de la famille ?

Revenons à présent sur le troisième terme mobilisé parfois aux côtés du multimédia et multimodal mais qui semble avoir connu une moindre fortune, voire un franc rejet. Son histoire commence bien avant les prémisses du « multimedial » chez Katharina Reiss en 1971 et il s’appelle alors encore « l’intersémiotique ». Comme le rappellent plusieurs contributeurs à ce numéro, Roman Jakobson l’aurait introduit le premier dans un article de 1959 pour désigner l’interprétation de signes verbaux par des signes non-verbaux, ce qu’on peut aussi qualifier de changement de code, par exemple une image traduisant un signe linguistique. Francis Mus a ci-dessus résumé les critiques virulentes dont la terminologie jakobsonienne a fait l’objet. L’intersémiotique a donc été laissé en grande partie à d’autres champs disciplinaires – études filmiques, littéraires, théâtrales – où il a fait carrière sous d’autres noms : « adaptation », « recréation », « remédiation », « intermédialité », tout en resurgissant régulièrement aussi en traductologie. Finalement, Kaindl estime le terme « unfortunate » (2013 : 261), de même que « polysemiotic » lui semble « too diffuse » (ibid. : 260). Or, nous l’avons retenu malgré tout, peut-être en raison de son patrimoine, tout autant que pour sa signification. Si « multimodal », « multimédia » et « plurisémiotique » ont des sens finalement très proches et s’avèrent pour cette raison peu opérationnels, ils sont toutefois riches d’associations, de connotations qui font la différence. En choisissant « plurisémiotique », nous ne tenons ni à réhabiliter un terme ancien, ni à en imposer un nouveau, mais à explorer les potentialités d’un terme possiblement transitoire et aux contours volontairement encore souples. Le « plurisémiotique » porte ainsi en lui tout l’histoire de l’« intersémiotique », associé essentiellement aux œuvres artistiques et à ce qu’on nomme dans le langage courant « adaptation » avec tous les problèmes de fidélité/liberté que cela a pu engendrer. Mais par rapport à l’intersémiotique, il postule que l’œuvre à traduire (texte source) est déjà une combinaison de codes, une combinaison de modes. Il y en a plusieurs au départ, il y en a plusieurs à l’arrivée dans l’œuvre traduite (texte cible). Quant à savoir si un mode linguistique reste linguistique, devient visuel ou visuel et sonore, toutes les combinaisons sont possibles. Henrik Gottlieb propose à ce sujet une typologie intéressante comportant l’« isosémiotique », le « diasémiotique », le « supersémiotique » et « hyposémiotique » (2005 : 4). Les contributions de ce numéro fournissent des exemples parlant de ces variantes. Toutes envisagent des pratiques plurisémiotiques et l’adjonction du substantif – tout aussi important que l’épithète – est une réactivation de certains questionnements présents très tôt dans la recherche sur la multimodalité, mais entre-temps estompés. Kaindl rappelle d’une part l’importance de la « social agency » chez Justa Holz-Mänttäri. S’inspirant de la théorie actionnelle, Holz-Mänttäri considèrait en 1984 la traduction comme activité impliquant plusieurs acteurs dans le développement d’un texte. Appliquée aux pratiques artistiques contemporaines, cette idée retrouve ses couleurs, car les acteurs de la traduction sont bien souvent physiquement présents sur scène (traducteur compris) et donnent à voir le processus d’une traduction qui n’a d’autre produit que son itération chaque soir renouvelée. D’autre part, Kaindl insiste sur le fait que Holz-Mänttäri n’avait pas formalisé la multimodalité de manière aussi aboutie que Kress et van Leeuwen, mais qu’elle avait mis l’accent sur l’aspect transculturel, pratiquement absent de leur ouvrage en 2001 (Kaindl 2013 : 259). Or, les études de cas que nous proposons dans ce numéro sont toutes une combinaison de multimodalité et de transculturalité.

2. Pratiques plurisémiotiques en traduction
2.1 Des pratiques situées

Les pratiques dont traitent les contributions de ce numéro sont donc plurisémiotiques au sens que nous venons de définir. Il s’agit au départ (texte source) de pratiques hybrides combinant plusieurs systèmes de signes, relevant de plusieurs modalités, mais aucune d’entre elles n’appartient au champ de la traduction multimédia (film, jeu vidéo, publicité ou site web). Il est exclusivement question de pratiques artistiques (alors que la traduction multimédia intègre aussi largement des objets sans visée esthétique), présentées devant un public, dans un lieu et un temps dédiés. L’éventail est très large puisqu’il inclut la musique, la danse, la peinture et le théâtre, mais la littérature en est exclue (il faudrait la considérer en situation de lecture publique où un auteur et son traducteur d’ailleurs fréquemment présents ensemble). Parmi ces arts qui sont loin d’être nouveaux en traductologie, nous avons déplacé le regard vers des genres souvent considérés comme mineurs au sein de pratiques elles-mêmes sanctifiées, par exemple la peinture murale, le mimodrame ou la musique populaire, et des pratiques encore émergentes, telles que la danse verticale ou la performance en langue des signes. Quels peuvent bien être leurs points communs ? Qu’est-ce qui justifie leur rapprochement ?

Nous examinerons tour à tour quelques-unes de leurs spécificités, lesquelles peuvent être subsumées sous l’idée de pratiques situées :

  • dans un espace public
  • avec un collectif de réception
  • donnant une visibilité au traducteur
  • avec un souci d’accessibilité et d’inclusion
2.2 Spécificités des pratiques situées et effets sur la traduction
2.2.1 L’inscription dans l’espace

Les pratiques plurisémiotiques s’inscrivent toutes dans un espace qui peut être celui de la scène (Hausbei, Montesi), d’un festival (Lin) ou d’un concert (Desblache), mais aussi un lieu d’exposition (Kohn et Weissbrod, Reviers, Roofthooft et Remael), un centre culturel (Tenbrinck et Lawrence) ou simplement un quartier (Gambier, Juzelėnienė et Petroniené). Il n’est pas rare de voir évoqué dans d’autres études traductologiques l’espace de la page (texte) ou l’espace de l’écran (jeux vidéo, téléfilm) et les deux ont clairement aussi une incidence sur des choix de traduction multimédia (Cattrysse 2001). Mais l’espace des pratiques plurisémiotiques est d’une part un espace public distinct de l’espace domestique et d’autre part un environnement qui participe de l’œuvre parce qu’il s’agit d’un lieu dédié (ou non) qui fait partie de l’expérience de l’œuvre (salle de théâtre, scène en plein air, paysage urbain). Des recherches récentes ont mis au jour l’importance des « place semiotics » (Scollon et Scollon 2003) et dégagé à partir de l’exemple du musée « different in-place meanings », selon que les visiteurs ont accès au texte source ou au texte cible (Pang 2004 et Liao 2018). Cette question reçoit un éclairage édifiant dans la contribution de Kohn et Weissbrod sur une artiste ukrainienne, juive non-croyante émigrée en Israël et relativement critique à l’égard de certaines pratiques religieuses du pays, dont les toiles se retrouvent exposées dans le plus important musée de Jérusalem. L’article de Gambier, Juzelėnienė et Petroniené analyse quant à lui les interférences d’une peinture murale avec son environnement urbain à Kaunas en Lituanie (lumières naturelles et artificielles réfléchies par certaines parties de l’œuvre) et l’histoire du quartier (ancien ghetto juif). Dans les deux cas, l’espace a directement influencé certains choix de traduction ou bien la réception de la traduction par le public.

2.2.2. Une réception collective

Qu’il s’agisse d’une représentation à laquelle tous les spectateurs assistent simultanément ou bien une œuvre perçue consécutivement par petits groupes, la réception des pratiques situées est collective et implique une coprésence synchrone ou asynchrone. Le public des œuvres audiovisuelles est considéré comme plutôt familial pour la télévision et plutôt individuel pour l’ordinateur (Gambier et Gottlieb 2001), mais là aussi les pratiques évoluent fortement : retransmissions publiques sur grand écran (public viewing) ou concerts suivis en streaming sur un smartphone. En revanche, le public visé par l’audiovisuel est une « audience internationale » (Cattrysse 2001 : 10), voire « suffisamment américanisée » (Remael 2001 : 20). Par contraste, les œuvres dont il est question dans ce numéro s’adressent à un public numériquement plus faible, plus local et dont on présuppose la diversité linguistique, culturelle et biographique. Tenbrinck et Lawrence décrivent par exemple le public d’un spectacle pour enfants, Omnibus, crée au Pays de Galles d’après l’œuvre de Roald Dahl : multigénérationnel (parents, enfants), bilingue (anglais-gallois, partiellement en situation de handicap (audiodescription). La diversité du public est également au cœur de l’article de Lucile Desblache qui a enquêté sur les attentes en matière de traduction pour différents genres de musique chantée (opéra, comédie musicale, rap), avec des résultats tout-à-fait étonnants.

2.2.3 Un traducteur visibilisé

Il n’est pas rare que les pratiques plurisémiotiques situées présentent différentes versions d’une œuvre conjointement (Kaufmann 2002) : l’original avec une traduction intermodale (audiodescription), interlinguale (langue étrangère) et intermédiale (interprétation dansée d’une toile visible en fond de scène). Les rapports entre texte source et texte(s) cible(s) s’en trouvent complexifiés puisqu’ils concourent ensemble à une nouvelle œuvre, alors qu’on a pu considérer par le passé que le texte cible devait pouvoir se passer de l’original (« freestandingness », Mossop 2019). La plupart du temps, les œuvres discutées traitent même directement des enjeux de la traduction, du plurilinguisme ou de l’interculturalité et ne cherchent pas à faire passer la traduction pour l’original. Le travail du traducteur ou de la traductrice est au contraire volontairement visibilisé : par la coprésentation de l’original et de sa/ses traduction(s), par une incarnation de la traduction (embodiment) – dansée, signée ou mimée sur scène – ou par un décalage voulu avec l’original. Kerstin Hausbei s’intéresse à un mimodrame français tiré d’un vaudeville autrichien et montre comment Marcel Marceau, à la fois traducteur de la pièce, metteur en scène du mimodrame et artiste-performeur est capable à ce titre de recomposer l’ordre d’apparition des personnages et d’intervenir sur la linéarisation de l’action. Lin examine le travail de Christie Ni, successivement traductrice et performeuse pour un festival de poésie chinoise en langue des signes de Shanghai. Ayant été contrainte à certains choix de suppression (pronoms personnels, répétitions) dans le texte, Christie Ni est en mesure de réintroduire ces éléments une fois sur scène (index pointé, amplitude du geste). Tout comme pour la traduction audiovisuelle, le traducteur tend à être associé au travail des techniciens et producteurs (Cattrysse 2001, Gambier et Gottlieb 2001), mais dans les pratiques situées, il peut apparaître et travailler en direct, flirtant avec la co-création (Griesel 2014), engagé parfois tout à fait dans l’auto-traduction (Weissbrod et Kohn 2019 : chapitre 8). L’instabilité d’une traduction recréée chaque soir sur scène atteint bien sûr un degré bien supérieur à la fluidité des textes électroniques qui peuvent eux aussi varier au gré des actualisations (Cattrysse 2001 : 4).

2.2.4 Le souci de l’accessibilité et de l’inclusion

La traduction audiovisuelle travaille souvent avec quelques « universaux » afin d’atteindre un public le plus large possible (Cattrysse 2001 : 11). Cela affecte aussi les choix linguistiques, tantôt standardisés, tantôt hyperspécialisés (Gambier et Gottlieb 2001 : xiii). Les pratiques plurisémiotiques de moindre diffusion ont le loisir de pouvoir intégrer la diversité et en font régulièrement un agenda politique en faveur de langues et de cultures dites minoritaires. C’est l’un des enjeux que pointe Julie Chateauvert dans son interview pour ce numéro. La coexistence de deux langues officielles devient l’enjeu de productions bilingues (gallois-anglais), tandis que les festivals s’ouvrent de plus en plus à l’accessibilité, notamment par la langue des signes (Desblache, Lin). Dans son article, Vanessa Montesi montre en détail comment la chorégraphe Marie Chouinard procède à une traduction critique du tableau de Jérôme Bosch subvertissant ce qui s’y présentait comme universel, à savoir les rapports de genre, la punition des péchés et la damnation des personnages non blancs. Reviers, Roofthooft et Remael décrivent une de leurs expériences d’introduction en audio-description, initialement destinée au public malvoyant et aveugle, mais finalement proposé à tous. Guidant la perception du spectacle, l’audio-descripteur qui intervient de vive voix avant le début, fournit au public des clefs communes pour aborder l’œuvre. Les deux articles insistent sur la traduction des émotions, des perceptions sensorielles et de la matérialité, autant d’éléments qui dépassent le focus habituel sur le sens (meaning-making), mais oblige aussi à reconsidérer les objectifs d’une traduction en d’autres termes que la compréhension. L’expérience de l’œuvre devient ainsi une expérience de la traduction ou encore un « translation event » (Tuominen et al. 2018 : 17).

Ces quatre caractéristiques des pratiques plurisémiotiques en traduction montrent que les œuvres d’art peuvent tout à fait se prêter à la théorisation et ne se laissent pas réduire à leur singularité. Comme on vient de le faire, il est régulièrement possible de confronter les contributions de ce numéro et d’élargir ainsi le champ de la traductologie multimodale à de nouveaux objets. La traduction audiovisuelle a été systématiquement citée, tantôt en contrepoint, tantôt par comparaison, là aussi pour dégager des questionnements communs et souligner la différence des réponses apportées.

3. Pistes de réflexion pour la recherche multimodale

Pour terminer, ouvrons quelques pistes de réflexion sur la façon dont les œuvres artistiques plurisémiotiques pourraient venir enrichir les recherches sur la multimodalité en traduction.

3.1 Ombre portée du texte en traduction
L’élargissement de la notion de « traduction » a fait couler beaucoup d’encre, mais il n’est que la juste conséquence d’une redéfinition antérieure du « texte » au sein des études littéraires et des cultural studies (cf. notamment la notion de « texte infini » dans Barthes 1994 : 241). Si cette ouverture a pu permettre de renouveler notre regard sur l’œuvre, son contexte et son entrelacement avec d’autres productions culturelles, elle s’est faite aussi au prix d’une réévaluation de la place de la langue :

Of course nobody pretends that translation can dispense with language (or with source and target texts) altogether, but it is now seen as a tool or instrument for translatorial action rather than as the central object of study in itself (Snell-Hornby 2006 : 79).

Qui s’intéresse à la traduction doit aujourd’hui composer aussi avec d’autres systèmes sémiotiques que le texte au sens strict. Alors que le texte a longtemps été considéré comme système sémiotique principal, éventuellement « illustré » par une iconographie ou « souligné » par une bande-son, les approches multimodales contemporaines s’intéressent davantage à l’interaction entre systèmes de signes (verbaux et non-verbaux), faisant du texte un système parmi d’autres. Toutefois, on continue le plus souvent à concevoir cette interaction comme collaboration, comme co-construction d’un sens, alors que les rapports entre différents systèmes de signes peuvent aussi être de l’ordre de la tension contrastive voire parasitaire (image réévaluant le texte, bande son en contre-point ironique d’un dialogue) (Weissbrod et Kohn 2019). C’est l’approche privilégiée par les media studies autour des notions de « noise », « Rausch »/« Störung » ou d’« interférence ». Il serait réducteur pour le traducteur de n’examiner l’interaction des systèmes de signes que comme construction d’un message destiné à être compris. Brian Mossop le remarque au sujet de la musique : « Instrumental music is certainly meaningful, but there is no way of saying its meaning, and thus no way of agreeing on what it means » (2019 : 86). Et Minako O’Hagan de montrer pour les jeux vidéo que le texte fait toujours appel aussi à l’imagination et au plaisir (2009). (Ré)ouvrir la traductologie à l’étude des pratiques artistiques plurisémiotiques et transculturelles permettrait aussi de tenir compte de l’évolution des pratiques artistiques, dont beaucoup ne composent plus que partiellement avec du texte. Nombre de compagnies théâtrales par exemple développent un nouveau spectacle directement à partir du jeu d’acteurs sur le plateau, sans texte préalablement écrit. De même, une œuvre picturale peut être le résultat d’un long échange verbal et plurilingue comme décrit dans ce numéro par Gambier, Juzelėnienė et Petroniené ou bien naître d’un corps-à-corps avec la matérialité des couleurs, de la toile et de l’environnement. Mossop évoque une « intersemiotic activity » qu’il voudrait distinguer de la traduction et ranger du côté de l’adaptation, mais son expression nous semble très juste pour décrire la nouvelle qualité des pratiques artistiques et de leur réception (2019 : 78).

Questionner la place du texte en traductologie revient aussi à questionner les modes de lecture des œuvres traduites, car dans ce domaine aussi la réception textuelle continue d’influencer la manière dont nous abordons une œuvre même non-écrite et non-verbale (Remael 2001 : 19). On le voit par exemple dans la peinture de Zoya Cherkassky, dont les dyptiques se lisent de droite à gauche, comme l’hébreu, ce qui peut d’ailleurs contrarier la réception d’un visiteur européen (Kohn et Weissbrod). De même, la chorégraphie de Marie Chouinard bien qu’entièrement non-verbale reste un dialogue critique avec le texte de la Bible et la façon dont les rapports entre les genres sont décrits dans la Genèse (Montesi). Pourtant Gambier et Gottlieb soulignaient déjà en 2001 l’émergence d’une lecture fragmentée dans le domaine de l’audiovisuel et la nécessité d’en tenir compte pour le sous-titrage (2001 : xviii). Vingt ans plus tard, on ne peut que leur donner raison et prolonger leurs réflexions sur le nouveau régime d’attention requis par les œuvres plurisémiotiques en traduction : la double présentation sur scène ou dans l’espace muséal d’un original multimodal et d’une ou plusieurs traductions (par exemple en plusieurs langues étrangères simultanément ou en langue étrangère et en langue des signes) produit une saturation de l’espace et une sursollicitation de l’attention. Il nous manque ici des analyses approfondies sur les stratégies de réception de ces œuvres en traduction par le public cible.

3.2 Ombre portée du texte en traductologie

Un effet inattendu des études que nous proposons ici a été de soulever aussi la question de la place du texte au sein de la théorie traductologique. Il s’agit d’une question métathéorique qui ne saurait recevoir ici toute l’attention qu’elle mériterait. Pointons malgré tout quelques éléments à ce sujet, à la suite des remarques méthodologiques formulées par d’autres. O’Sullivan détaille notamment les problèmes logistiques, techniques et financiers auxquels se heurte la recherche multimodale en traduction, tels que la localisation des sources, l’accès aux archives et la lecture de supports parfois anciens (bobines, disquettes, DVD, etc.) (O’Sullivan 2013). Ces problèmes communs à d’autres approches semblent décuplés tant la conservation mais aussi la simple fixation d’œuvres plurisémiotiques demeure parfois artisanale. Etudier aujourd’hui un mimodrame de 1953 ne peut se faire qu’à partir de photographies, d’un récit de scène et d’un entretien avec l’artiste (Hausbei). Etudier aujourd’hui une performance en langue des signes au festival de Shanghai en 2018 ne peut se faire qu’à partir d’une captation et du souvenir des spectateurs (Lin). Ainsi l’écriture académique elle-même devient une traduction intersémiotique pour rendre compte des œuvres qu’elle analyse et qui sont pour beaucoup non répliquables. Là où un commentaire de traduction entre deux langues citerait côte à côte un original et sa traduction, il faut désormais commencer par décrire un geste, transcrire une chorégraphie. Pour le spectacle de Christie Ni en langue des signes chinoise, Lin travaille à partir d’une captation vidéo, dont ils extraient certaines images arrêtées. Les signes ainsi isolés doivent encore être traduits en langage verbal (anglais) avant de pouvoir être comparés au texte source (un poème chinois). Même si une vidéo de la performance est également accessible en ligne, elle ne se substitue pas à la performance initiale. La difficulté est donc encore plus grande que pour l’analyse de traductions audiovisuelles (Taylor 2003) dont la reproduction et la répétition sont possibles. Avec une équipe de l’Université Vincennes-Saint-Denis, Julie Chateauvert développe une recherche en langues des signes à son tour multimodale et dont elle s’explique dans son interview.

Ces pistes de réflexion méthodologiques devront être intégrées non seulement à la théorie multimodale mais aussi à la didactique de la traduction (Taylor 2003). En effet, la formation à la multimodalité – intégrant aussi les pratiques artistiques situées – s’impose, si les futurs traducteurs ne veulent pas voir leur intervention limitée soit à la confection d’une traduction « brute » que d’autres professionnels s’occuperont de rendre multimodale (Snell-Hornby 2006 : 89), soit à la post-édition d’une traduction réalisée par la machine. Les traductions décrites dans ce numéro relèvent toutes du fait main et du sur mesure. Ici le traducteur doit savoir se faire tailleur (Reviers, Roofthooft et Remael) et designer (Kaindl 2016 : 123), il doit revendiquer sa place dans les équipes de production.

Bibliographie
  • Barthes, Roland (1994). « Le plaisir du texte ». Roland Barthes. Œuvres complètes. Éditées par Eric Marty. Vol. 4 : Livres, Textes, Entretiens 1972-1976, Paris : Seuil, 217-67.
  • Boria, Monica et Marcus Tomalin (2020). « Introduction ». Monica Boria, Angeles Carreres, María Noriega-Sánchez, et Marcus Tomalin (éd.) (2020). Translation and Multimodality: Beyond Words. London et New York: Routledge, 1-23.
  • Cattrysse, Patrick (2001). « Multimedia and Translation : Methodological Considerations ». Yves Gambier et Henrik Gottlieb (éd.) (2001). (Multi)Media Translation. Amsterdam et Philadelphia : John Benjamins, 1-12.
  • Gambier, Yves et Henrik Gottlieb (2001). « Multimedia, multilingua. Multiple challenges ». Yves Gambier et Henrik Gottlieb (éd.) (2001). (Multi)Media Translation. Amsterdam et Philadelphia : John Benjamins, viii-xx.
  • Gambier, Yves et Henrik Gottlieb (éd.) (2001). (Multi)Media Translation. Amsterdam et Philadelphia : John Benjamins.
  • Gerzymisch-Arbogast, Heidrun (2005). « Introducing Multidimensional Translation ». Heidrun Gerzymisch-Arbogast et Sandra Nauert (éd.) (2005). Challenges of Multidimensional Translation : Proceedings of the First MuTraConference in Saarbrücken, 2-6 May. http://euroconferences.info/proceedings/2005 (consulté le 1.11.20).
  • Gottlieb, Henrik (1994). « Subtitling : People Translating People ». Cay Dollerup et Anne Loddegaard (éd.). Teaching Translation and Interpreting 2: Insights, Aims, Visions. Papers from the Second Language International Conference. Elsinor, Denmark 4-6 June 1993. Amsterdam : John Benjamins, 261-74.
  • Gottlieb, Henrik (2005). « Multidimensional Translation : Semantics turned Semiotics ». Heidrun Gerzymisch-Arbogast et Sandra Nauert (éd.). Challenges of Multidimensional Translation : Proceedings of the First MuTraConference in Saarbrücken, 2-6 May. https://www.euroconferences.info/proceedings/2005 (consulté le 1.11.20).
  • Griesel, Yvonne (éd.) (2014). WELTTHEATER VERSTEHEN – Übertitelung, Übersetzen, Dolmetschen und neue Wege. Berlin : Alexander Verlag.
  • Holz-Mänttäri, Justa (1984). Translatorisches Handeln : Theorie und Methode. Helsinki : Suomalainen Tiedeakatemia.
  • Jakobson, Roman (1959). « On Linguistic Aspects of Translation ». Reuben A. Brower (éd.) (1959). On Translation. Cambridge, MA: Harvard University Press, 232-239.
  • Kaindl, Klaus (2013). « Multimodality and Translation ». Carmen Millan et Francesca Bartrina (éd.) (2013). The Routledge Handbook of Translation Studies. London et New York : Routledge, 257-269.
  • Kaindl, Klaus (2016). « Multimodales und mediales Übersetzen ». Mira Kadric et Klaus Kaindl (éd.). Berufsziel Übersetzen und Dolmetschen. Grundlagen, Ausbildung, Arbeitsfelder. Tübingen : A. Francke, 120-136.
  • Kaufmann, Francine (2002). « La coprésence de l’original et de sa traduction ». Fortunato Israel (éd.), Identité, altérité, équivalence ? La traduction comme relation. Actes du colloque international tenu à l’ESIT les 24, 25 et 26 mai 2000 en hommage à Marianne Lederer. Paris et Caen : Minard. 323-338.
  • Kress, Günther et Theo van Leeuwen (2001). Multimodal Discourse : The Modes and Media of Contemporary Communication. Oxford University Press.
  • Liao, Min-Hsiu (2018). « Translating multimodal texts in space : A case study of St Mungo Museum of Religious Life and Art ». Linguistica Antverpiensia, New Series : Themes in Translation Studies, 17, 84–98.
  • Mossop, Brian (2019). « Intersemiotic translating. Time for a rethink ? ». Translation and Interpreting Studies 14(1), 75-94.
  • O’Hagan, Minako (2009). « Putting Pleasure First : Localizing Japanese Video Games ». TTR, 22 (1), 147–165. https://doi.org/10.7202/044785ar (consulté le 1.11.20).
  • O'Hagan Minako et Carmen Mangiron (2013). Game Localization : Translating for the global digital entertainment industry. Amsterdam et Philadelphia : John Benjamins.
  • O’Sullivan, Carol (2013). « Introduction : Multimodality as challenge and resource for translation studies ». Carol O’Sullivan et Caterina Jeffcote (éd.) (2013). Translating Multimodalities. JoSTrans 20, 2-14.
  • Pang, Alfred Kah Meng (2004). « Making history in from colony to nation: A multimodal analysis of a museum exhibition in Singapore ». Kay O’Halloran (éd.) (2004). Multimodal discourse analysis : Systemicfunctional linguistics. Londres : Continuum, 28-54.
  • Perego, Elisa (2012). « Introduction ». Elisa Perego (éd.), Eye tracking in audiovisual translation. Rome : Aracne Editrice, 7-11.
  • Reiss, Katharina (1971). Möglichkeiten und Grenzen der Übersetzungskritik. Kategorien und Kriterien für eine sachgerechte Beurteilung von Übersetzungen. München : Max Huber.
  • Reiss, Katharina et Vermeer, Hans (1984). Grundlegung einer allgemeinen Translationstheorie. Tübingen : Niemeyer.
  • Remael, Aline (2001). « Some thoughts on the Study of Multimodal and Multimedia Translation ». Yves Gambier et Henrik Gottlieb (éd.) (2001), (Multi)Media Translation. Amsterdam et Philadelphia : John Benjamins, 13-22.
  • Scollon, Ron et Scollon, Suzanne Wong (2003). Discourses in Place. Language in the Material World. Londres et New York : Routledge.
  • Snell-Hornby, Mary (1993). « Der Text als Partitur : Möglichkeiten und Grenzen der multimedialen Übersetzung ». Justa Holz-Mänttäri et Christiane Nord (éd.), Traducere Navem : Festschrift für Katharina Reiss zum 70. Geburtstag. Tampere : Tampereen Yliopisto, 335-50.
  • Snell-Hornby, Mary (2006). The Turns of Translation Studies. New Paradigms or Shifting Viewpoints ? Amsterdam et Philadelphia : John Benjamins.
  • Taylor, Christopher (2003). « Multimodal Transcription in the Analysis, Translation and Subtitling of Italian Films », The Translator 9(2), 191-205.
  • Tuominen, Tiina, Catalina Jiménez Hurtado et Anne Maria Ketola (2018). « Why methods matter : Approaching multimodality in translation research ». Linguistica Antverpiensia, New Series : Themes in Translation Studies 17, 1–21.
  • van Leeuwen, Theo (2006). « Towards a semiotics of typography », Information Design Journal 14(2), 139-155.
  • Weissbrod, Rachel et Ayelet Kohn (2019). Translating the Visual : A Multimodal Perspective. London et New York : Routledge.

Biographie

Neelsen_portrait

Sarah Neelsen est maître de conférence en études germaniques à l’Université Sorbonne Nouvelle. Depuis 2010, elle a enseigné la traduction à différents publics universitaires, dans des départements de littérature et langues, de langues étrangères appliquées et de traduction et interprétation. Elle dirige actuellement à Paris un Master « Métiers de la culture dans le domaine franco-allemand ». Ses recherches portent sur les rapports entre la littérature et les autres arts, le musée et les expositions ainsi que sur la professionnalisation des formations universitaires. Elle est membre associé du CIRTI de l’Université de Liège, membre du comité scientifique de la collection Truchements et a publié dans la revue TTR.

Email: sarah.neelsen@sorbonne-nouvelle.fr

=