Yefymenko V. Multimodality and cross-modal cohesion in man.

Manga with their distinct style and symbolism represent a growing reading trend in the world. Manga use an established set of symbols to convey various emotions. Manga have generally been more experimental in layout than Western comics. They are more fragmentary and contain more panels that enhance the dynamism of the story. We aimed to outline methodological approaches to the analysis of manga; to summarize specific features of manga as a separate medium; to analyse how multimodal cohesion is created in manga; to reveal various types of relations between visual and verbal modes. Manga is a multimodal discourse, combining several modes, mainly visual and verbal. The aural mode is represented by linguistic and visual signs, e.g. jagged borders of a speech bubble or the size and boldness of letters. We applied methods originally designed for the film analysis to the analysis of manga, in particular, Tseng’s (2013) theory of cross-modal cohesion, based on tracking cross-modally realized characters, objects, actions, and settings. This analysis included building cross-modal cohesive chains. We argue that it is possible to track cross-modal cohesion in manga, based on the interaction of visual, verbal, and aural components of identity chains. Besides, the interaction between visual and verbal modes was revealed by analysing text-image relations. In this paper we have outlined manga-specific features, distinctive features of manga’s page layout, cinematic devices, which manga borrowed from films, some of which may be used as focalisation-marking devices.

Key words: manga, multimodality, cross-modal cohesion, identity chain, text-image relations.

Єфименко В. Мультимодальність і крос-модальна когезія в манзі.

Манга з її особливим стилем і символізмом користується все більшою популярністю серед читачів у всьому світі. Манга використовує усталений набір символів для передачі різноманітних емоцій. Манга зазвичай є більш експериментальною в оформленні сторінок, ніж західні комікси, та більш фрагментарною, з більшою кількістю панелей, що посилює динамізм оповіді. Нашим завданням було окреслити методологічні підходи до аналізу манги; підсумувати специфічні риси манги як окремого медіума; проаналізувати, як утворюється мультимодальна когезія; виявити різні види взаємовідношень між візуальними і вербальними модусами. Манга є мультимодальним дискурсом, який поєднує декілька модусів, переважно візуальний і вербальний. Звуковий модус представлений лінгвістичними та візуальними знаками, наприклад, за допомогою нерівних кордонів мовної бульбашки або розміру букв чи жирного шрифта. Ми застосовували методи, які розроблялись для аналізу фільмів, до дослідження манги, зокрема теорію крос-модальної когезії Тсенг (2013), яка базується на відстежуванні крос-модально представлених персонажів, об’єктів, дій та локацій. Цей аналіз передбачав побудову крос-модальних когезивних ланцюжків. Ми стверджуємо, що крос-модальну когезію в манзі можна аналізувати на основі взаємодії візуальних, вербальних і звукових компонентів ідентифікаційних ланцюжків. Крім того, взаємодія між візуальними та вербальними модусами лежить в основі різних типів відношень між текстом та ілюстраціями. У статті ми окреслили специфічні риси, властиві манзі, особливості розташування тексту та зображення на сторінці, кінематографічні засоби, деякі з яких використовуються для позначення фокалізації.

Ключові слова: манга, мультимодальність, крос-модальна когезія, ідентифікаційний ланцюжок, взаємовідношення між текстом і зображенням.