Update (22.03.2023): Das Open Peer Review zu dieser Einreichung ist abgeschlossen. Auf Grundlage des Open Peer Reviews wurde der Artikel zur Veröffentlichung im Journal für Medienlinguistik angenommen und ist abrufbar unter: https://doi.org/10.21248/jfml.2021.36.
Auf dieser Seite können Sie das Diskussionspapier zu der Einreichung für das Journal für Medienlinguistik im PDF-Format herunterladen. Das Blogstract fasst die Einreichung allgemein verständlich zusammen. Sie können das Diskussionspapier und das Blogstract unter diesem Beitrag kommentieren. Bitte benutzen Sie hierfür Ihren Klarnamen. Bei Detailanmerkungen zum Diskussionspapier beziehen Sie sich bitte auf die Zeilennummerierung des PDFs.
Blogstract zu
„This is simplified to the point of banality“. Social-Media-Kommentare zu Gestaltungsweisen von TV-Dokus
von Sylvia Jaki
Wer am Sonntagabend um 19:30 das Fernsehgerät im Kanal ZDF einschaltet, den erwartet mit der Sendereihe Terra X ein breites Angebot an Dokumentationen zu vielen Themengebieten, zum Beispiel Geschichte, Technik oder Natur. Es handelt sich dabei um ein hybrides Format, sogenanntes Dokutainment (vgl. Glaser/Garsoffky/Schwan 2012), da hier Wissen vermittelt werden soll, dies aber auf unterhaltsame Weise. Um diese beiden Ziele, die bisweilen in einem Spannungsverhältnis zueinanderstehen, erfolgreich umzusetzen, nutzen die Produzent*innen von TV-Dokus verschiedene Gestaltungsstrategien der Vereinfachung, aber insbesondere auch der Emotionalisierung und Dramatisierung (vgl. Burger/Luginbühl 2014: 364-369). Gerade Letztere werden häufig nicht unkritisch gesehen, sondern als Verflachung fachlicher Inhalte kritisiert. Andererseits suggeriert der Erfolg von langjährigen Sendereihen wie Terra X im deutschen, Nova im amerikanischen und Horizon im britischen Raum, dass die Zuschauer*innen gerade diese Kombination aus Informationsvermittlung und Unterhaltsamkeit schätzen. Rezeptionsstudien der Fernsehsender selbst, aber auch aus der universitären Forschung, versuchen, der Frage, was aus Zuschauer*innensicht eine gute Sendung ausmacht, nachzugehen (vgl. z.B. Aron 2014; Kemmitt Smith 2007; Meyen/Pfaff 2006).
Diese Untersuchung möchte zur Rezeptionsforschung zu TV-Dokus einen Beitrag leisten, indem sie nicht mit einer gezielten Befragung oder einem experimentellen Setting arbeitet, sondern mit Aussagen, die die Zuschauer*innen in einem „natürlichen“ Kommunikationsumfeld tätigen, und zwar in den sozialen Medien Facebook und YouTube, in denen Teile der Dokus oder die Dokus als Ganze hochgeladen und dann kommentiert werden können.
Auf der Basis einer Vor- und einer Hauptuntersuchung, für die deutsche und englische Kommentare ausgewertet wurden, wurden folgende Erkenntnisse gewonnen: Die User*innen bezogen sich auf zahlreiche Aspekte der jeweiligen Dokus (z.B. Inhalt, Thema, Gesamteindruck), aber nicht sehr oft auf deren Gestaltungsmerkmale. Wenn auf die Gestaltungsmerkmale eingegangen wurde, dann insbesondere im Falle imposanter Aufnahmen und lauter Hintergrundmusik – weniger im Bereich sprachlicher Merkmale. Häufig wurde auch lobend auf die Kombination aus Wissensvermittlung und spannender Aufbereitung eingegangen, wenngleich kritische Rückmeldungen generell etwas üblicher als positive waren und Inhalt (und damit die Bewertungen) als auch Form der Kommentare insgesamt sehr heterogen waren.
Literatur
Aron, Danielle B. (2014): Production and Reception in British Television Documentary: A Genre-Based Analysis of Mass-Mediated Communication. London School of Economics and Political Science: Dissertation. URL: http://etheses.lse.ac.uk/2866/
Burger, Harald/Luginbühl, Martin (2014): Mediensprache. Eine Einführung in Sprache und Kommunikationsformen der Massenmedien. 4. Aufl. Berlin/Boston: de Gruyter. DOI: 10.1515/9783110285925
Glaser, Manuela/Garsoffky, Bärbel/Schwan, Stephan (2012): What do we learn from docutainment? Processing hybrid television documentaries. In: Learning and Instruction 22, 37–46. DOI: 10.1016/j.learninstruc.2011.05.006 
Kemmitt Smith, Jason (2007): Political Ecology in Large-Format Films: Analyzing Environmental Representation & Audience Reception of Imax Nature Documentaries. Florida State University: Dissertation. URL: https://diginole.lib.fsu.edu/islandora/object/fsu:168484/datastream/PDF/view
Meyen, Michael/Pfaff, Senta (2006): Rezeption von Geschichte im Fernsehen. In: Media Perspektiven 2/2006, 102–106. URL: https://www.ard-werbung.de/media-perspektiven/fachzeitschrift/2006/artikel/rezeption-von-geschichte-im-fernsehen/
Gutachten:
Ich empfehle die Annahme des Beitrags. Das Thema ist relevant und zeitgemäß, die Fragestellung ist innovativ, die Methode (weitgehend) schlüssig und stringent umgesetzt, die empirischen Ergebnisse sind vielseitig, relevant und explorativ. Die Aneignung von Wissensformaten bzw. speziell von TV-Dokumentationen durch Zuschauer*innen / User*innen wurde bislang weder allgemein noch speziell mit Bezug auf Soziale Medien hinreichend erforscht. Dies gilt auch für die Aneignung multimodaler Formate im Allgemeinen. In dieser Hinsicht trägt der Beitrag dazu bei, eine Forschungslücke zu schließen und vor allem zu weiterer Forschung in diesem Feld anzuregen.
Die folgenden kritischen Hinweise sind daher vor allem als Anregung aufzufassen, durch zusätzliche Bezüge und manche Reflexion die Anschlussfähigkeit des Beitrags noch zu erweitern.
Das Genre ‚TV-Dokumentation‘ boomt, ist aber zugleich schillernd und heterogen. Durchaus sinnvoll ist es daher – wie dies schon in früheren Studien gemacht wurde (z.B. von Rusch) – Kriterien für Genres aus Nutzersicht zu rekonstruieren (Kapitel 2), auch wenn diese „Definitionen“ mitunter ebenso heterogen ausfallen kann. Die Angemessenheit dadurch gewonnener Kriterien könnte freilich kritisch reflektiert werden, etwa eines wie ‚Objektivität‘ (Zeile 70) – angesichts der prinzipiellen Konstruiertheit von TV-Produktionen, die allenfalls auf Neutralität zielen können. Hier bildet Medienforschung ein notwendiges Korrektiv zu solchen etwas ‚naiven‘ Vorstellungen. Darauf könnte der Beitrag kurz hinweisen. Ebenso könnte er die analysierten Kommentare auch in dieser Hinsicht auswerten, um das Genre ‚TV-Doku‘ noch umfassender zu bestimmen als im Theorieteil referiert.
Die Einordnung als ‚Dokutainment‘ ist unstrittig. Erläuterungsbedürftig ist allerdings folgende Abgrenzung (Zeile 85ff.): „Diese Art der Dokumentation steht im Zentrum dieses Beitrags und ist abzugrenzen von Dokumentationen, die reportageähnlich sind und hauptsächlich dazu dienen, Handlungsänderungen herbeizuführen.“ Zielen Dokutainments nicht darauf, Handlungsänderungen hervorzurufen? Dies ist letztlich Bestandteil jeder kommunikativen Handlung, erst recht in Massenmedien und noch mehr in jeglicher Art von Wissensformat.
Die Einordnung als multimodales Format ist zwingend, allerdings sollten hier nicht nur die semiotischen Ressourcen Sprache, Bild, Musik und Ton berücksichtigt werden, sondern gerade auch deren technische Umsetzung in Form von Kameraeinstellungen, Schnittoperationen etc., wie dies etwa in der Sozialen Semiotik und allen davon inspirierten Ansätzen der multimodalen Diskursforschung geschieht –diese Komponenten sind auch fundamental für das multimodale Kommunikat und werden häufig kommentiert, etwa im Kontext der Fananeignung.
Die Ergebnisse der Fernsehaneignungsforschung (vgl. z.B. Klemm 2000, Holly / Bergmann / Püschel 2001, für Social TV z.B. Klemm / Michel 2014) werden leider nicht für den Artikel fruchtbar gemacht. Hier wurden ja zahlreiche Genres und deren kommunikative Aneignung ausführlich untersucht. Der Fokus auf die klassische Rezeptions-/Wirkungsforschung in Kapitel 3 wird dem Forschungsstand nicht gerecht. Und was sind bei der Rezeptionsforschung „zuverlässige Schlüsse“ (Zeile 31), an welchen Kriterien könnte man diese bemessen? ‚Wirkung‘ (u.a. in Zeile 48) ist zumindest aus Sicht der Aneignungsforschung eine erkenntnistheoretisch problematische Kategorie – womöglich wäre es besser, konsequent von nutzerorientiert ‚Aneignung’ zu sprechen, denn ‚Wirkungen‘ lassen sich mit dem verwendeten Instrumentarium nicht erforschen (wenn überhaupt, was die fundamentale Kritik an der Wirkungsforschung in Frage stellt).
Inwiefern Social-Media-Plattformen ein „natürliches Diskussionsforum bieten“ (Zeile 276), könnte gründlicher reflektiert werden, da es hier große Variabilitäten zwischen den Plattformen und den dortigen Akteur*innen gibt. Prinzipiell ist die Präferenz für eine ‚registrierende Feldforschung‘ statt einer ‚intervenierenden‘ (durch Befragungen, Interviews etc.) aber sinnvoll – umso schmerzlicher das Ausblenden der qualitativen Aneignungsforschung, die genau diese Prämisse teilt (s.o.).
Zeitgemäß und relevant ist ebenso die Einordnung in aktuelle Formen der (interaktionalen) Wissenschaftskommunikation (Kapitel 4). Etwas irritierend ist allerdings die These, dass „wissenschaftliche Diskurse in den sozialen Medien von den User*innen häufig politisiert“ würden (Zeile 294) – wissenschaftliche Diskurse SIND politisch, wie nicht erst der aktuelle Corona-Diskurs zeigt. Hier wäre ein Anschluss an aktuelle diskursanalytische Debatten und Arbeiten (u.a. im Kontext der multimodalen Diskursanalyse) möglich und m.E. auch sinnvoll. In dieser Perspektive ist es völlig erwartbar, „dass soziale Medien folglich ‚emotionalisierte, strategische und identitätsorientierte Diskurse begünstigen‘ (Bucher 2020: 124)“ (Zeile 301) – das ist weder merkwürdig, noch defizitär. Anschlussfähigkeit wäre der Beitrag auch an Forschungsarbeiten zur Aneignung politischer Diskurse, u.a. in YouTube (etwa bei Tereick) oder im Social TV via Twitter. Auch im Beitrag zeigen sich bei den User*innen-Kommentaren Aspekte wie Selbstermächtigung oder in Ansätzen eine Diskursmacht der bisherigen ‚Konsumenten‘ als Diskursakteure (bis hin zu der Selbsteinordnung als „Fünfter Gewalt“). Dies liegt freilich nicht im Fokus der Fragestellung des Beitrags.
Die Kategorie „Sprache in der computervermittelten Kommunikation“ (Zeile 326ff.) erscheint angesichts der inzwischen enormen Variabilität an Kommunikationsformen, Mustern und Stilen etwas überholt und wenig zielführend – welche Relevanz für das Thema haben z.B. die orthografischen Besonderheiten in digitaler Alltagsschriftlichkeit? Selbst „Soziale Medien“ ist ein noch etwas undifferenzierte Kategorie und könnte noch systematischer nach Plattformen und vor allem damit zusammenhängenden Kommunikationsformen differenziert werden. Produktiver könnte es für den Beitrag daher sein, sich zum Beispiel an einer „Social-Media-Rhetorik“ (z.B. Klemm 2018) zu orientieren, die detaillierter auf die jeweiligen Mediendispositive, Affordanzen und Kompetenzen eingeht, die in solchen Plattformen wie YouTube und Facebook oder auch Twitter und Instagram auftreten.
Dass die Grounded Theory im Bereich der Angewandten Linguistik kaum Anwendung fände (Zeile 386), zeugt von einer m.E. zu engen Definition von Angewandter Linguistik: Im Bereich der multimodalen Diskursanalyse und Diskurslinguistik ist sie eine verbreitete Methode. Über die Angemessenheit einer „Positiv-Negativ-Polarität“ (Zeile 405) als Codierungsschema einer Inhaltsanalyse oder auch von Sentimentanalysen ließe sich lange diskutieren – die Aneignungsforschung zeigt, dass solche Dichotomien zumindest sehr grob sind und die typische Vagheit de Alltagskommunikation nicht immer eindeutige Zuordnungen ermöglicht. Aber letztlich könnte man jede gewählte Methode kritisieren. Es stellt sich aber die Frage, ob die dominierende Einordnung vor allem im ersten empirischen Teil in ‚positiv‘ vs. ‚negativ‘ nicht etwas grob ist. Und ob eine ganz anders konnotierte, noch deutlich schwieriger zu überprüfende Kategorie wie ‚politisch motiviert‘ nicht übersieht, dass auch positive affirmative Kommentare ‚politisch motiviert‘ sein könnten, nur anders.
Die empirischen Befunde sind reichhaltig und erhellend für die weitere Forschung, sie fügen sich auch gut in bisherige Erkenntnisse ein. Dass in Social Media kritische Kommentare eher überwiegen, deckt sich zum Beispiel mit Befunden zur politischen Diskursaneignung in Twitter (z.B. Klemm / Michel 2013 und 2014). Vor allem aber kommt eine Untersuchung der Aneignung multimodaler Komponenten in Wissensformaten, wie sie hier vorgelegt wird, noch viel zu kurz (vgl. in Ansätzen bei Sascha Michel) – und das ist der wesentliche Beitrag des eingereichten Artikels zur Multimodalitätsforschung.
Gutachten von Daria Dayter
Empfehlung: Beitrag ablehnen
I read the article with great interest, since the topic of communicating science to the wide audience, and how such communication is received, is something that necessarily occupies any academic.
However, unfortunately, after considering the theoretical grounding of the article, the presentation of the methods, and the conclusions which are drawn from the two presented studies, I recommend rejection. Below I outline my reasons for rejection and also some suggestions for the author should they decide to continue working on the study for future publications.
The main reason for my rejection is that from the current state of the manuscript, I cannot recognise what the theoretical embedding of the paper is and how this theoretical embedding led to the formulation of research questions and development of methodology. The literature review includes a fairly surface-level description of many different documentary-related film and TV genres, and does not directly tie in to the rest of the study. To my mind, it would have been more appropriate to focus on docutainment – the source of data for the study – and then provide at least some theoretical background to the author’s research choices: polarity of messages, speech styles, thematic subdivision of comments.
The only mention of research questions that I could find, on lines 270-273, does not actually chime in with what the study does („Informativität“ was not addressed in the analysis, neither were „Unterhaltungsstrategien“, unless „Inhalt“, „Thema“ and other categories from Study 1 count as „Unterhaltungsstrategien“. Moreover, RQ1 is not formulated in a way which can be answered through linguistic methodology). Section 4 of the literature review contains two very different parts, one a very concise review of sci-comm platforms, the other a sudden shift to (also very concise) CMC language markers. Arriving at section 5, it is still unclear what the theoretical foundation for the study is, what the author intends to do, and how (at least in very general terms of naming a methodological framework).
The second major problem with the paper, from my point of view, is methodology (or perhaps the presentation of methodology – I recognise that the author might have omitted the description of crucial steps that would have clarified the following issues for me). It is not systematic and not grounded in any mentioned existing literature. The author proposes two studies – a „pilot“ study and a study no. 2. The pilot study, however, is not actually a pilot, since study no. 2 does a different analysis. The principle of sampling the data is not made clear for either of two studies. For study 1, the author simply says that it’s a small sample (line 359) which is not meant to be representative (line 370). It would still be important to know how this convenience sample was chosen, to give the reader some reassurance that it was not cherry picking. The sample also seems extremely heterogeneous and we generally don’t know what’s in there (what shows? from when are the comments? what’s the ratio of YouTube to Facebook comments? why are we looking at two different languages?) The whole multilingualism aspect is completely ignored, although the author volunteers some linguistic analysis later in the paper so one would think it matters whether we are dealing with English, German, or both.
The author then proceeds to explain her methodology as Grounded Theory, which, however, is after all not Grounded Theory but qualitative content analysis (line 396-397). This is confusing – why is Grounded Theory mentioned then? Besides, it is still not said what the theoretical background for analysis is. What categories will we be looking for using qualitative content analysis? I am completely on board with the idea of bottom-up taxonomy building, but we need to know what direction we are looking in. Qualitative content analysis does still require some reasonable backing and expectations drawn from existing research. I assume the author has those, they are just not mentioned.
Another under-determined aspect of methodology is the use of polarity (line 411). Was this coding done manually or automatically? Also, does this mean that only evaluative comments were chosen for the sample, because polarity is a quality of evaluation? This question surfaces again later in the discussion of examples – a non-evaluative comment is nevertheless given a binary polarity category.
Another lacking aspect of methodology description is the actual resulting taxonomy. It would be very helpful to see the author’s definitions of categories from table 1 (and later table 2), her operationalisations of those categories, and ideally examples. The categories are interpretative and fuzzy, and the examples given also seem like they could belong to either (e.g. Inhalt vs. Thema; or example no. 13 line 539 which, while being classified as Gestaltung, seems to fit perfectly into either Thema or Inhalt as well). Since the categories are so vague and interpretative, the only solution to provide any reliability of coding is to involve a second coder and look at intercoder agreement. This was not done. The author herself mentions that there is an „Uebergangsbereich“ between the categories of Thema and Inhalt (line 487). In a word, the taxonomy lacks descriptive adequacy. All in all, given the level of theoretical and methodological detail provided for Study 1, it would be appropriate to simply summarize it in 1-2 paragraphs as an introduction to Study 2.
Study 2 has the same problems when it comes to the taxonomy (no definitions and operationalisations of categories, no theoretical background as to why the author does what she does, no intercoder agreement). There is no explanation of sampling procedures: please explain why those 54 shows were chosen; please explain what was the „systematic“ collection of comments (what system?), please explain why there are many different sources for YouTube and only 1 for Facebook – that is not very systematic. The categories of taxonomy 2 are on different levels: there are modality levels (Text, Bild, Musik/Ton) and then there is „Andere“ which according to the author is actually „Emotionalisierung“ (line 854), i.e. the content of the comment itself and whether it mentions emotion? Examples 34, 35 (Andere) seem to be on an entirely different level than examples 22, 26, or 32 (Text, Bild, Musik/Ton). In addition, the tables in both studies are inconsistent and difficult to read: sometimes relative counts are provided and sometimes not, there is no Total or 100% column for the counts, the „n“ in Table 2 is refers to a category that is quite difficult to divine (it is not the number of comments but the number of mentions of each „Gestaltungsmerkmal“).
On lines 667ff, a new analysis category appears: the author offers an analysis of speech styles. I actually think it would be very interesting to add this linguistic analysis to the paper. However, it would be appropriate to start with this in the literature review by defining speech styles, quoting the broad existing literature on the topic, and mentioning which linguistic markers have been mentioned as relevant to the category of speech style. The complex issue of speech style cannot be addressed in a meaningful way in 20 lines.
All in all, my conclusion was that having read the paper, I cannot answer the key questions: What does this paper do? Based on what theoretical rationale? What is the main medialinguistic finding? If the editor deem that these problems can be addressed by rewriting the paper, it may be resubmitted. To me it seems that the necessary changes lie on the level of analysis and not presentation, and therefore further work is required before publication. I am happy to give the author further feedback if something is unclear.
First of all, I would like to thank both reviewers for their comments, which, at least in my opinion, have tremendously helped to increase the paper’s quality. The following paragraphs aim to address mainly the comments made my reviewer 2 and outline in which ways they have been taken into account during the revision process.
Points of criticism:
1) Intransparent methodology; lack of pre-existing methodology
To address the methodology of the paper more thoroughly, chapter 5 is now entirely dedicated to the selection of the material and a description (and discussion) of the methodology used. I understand that some choices in the course of analysis have not been explained thoroughly enough. The majority of changes made in the revision process are thus dedicated to making all the steps and motivations more transparent.
It is true that I have not used pre-existing methodology for the paper as I wanted to create an innovative approach to docutainment in the field of reception studies (and Social TV research). So I decided to do a social media analysis that would combine aspects of qualitative content analysis and a form of polarity analysis that is adapted from approaches of sentiment analysis and therefore tailored to the needs of this specific study. This is why there is no uniform methodological framework adopted from previous research. However, I would not say that this is a downside of the study, but rather one of its contributions to future reception studies, with the study having more of an explorative character.
The aspect of Grounded Theory, which reviewer 2 has not found convincing, is now completely omitted, especially as the pre-study has been considerably shortened.
I have also provided a more thorough explanation of the annotation process of the data, and also why interrater agreement does not play a role. The decision to use binary polarity categories is always a risk because annotating subjectivity can never be entirely objective. However, determining the polarity in the given dataset is by far more straightforward than in many other case studies that constitute more challenging problems in the field of sentiment analysis. The same goes for the annotation of the ‘content’ categories. Comparing this to a previous study I did on TV documentary applying sentiment analysis proper, where interrater agreement really needed to be tested because the polarity ratings left considerable room for discussion, I have come to the conclusion that it is not paramount for this study (and would, simply from a practical perspective, also not be manageable for the revision of this paper).
2) Lack of an explicit set of research questions
Chapter 5 now also contains a set of research questions. Hopefully, these will make it clearer what the aims of paper are. The research questions are taken up again in chapter 7, where the results are summarized and interpreted.
3) Lack of theoretical embedding and lack of a clear medialinguistic finding
Reviewer 1 has suggested to embed the paper explicitly in the field of medialinguistic Social TV research. I have decided to follow this advice, which gives the paper a more stringent orientation. It tries to fill a lacuna with respect to the underrepresented question of how viewers receive different aspects of multimodality in TV formats.
4) Intransparency of categories for analysis in the main study
The categories are mostly based on previous insights on (multimodal) product analysis of docutainment formats, and reflect the academic discussion of quality criteria in science communication formats. I have tried to make the link to these insights clearer in the text.
Reviewer 2 points out that there is one category that is not on the same level as Text, Bild, Musik/Ton. This is absolutely right and a problem that I also saw writing this paper. At the same time, it is a fact that emotionalisation spans across modalities and is created through the orchestration of modes, and that recipients make general references to the media product as a whole. The decision to include the category ‘Andere’ therefore just reflects the reality of a multimodal media product, rather than being a sign of insecurity in the annotation process.
5) Questionable usefulness of the pre-study
It is excellent advice to shorten the pre-study while extending other under-described aspects in the paper. The lack of clear-cut boundaries is definitely a problem, but one that regularly comes with the enterprise of classifying concepts. The categories have been derived in a bottom-up process of analysis, and they are comparable to those used in Bucher (2020), as mentioned in the text. Nevertheless, I think it is a good solution to give less attention to the pre-study as a consequence and focus more on the main study.
6) Lack of focus of the literature review
Reviewer 2 has suggested to focus more on docutainment and cut the literature review on other documentary formats. The notion of docutainment has now slightly been extended in chapter 2. However, docutainment is not a genre or a format, but cuts across different genres (although it is very prominent with TV documentaries). Given the strong overlap of documentary formats and the fact that they can have more or less strong characteristics of docutainment, it is necessary to include reception studies on documentary film too. The state of the art for TV documentary is also relatively scarce so that it makes sense to amplify the focus a little when it comes to characteristics that similar documentary formats share.
7) Recommendation to extend the analysis of speech styles
The section from 667 onwards is indeed more or less an outlier in the whole paper, which was noted by both reviewers. I see the problem and agree that it does not contribute enough to the research questions of the paper. Focusing more on a style analysis of the comments would not lead to any relevant insights for how docutainment is received, which is why this section has been omitted.
8) Lack of explanation why we are dealing with English and German data
The choice of a dataset that contains comments from two languages is due to the embedding of this paper in a bigger research project on TV documentary and is now explained in chapter 5.
The author has undertaken substantial revisions of the article in the areas of methodology and presentation of results. I believe the article is much stronger now since it clearly states its aims and the steps taken to achieve those aims. Although I still disagree with a number of analytical decisions (for example, inclusion of the „Andere“ category which according to the author herself is on a different level than the other three categories of this taxonomy – this seems to me an issue that goes directly against methodological tradition in qualitative codebook development and needs to be addressed by the further work on the taxonomy, perhaps making it multi-level), I believe the paper is now transparent about its decisions and the reader can draw conclusions for him/herself.
All in all, I would recommend accepting this paper. I would very strongly recommend one more minor revision regarding the polarity categorisation. The author states that she decided not to involve a second coder since the coding of positive and neative polarity is so straightforward in this data as to cause no potential problems or disagreements. Even just looking through the examples in the paper, I had a few cases where it was not clear to me whether polarity is positive or negative (e.g. „This is a twitter style documentary. 140 characters to describe what takes 140000000 characters“ – this has no explicit evaluation; if we’re trying to assign evaluative intent to the writer, we need to know whether „twitter style documentary“ for them is something laudable or silly, and whether it’s good or bad that a complex idea was expressed concisely and simply). One fairly simple solution that I can suggest here is that the author provides her codebook for the polarity category, including clear definitions of what is to be judged positive or negative, and the decision tree for doubtful cases.