Wort(neuschöpfung?) des Jahres

Die Gesellschaft für deutsche Neologismen ... ne, die Gesellschaft für unbekannte Wörter ... ne, die Gesellschaft für deutsche Sprache hat das Wort des Jahres gewählt. Es ist *Trommelwirbel*

Rettungsroutine

... ja, ich habe mich auch gefragt, ob ich dieses Wort vor der Pressemitteilung der GfdS überhaupt schon ein einziges mal gehört oder gelesen habe. Die Antwort darauf lautet schlicht nein. Das ist auch nicht sehr verwunderlich, da die Gesellschaft das Wort des Jahres anhand seiner "Signifikanz" bzw. "Popularität" aussucht und nicht anhand seiner Vorkommenshäufigkeit. Mir als Computerlinguisten sei es bitte verziehen, wenn ich da ein Stechen in der Magengegend bekomme. Ein Wort, das niemand kennt und schon gar nicht benutzt ist für mich nicht "populär". Oder anders: Auf der allgemein anerkannten Skala der Fanta4 ("gestern niemand morgen tot und dazwischen was populär") ist "Rettungsroutine" für mich eher ein Niemand.
Wenn "Rettungsroutine" also schon nicht populär ist, dann muß es zumindest sehr "signifikant", also irgendwie "bezeichnend" für 2012 sein. Man darf gerne darüber streiten, ob 2012 das Jahr war, in dem noch immer und/oder auch weiterhin oder irgendwie routinierter als sonst der Euro gerettet wurde und wie kennzeichnend das ist. Wenn dem so ist, würde sich das nicht auch irgendwie in der Sprache niederschlagen? Vielleicht in einem Wort, das auch tatsächlich verwendet wird? Nicht? Na gut, dann nicht.
"Weltuntergangsankündigungswiederkehr" - wäre das nicht ein prima "Wort des Jahres" gewesen? Benutzt zwar kein Mensch, aber jeder weiß, daß 2012 (mal wieder) DAS Weltuntergangsjahr ist. Mayakalender und so. Auch ein sprachlich höchst interessantes Wort. Ein tolles, signifikantes, in meinen vier Wänden fast schon populäres Wort.
Oder soll es etwas politisches sein? Ein Wort, das ein Statement setzt? Da hätte ich noch "Klimakonferenzismus" anzubieten. Da treffen sich "die feinen Herrn Politiker" schon seit Jahren auf diesen Konferenzen (so auch 2012), das Klima ist aber noch immer nicht gerettet. Nicht "signifikant" genug? Was ist denn mit "Bundespräsidentenrücktrittsgewohnheit"? Schließlich war 2012 das Jahr, in dem das Zurücktreten des Bundespräsidenten (nach Köhler mit Wulff) schon fast Tradition wurde.
Wahrscheinlich lassen sich noch ein paar (bis viele tausend) andere Wörter (er)finden, die auf irgendein Ereignis aus diesem Jahr verweisen. Ich verstehe nur überhaupt nicht, warum man so ein Wort, das niemand kennt, versteht und benutzt, als "Wort des Jahres" bezeichnen sollte.

skurril!

...da klickt man sich zum Frühstückskaffee nichtsahnend auf heute.de durch eine Klickstrecke mit "skurrilen Orchideenfächern" ... Sorabistik ... Arboristik ... und dann das:

(Bild: Screenshotausschnitt heute.de vom 10.10.2011)

endlich Lebensmittelklarheit! Woooohoooo!

...oder anders: Hätte ich etwas mit der neuen, überall in der Presse gehypeten Webseite lebensmittelklarheit.de zu tun, ich würde ganz groß "Gehen Sie weiter, hier gibt es nichts zu sehen" in den Header schreiben und mich aus dem Staub machen.
Momentan ist die Seite tatsächlich erreichbar (durch den ersten Ansturm war das eher nicht der Fall), aber ich frage mich wirklich, welche Informationen die Leute auf diese Seite treibt. Deshalb biete ich hier mal - quasi als unterstützenden Service - paraphrasiert wieder, welche Informationen der sich beschwerende Kunde von den Produzenten erhält - und das in aller Kürze, also tl;dr.
Auf lebensmittelklarheit.de gibt es nämlich eine tolle Rubrik, die Kundenbeschwerden den Einschätzungen der Verbraucherzentrale und den Antworten aus den Pressestellen von Massenfrassproduzenten gegenüberstellt. Hier also mal drei Beispiele:

Wurstsalat
Kunde: Da steht "keine Konservierungsstoffe" druff, sind aber welche drin. Doof!
Verbraucherzentrale: Ja, der Kunde könnte tatsächlich meinen da wären keine drin.
Pressesprech: Nene, da steht nicht "ohne Konservierungsstoffe" drauf sondern "Ohne Zusatz von Konservierungsstoffen". Außerdem sind das sehr wohlschmeckende Konservierungsstoffe.

Salattunke (nicht) aus Sylt
Kunde: Da steht "Sylt" druff, das is aber nich aus Sylt.
Verbraucherzentrale: Ja, man könnte vielleicht meinen, das hätte was mit Sylt zu tun.
Pressesprech: Is trotzdem lecker das Zeuch. Außerdem waren wir mal auf Sylt. (evtl. liest man noch ein "Eure Armut kotzt uns an" zwischen den Zeilen, wenn man ganz genervt drauf ist)

Brühe
Kunde: Da steht druff, dat da kein Geschmacksverstärker drin is, da is aber Hefeextrakt drin!
Verbraucherzentrale: Ja, da steht wohl auch irgendwas auf der Packung.
Pressesprech: Hefeextrakt is doch lecker!

Also so in etwa sehen die Qualitätsinformationen aus, die für Lebensmittelklarheit sorgen. Naja.
Ich will jetzt hier überhaupt nicht über die Verbraucherzentralen herziehen, die ich für richtig und wichtig halte, aber warum die eine Webseite unter großem Presse-Tamtam aufziehen müssen, um solche Nullinfos von Frassproduzenten weiterzureichen, die sich irgendein ********* ********* aus den Fingern gedrückt hat, ist mir Recht unverständlich.
Als ob die breite Masse nicht schon längst wüsste, wie Produzenten oder Diensteanbieter mit Kundenbeschwerden und/oder -bedenken umgehen. (Schließlich haben die Besucher von lebensmittelklarheit.de wahrscheinlich einen Internetanschluß) ...

Und da sich der geneigte Leser jetzt wahrscheinlich fragt, wo er stattdessen hinsurfen soll im Auftrag der Lebensmittelklarheit, sei er einfach mal auf foodwatch.de verwiesen und z.B. auf deren Projekt abgespeist.de. (Schließlich sterben manche evtl. doch nicht gerne dumm - sagt zumindest der Volksmund)

(Bild: Screenshotausschnitt lebensmittelklarheit.de)

Character Recognition

Vor gut zwei Jahren hab ich ja hier schon mal etwas zur Schrifterkennung geschrieben, das Programm cellwriter vorgestellt und einige Links rausgehauen. Mindestens seit der Zeit (aber eigentlich schon etwas länger) beschäftige ich mich hin und wieder mit dem Thema und irgendwann ist mir sogar unter der Dusche ein kleines Kriterium eingefallen, das einigermaßen dazu geeignet ist, einzelne geschriebene Zeichen (Glyphen) einem vorher trainierten Sample (und damit einem Zeichen/Character) zuzuordnen.

Genauer geht es hierbei um eine On-line Recognition und wie bei cellwriter um einzelne Zeichen, also ohne Segmentierung. Ich darf schon behaupten in den letzten Jahren viel rumprobiert zu haben: Angefangen mit einem kleinen Zeichenfeld in php-gtk, das einzelne svg-Bildchen auswarf, zwischendurch (weil es mit der Handschrift nicht so klappte) einige Tests mit Zeichen aus einem ttf, umgewandelt in bmp und svg, hier mal eine Änderung, da mal eine neue (Verbesserungs-)Idee (wieder unter der Dusche), schließlich dann mit xournal als Zeichenfläche, dessen xoj-Dateien ich in svg übersetzte, irgendwann dann mal HMMs probiert und in die Ecke geworfen, über CRM114 gestoplert, ein paar Verteilungen mit R berechnet, über SVMs nachgedacht und schließlich (wieder) bei Bayes gelandet. Gebastel, Gefrickel, ganz schlimm!

Inzwischen habe ich mir mit ruby und gtk ein kleines Programm zusammengestrickt um mein Kriterium zu testen. Für die Bayes-Klassifikation benutze ich den classifier von Lucas Carlson, meine kleine (beta, beta, beta!) Oberfläche dient sowohl zum Erstellen und Speichern der Samples als auch zur Klassifikation der eingegebenen Zeichen. Und, was soll ich sagen? Gegen eine aufwendigere Analyse (wie z.B. in cellwriter) stinkt mein kleines, allein betrachtetes Kriterium natürlich ab, aber - die richtigen Samples vorausgesetzt - kann man so schon den ein oder anderen gekritzelten Buchstaben klassifizieren.

Es geht hier ja auch nicht um eine vollständige Handschriftenerkennung sondern nur darum, meine Idee zu testen - und gegenüber den sehr sehr ernüchternden Ergebnissen von anno dazumal macht das Ding heute schon einiges her. Wie man auf dem Bild (schlecht) erkennen kann (siehe im linken Fenster ganz unten in der Statuszeile bzw. im rechten Fenster das Zeichen, das in der Liste ganz oben steht), ordnet mein Programm der geschriebenen Glyphe immerhin das richtige Zeichen (a) zu - und das bei einem Sample-Bestand von 26 Kleinbuchstaben. Die Grenzen meines Analysekriteriums sind mir auch einigermaßen klar: Ein ä wird sich damit z.B. von einem a nicht unterscheiden lassen. Für eine ordentliche Handschriftenerkennung muß man schon noch ein paar andere Kriterien bemühen. Meine (inzwischen alte) Idee ist jedenfalls erstmal umgesetzt und für mich damit wieder ein kleiner Abschnitt in Sachen "Gebastel an Handschriftenerkennung" abgeschlossen.

Public Viewing

...es geht wieder los. Leute treffen sich auf öffentlichen Plätzen und betrinken sich schauen zusammen Fußball. Da der Ort und die Tatsache dieser Zusammenkünfte irgendwie vermarktungstauglich benannt werden müssen, haben sich (seit 2006) die Begriffe "public viewing area" bzw. "public viewing" eingebürgert. So weit, so egal. Ich kenne eh niemanden, der von sich behauptet, zum "public viewing" zu gehen oder sein Bier in der "public viewing area" zu trinken. Es stört mich aber auch nicht, wenn z.B. jemand eine Liste mit allen Orten, an denen man gemeinschaftlich die WM sehen kann mit "public viewing" überschreibt.
Was mich hingegen schon seit vier Jahren stört ist das Gewitzel bzw. die Klugscheißerei darüber, "public viewing" bezeichne eigentlich die öffentliche Aufbahrung eines Toten. Ich bin kein Anglist und behaupte auch nicht, die Weisheit mit Löffeln gefressen zu haben, aber werfen wir doch eine Suchmaschine an und schauen mal, wie "public viewing" bei den native speakern tatsächlich verwendet wird:
Da gibt es z.B. eine Werbebroschüre, in der der "Hamble Community Sports Complex" beworben wird mit

The 20m 4 lane swimming pool is the perfect place to swim, the deep end is 1.97m and the shallow end 1.2m. A fully qualified RLSS Pool Lifeguard is on duty at all times. There is a public viewing area with vending machine facilities.

Igitt! Leichen liegen da neben dem Schwimmbad rum? Zwischen den Münzautomaten?
Auf dem "Telford & Wrekin Council Watch" findet man in einem Forumsthread zu einer Baustelle dann

A public viewing platform has now been set up at the side of the site to enable members of the public to go and watch the scheme progress themselves.

Was sollen sich die members of public da anschauen? Verstorbene auf oder von einer Plattform aus? Oder vielleicht doch die Baustelle selbst? Aber nicht nur Baufortschritte können public geviewt werden, sondern auch Pläne und Bekanntmachungen liegen öffentlich aus:

Public Viewing of Planning Data [...]
Allowing you to view recent planning applications, the local plan, appeals and decision registers and agendas and minutes of our planning & development team.

Und neben Schwimmbädern, Baustellen, Leichen und öffentlichen Bekanntmachungen kann man sich auch Sterne angucken (so jedenfalls die BBC zum Thema "New telescope open to public"):

They organise public viewing sessions as part of the society's aim to help educate the public in the science of astronomy.

Im englischsprachigen Raum kann man sich also beim "public viewing" eine ganze Menge ansehen und (da stimme ich Anatol Stefanowitsch voll und ganz zu) es ist halt einfach "ein Lehnwort, das im Deutschen eine engere Bedeutungsspanne hat, als im Englischen". Nur, weil es im Englischen auch eine Aufbahrung bezeichnen kann, muß ich mir diese Tatsache verpackt in eine Spachnörgelei, als Kampfthese für den Verfall der deutschen Sprache oder als Beleg für die Uninformiertheit und die mangelnden Fremdsprachenkenntnisse der Lehnwortbenutzer jetzt alle zwei Jahre immer und immer wieder unter die Nase schmieren lassen?
Nein, es nervt. Lasst es sein, es nervt wirklich. Das Ding mit der Aufbahrung ist etwas für Radiomoderatoren, die im Sommerloch noch einen blöden Witz am Rande brauchen, für Küchenpartygespräche, bei denen als Langeweile uninteressante Halbwahrheiten verbreitet werden. Hey, der Daumen ist gar kein Finger, Eisbären fressen keine Pinguine, bla.
Also nichts gegen Geschwätz, aber die Sache mit der Aufbahrung (eine Leichenschau ist btw. wieder etwas anderes) - ich bitte Euch! So, genug genörgelt.
Viel Spaß bei der WM und beim Public Viewing (z.B. in Trier).

Stanford-postagger und Ruby Teil2

Sobald die Klasse PosTagger nun übersetzt ist, kann sie von Ruby aus angesprochen werden.

Hierzu brauchen wir die Ruby-Java-Bridge (Zeile 4), setzen den Classpath auf den POS-Tagger (Zeile 9) und importieren dann unsere Klasse PosTagger (Zeile 10). Danach kann man die Methode tag aus der Java-Klasse benutzen, die uns einen getagten String zurückgibt. Die private Ruby-Methode get_token dient hier dazu, diesen String zu zerlegen um als Resultat ein Array aus Wortformen und Wortarten (bzw. Penn Treebank tags) zu erhalten.
Die hier gezeigten Scriptschnipsel sind nicht schön und auch noch nicht wirklich fertig, aber vielleicht helfen sie ja der ein oder dem anderen.

Stanford-postagger und Ruby Teil1

Wie der Titel dieses Posts schon verrät geht es darum, den Stanford Log-linear Part-Of-Speech Tagger von Ruby aus anzusprechen. Genauer gesagt würde ich dem POS-Tagger gerne von Ruby aus einen Text zum taggen übergeben und brauche das Ergebnis dann als schönes Ruby-Array in dem jeder Wortform dann die entsprechende Wortart zugeordnet ist. Zuerst rief ich den POS-Tagger aus Ruby einfach via CLI auf, da der Tagger aber eine gewisse Zeit zum starten braucht, erwies sich diese Vorgehensweise zum Taggen von mehreren Texten als eher unvorteilhaft. Nun gibt es für Ruby aber die Ruby-Java-Bridge, mit der sich Javaklassen gleich in Ruby benutzen lassen. Leider braucht der stanford-tagger für deutsche Texte einige Parameter, die ich in Ruby nicht zu setzen in der Lage war. Ich habe dafür also in Java folgende kleine Klasse geschrieben, die den Tagger für deutsche Texte initialisiert und die ich dann mit Ruby ansprechen kann:

In den Zeilen 15 und 17 werden die entsprechenden Parameter gesetzt (z.B. als Modell der german.tagger mit den entsprechenden german.tagger.props). Der stanford-tagger liegt hier im Unterverzeichnis stanford-postagger, das Modell darunter in models, diese Verzeichnisse und Parameter gilt es also entsprechend anzupassen.

Geschmackssache

...'schmeckt' m.E. auch nicht 'schwer' und 'belastet' mich auch nicht wirklich.

Levenshtein als UDF in MySql

...der Titel verrät es bereits. Mal wieder eine kleine Notiz ohne jegliche Gewähr und doppelten Boden. Diesmal soll die Levenshtein-Distanz als user-defined function zu MySql hinzugefügt werden. Ich verwende die Implementation von Josh Drew, die man sich hier als source runterladen kann. Unter Ubuntu benötigt man vor dem Compilieren noch ein paar MySql-Header, die man mit
apt-get install libmysqlclient-dev
bekommt. Danach wird mysqllevenshtein.cc ausgepackt und als shared object gebaut:
g++ -I /usr/include/mysql/ -o libmysqllevenshtein.so -shared mysqllevenshtein.cc
Das shared object wird nach /usr/lib/mysql kopiert
cp libmysqllevenshtein.so /usr/lib/mysql/
ein Link erzeugt und der Cache erneuert:
cd /usr/lib
ln -s mysql/libmysqllevenshtein.so .
ldconfig
Danach sollte man in MySql die neue Funktion anmelden können:
CREATE FUNCTION levenshtein RETURNS INT SONAME 'libmysqllevenshtein.so';
Noch prüfen, ob sie auch funktioniert:
mysql> select levenshtein('Fall', 'Knall');
+------------------------------+
| levenshtein('Fall', 'Knall') |
+------------------------------+
| 2 |
+------------------------------+
1 row in set (0.00 sec)
Prima. Jetzt fehlt eigentlich nur noch die Möglichkeit, den Editierabstand auch noch zu gewichten. Dazu muß man aber die Funktion umschreiben und ich habe doch keine Zeit... Sollte sich da jemand mal erfolgreich dran versucht haben, darf der oder die sich gerne bei mir melden.

Nachtrag: Natürlich geht es auch anders. Soeben das hier gefunden, was ich natürlich niemandem vorenthalten will.

cellwriter

...ich bin begeistert. Vor ein paar Tagen habe ich die Software cellwriter entdeckt, die einzelne, in ein Kammfeld geschriebene Buchstaben (ich vermeide den Begriff Glyphe, da z.B. keine Ligaturen aufgelöst werden) den entsprechenden Charactern (Graphemen) im angegebenen und trainierten Zeichensatz zuordnen. Es geht also um Schriftzeichenerkennung. Die Software benutzt ein paar Algorithmen, die in einem beiliegenden Text erklärt werden und ist natürlich hauptsächlich zur Verwendung auf PDAs gedacht. Als freie Software auf diesem Gebiet kannte ich bislang nur STIHRS und die Bibliothek LipiTk, hatte beide jedoch noch nicht wirklich getestet.
Natürlich hoffe ich weiter auf eine (freie) Software zur Handschriftenerkennung - dieser im Weg stehen natürlich Segmentierungsprobleme (wie so oft).
Will man sich auf dem Gebiet weiter informieren, empfehle ich den Forschungsüberblick von Bianca Feldmann (PDF, auf dem Dokumentenserver der Uni Göttingen) und z.B. die Artikel und Vorträge, die rund um die ICDAR entstanden sind. Zur Handschriftenerkennung per HMM gab es dort einen wohl sehr interessanten Vortrag von G. Fink und T. Plotz (Uni Dortmund). Mit Handschriftenerkennung mittelalterlicher Texte und der Schreiberidentifikation anhand der Handschrift beschäftigt sich Marius Balacu (Uni Groningen).
Mit der Rechenleistung heutiger Rechner wird so einiges möglich, wovon ich damals, als ich den ersten Handheld-Scanner an einen 386er anschloß, nur träumen konnte und was demnächst die Textdigitalisierung und den täglichen Gebrauch des Rechners als Textverarbeitungsmaschine erleichtern wird - da freu ich mich jetzt schon drauf.

plotdrop

...auch sehr praktisch ist das kleine Programm plotdrop, mit dem man schnell und einfach (per drag, drop und plot) Dateien mit irgendwelchen berechneten Daten an gnuplot weiterreichen kann, um sich mal eben den Graph anzusehen.
Das Bild zeigt das plotdrop-GUI und den resultierenden gnuplot-Graph. Der Graph zeigt (soweit ich mich richtig erinnere) die Wachstumsrate der Token in Kafkas 'Blumfeld'.
Wörterzählen ist ein schönes Hobby - vielleicht nicht ganz so ekstatisch und alpin wie Gipfelmoshen, aber sicherlich schonender für den Nackenwirbelbereich.

mehr Software

...auch eine schöne Software ist der Stuttgarter Finite State Transducer, mit dem man sich beispielsweise lustige kleine Automaten zur morphologischen Analyse recht komfortabel selbst bauen kann. Besonders leicht, wenn man bei einer agglutinierenden Sprache einfach nur Affixe an den Wortstamm kleben muß (hier im Bild z.B. Suaheli "alinichukulia" ("er trug für mich") und "ninasoma" ("ich lese"), die der Transducer gleich in eine Kette von 'Tags' <3pers_sg>... verwandelt, aus denen man sich leicht die deutsche Übersetzung bauen könnte), schwieriger wird es (und ich stehe mit regulären Ausdrücken ja ab und an schon auf dem Kriegsfuß), wenn es um (String-)Ersetzungen geht: Bei Sätze wie "each substring s of the input string which is in the analysis/deep language of the transducer c and whose left context is matched by the expression .*l and whose right context is matched by r.* is mapped to the respective surface strings defined by transducer c" (aus dem SFST-Manual) wirft meine Stirn ganz automatisch Falten...

Google Übersetzer

...und schon wieder gibt es Neuigkeiten zum Thema Maschinelle Übersetzung: Google stellt mit translate.google.com einen eigenen Übersetzungsmechanismus vor, der - wie sollte es bei dem Konzen mit dem großen 'G' anders sein - auf der Auswertung von riesigen Datenmengen beruht. Die Wort-zu-Wort-Übersetzung von 'Share' (Imperativ, Satzanfang) zu 'Aktie' statt zu 'Teile' o.ä. (siehe Bild) verwundert ('Internet' als zugrund liegendes Korpus) nicht sonderlich. (Mehr bei pixelfolk).

Pragmatik?

"Was kann Sprache eigentlich?"
"Denken Sie mal nicht an einen rollschuhlaufenden Pudel."
"..."
"Cool, oder?"
"Naja."

Pagerank

...Rankings gibt es ja im Netz wie Sand am Meer, das "neoliberale Dummschwätzranking" kannte ich bisher jedoch noch nicht. Die amorphe Welt legt momentan einen Dummschwätzquotienten von 12,9 vor, befindet sich damit auf einer Ebene mit einer Singlebörse, einer schweizer Nachrichtenseite und dem Gymnasium Tegernsee. Aus semantischer Sicht ist dieses Ergebnis wohl 'ein wenig' fragwürdig, ich sollte mir zur Quotientenverbesserung vielleicht aber doch überlegen, auf bestimmte Buzzwords zu verzichten.