Kommentare zu: Typo3 mySQL-Datenbank auf UTF-8 umstellen bzw. konvertieren

Von: Stefan

Stefan — Sun, 06 Apr 2008 12:32:47 +0000

Danke für die tolle Anleitung.

Zwei Fragen und eine Bemerkung:

Fragen:
1. Was bewirkt
SET SESSION character_set_server = utf8;
SET character_set_connection = utf8;
2. Beim “comparen” schlägt das hier immer fehl, weil der Wert 400 zu gross ist: ALTER TABLE sys_refindex ADD KEY lookup_string (ref_table,ref_string(400)); Was kann man da tun ?

Bemerkung: Wer MysqlDumper verwendet lösche einfach aus der SQL Datei das “DEFAULT CHARSET=latin1″ per suchen und ersetzen.

Von: Markus Giesen

Markus Giesen — Mon, 07 Apr 2008 12:39:11 +0000

Hey Stefan,

zu 1:
Wenn ein Client eine Verbindung herstellt, sendet er den Namen des Zeichensatzes, den er verwenden will, an den Server. Der Server stellt auf der Basis dieses Namens die Systemvariablen character_set_client, character_set_results und character_set_connection ein. Im Endeffekt führt der Server eine SET NAMES-Operation unter Verwendung des Zeichensatznamens aus.
(Quelle: http://dev.mysql.com/doc/refman/5.1/de/charset-connection.html)
Heisst also nichts anderes, als dass du hier nochmal explizit sagst “egal, was ankommt, es muss als utf8 verwendet werden. Das gleiche gilt für “SET SESSION character_set_server = utf8;” Hier sagst du mySQL, dass für die aktuell gültige Verbindung utf8 als Zeichensatz verwendet werden soll.

Wenn nach dem comparen dennoch alles funktioniert ist das “normal”. Solange alles funktioniert sollte das nicht wichtig sein. Die Tabelle “sys_refindex” zeigt die Abhängigkeiten von Inhalten auf, z.b. wenn du ein Template an mehrern Stellen in das Include-feld einbaust, dann wird dies in der “sys_refindex” von TYPO3 festgehalten, damit du weisst, dass du ein mehrfach verwendetes Template nicht direkt an Stelle a löschst, da es noch an Stelle b benutzt wird.

Von: Axel

Axel — Fri, 23 May 2008 13:31:16 +0000

Bei einem Projekt für eine tschechische TYPO3 Site hat die Vorgensweise sehr gut funktioniert. Die Site ist von einem Projekt in deutscher Sprache abgeändert worden.

Von: Markus Giesen

Markus Giesen — Fri, 23 May 2008 13:35:57 +0000

Hi Axel, es freut mich das zu hören. Hast du noch einen Link zu der Seite?

Von: Florian

Florian — Thu, 12 Jun 2008 13:17:50 +0000

Hallo zusammen,

habe das selbe Problem gehabt und vergessen die db auf utf-8 zu stellen. Leider sind nach diesem vorgang alleumlaute und sonderzeichen im frontend im arsch.

Grüße Florian

Von: Markus Giesen

Markus Giesen — Fri, 13 Jun 2008 14:31:56 +0000

Hi Florian, eventuell musst du deine SQL-Textdatei mit den bestehenden Umlauten noch durch das iconv Plugin laufen lassen:
http://blechtrottel.net/iconvplugin.html
http://prantl.host.sk/iconv/

Danach sollte es auch gehen. Ich hoffe du hattest Backups der DB?

Von: Georg Nebel

Georg Nebel — Sun, 15 Jun 2008 14:27:15 +0000

Wenn die Datenbank komplett auf utf-8 umgestellt ist sollte
[SYS][multiplyDBfieldSize] = 1
für alle Sprachen ausreichend sein.

Grüße Georg

Von: André Bulang

André Bulang — Sat, 12 Jul 2008 07:09:49 +0000

Danke für die Anleitung. Habe alle Schritte befolgt. Alle Zeichen wurden manuell in Klartext umgewandelt und reimportiert. Nur das Frontend zeigt einmal Seiten richtig dar, zum anderen mit dem Fragezeichen. Was kann ich tun?

Von: Markus Giesen

Markus Giesen — Sat, 12 Jul 2008 11:11:50 +0000

Die Anzeige ist also gemischt meinst du?
Prüf mal, ob die .sql Datei, nach dem Umwandeln als UTF-8 codiert abgespeichert wurde.
Ansonsten schick mir per Mail mal den Link, ggf. kann ich ja mal reinschauen und wenn die Daten nicht supersicher sind und nicht zu groß, dann pack doch die SQL mal und schick sie rüber.

Von: André Bulang

André Bulang — Wed, 30 Jul 2008 19:51:47 +0000

Hallo Markus, das Tabellenfeld HTML der Tabelle cache_pages war aus irgendwelchen Gründen nicht auf utf8_general_ci umgestellt.

Außerdem sind in das Template noch einzutragen:
config.renderCharset = utf-8
config.metaCharset = utf-8

Von: Markus Giesen

Markus Giesen — Thu, 31 Jul 2008 07:30:45 +0000

Dann läuft’s jetzt rund? Klasse! Das freut mich. Deine Ergänzungen habe ich oben noch angefügt! Danke!

Von: Andreas Burg

Andreas Burg — Thu, 31 Jul 2008 21:32:15 +0000

Hallo André und alle,

config.renderCharset = utf-8
und
config.metaCharset = utf-8

müssen nicht gesetzt werden, sie sind schon über

[BE][forceCharset] = utf-8

gesetzt. Siehe TSref.

Von: Markus Giesen

Markus Giesen — Thu, 31 Jul 2008 21:51:43 +0000

ein hin und her…

Von: Dominik

Dominik — Tue, 26 Aug 2008 11:09:12 +0000

Tausend Dank für diese Anleitung!
Hat auch für meine inzwischen ein paar tausend Einträge wunderbar funktioniert

Von: Ture Schönebeck

Ture Schönebeck — Mon, 29 Sep 2008 22:39:36 +0000

Habe ein Problem mit dem Cache:
Alles so durchgeführt wie oben beschrieben, es wird auch alles im BE und FE korrekt dargestellt - wenn der Seitencache leer ist!
Sobald eine Seite erneut aufgerufen wird, kommt die Meldung “ERROR - No template found!”
In der Tabelle “cache_pages” stehen nur die Felder “hash” und “HTML” auf Kollation “utf8_unicode_ci”.

Hat jemand einen Tipp?

Von: Ture Schönebeck

Ture Schönebeck — Mon, 29 Sep 2008 22:55:53 +0000

…es ist die Tabelle “cache_hash”! Wird diese gelleert, so werde die Seiten (einmalig) wieder angezeigt.

Von: Winfried Kuiper

Winfried Kuiper — Fri, 14 Nov 2008 14:06:24 +0000

Hallo,

das Problem mit dem Cache ist unter
http://bugs.typo3.org/view.php?id=6006

genauer beschrieben.
Bei mir hat es geholfen im Installtool
den Eintrag
SET CHARACTER SET utf8
unter
[SYS][setDBinit]
zu löschen. Damit wird sonst
SET collation_connection = utf8
gesetzt, was bei serialized Data (cache_pages), also dem Seitencache Probleme macht.

Von: Winfried Kuiper

Winfried Kuiper — Fri, 14 Nov 2008 14:11:21 +0000

Hallo,

es wird natürlich

SET collation_connection = @@ collation_database

gesetzt. Da bei mir
collation_database = utf8_general_ci
ist, wird damit auch die
collation_connection von utf8_unicode_ci auf utf8_general_ci umgestellt.
Das macht dann leider die im Bug beschriebenen Probleme.

Von: Ulli

Ulli — Thu, 26 Feb 2009 08:17:39 +0000

Das Importieren dauert ewig bei mir und belastet den Computer ziemlich stark. Kann man nicht das einfach mit mysql < dateiname machen.
Markus: Klar kann man das, aber viele User haben keinen Shell Zugriff und müssen daher mit PHPMyAdmin und den zur Verfügung stehenden Mitteln arbeiten

Von: Ulli

Ulli — Thu, 26 Feb 2009 16:07:23 +0000

Ich finde die Anleitung recht kompliziert und hat bei mir auch nicht weitergeholfen. Das folgende Vorgehen dagegen führte zum Erfolg.
1. Daten aus Datenbank rausschreiben (z.B. mit mysqldump)
2. Daten nach UTF-8 kodieren
3. Sicherstellen, dass Daten im UTF-8-Format vorliegen. Kann man z.B. mit einer UTF-8-Konsole
(unter Linux: LC_CTYPE=de_DE.UTF-8 xterm -fn ‘-Misc-Fixed-Medium-R-SemiCondensed–13-120-75-75-C-60-ISO10646-1′)
überprüfen. Alle Umlaute sollten richtig dargestellt werden bei Ausgabe der Datei mit more.
4. SQL-Datei editieren. Alle CREATE DATABASE-Anweisungen sollten enden mit: “default character set ‘UTF8′; ” (doppelte Anführungszeichen natürlich nicht mit eingeben).
5. Ebenso verfahren mit allen
CREATE TABLE-Anweisungen.
6. Alle Vorkommen von LATIN1/latin1 in der Datei entfernen wie oben beschrieben
7. Alte Datenbank löschen mit DROP database name;
8. UTF8-Konsole öffnen (wichtig, dass UTF-8!)
9. Eingabe mysql –default-character-set=UTF8 -u username -p

Markus: Die meisten User kommen damit sehr gut klar. Eventuell bist du eher der bash-Typ, (sieht ganz so aus;) ), da ist es natürlich per Console wesentlich komfortabler, allerdings haben wie gesagt nicht alle User Zugriff darauf. Auf jeden Fall vielen Dank für die Beschreibung unter Linux!