In Perl werden lexikalische Analyse (Lexing) und Parsing von Zeichenfolgen häufig zur Verarbeitung komplexer Textvorlagen verwendet. Viele Aufgaben (z. B. das Parsen von geschachtelten Klammern, Anführungszeichen, SQL-Abfragen) sind mit einfachen regulären Ausdrücken aufgrund ihrer linearen Natur nicht zu bewältigen. In solchen Fällen werden Module verwendet, die die Grundlagen des Parsens implementieren – zum Beispiel Text::Balanced.
Text::Balanced ist dafür ausgelegt, ausgeglichene Klammern, Paar-Anführungszeichen und andere geschachtelte Strukturen zu extrahieren. Es arbeitet dort, wo reguläre Ausdrücke machtlos sind (z. B. beim Parsen geschachtelter Konstruktionen { ... { ... } ... }). Zu den Alternativen gehören die Module Parse::RecDescent, eigener Code auf Basis von Stapeln und Rekursion sowie externe Parser.
Beispiel für die Verwendung von Text::Balanced und den Vergleich mit regexp:
use Text::Balanced 'extract_bracketed'; my $data = 'foo({bar(baz)},qux)'; my ($extracted, $remainder) = extract_bracketed($data, '()'); print $extracted; # Gibt aus: ({bar(baz)},qux)
Ein regulärer Ausdruck kann geschachtelte Klammern nicht korrekt analysieren:
$data =~ /(\(.*\))/; # erfasst nur die erste und die letzte Klammer und ignoriert die Verschachtelung
Ist es möglich, mit gewöhnlichen Perl-regulären Ausdrücken ausgeglichene Klammern in Zeichenfolgen beliebiger Verschachtelung korrekt zu extrahieren?
Antwort: Nein, Perl-reguläre Ausdrücke können nicht mit rekursiven Mustern arbeiten (außer PCRE, aber nicht mit dem Standard-Perl). Für eine ähnliche Aufgabe sollten Sie einen Parser verwenden (Text::Balanced, Stack-Parser, Parse::RecDescent). Der Versuch, das Problem mit einem regulären Ausdruck zu lösen, führt zu Fehlern bei geschachtelten Syntaxen.
Beispiel:
# WIRD NICHT FUNKTIONIEREN für foo({bar(baz)},qux) my ($br) = $data =~ /(\(.*\))/;
Geschichte
Im Projekt gab es Versuche, JSON manuell mit regulären Ausdrücken zu parsen. Der Entwickler ging davon aus, dass der Ausdruck
(\{.*\})das benötigte Fragment finden würde, aber mit realen Daten mit geschachtelten Objekten wählte der Parser eine falsche Grenze, was zu Datenverlust und Fehlern bei der Verarbeitung der Eingabeparameter führte.
Geschichte
Im XML-Ereignisprotokoll war es erforderlich, den Inhalt eines Tags mit potenziell geschachtelten Tags zu extrahieren. Unzureichendes Verständnis der Prinzipien der Rekursion beim Lexing führte zu einer falschen Analyse von Ereignissen und ignorierten geschachtelten Elementen – ein Teil der Informationen ging verloren.
Geschichte
Ein Fehler beim Parsen einer SQL-Abfrage durch das Migrationsskript: Ausnahmesituationen wie Unterabfragen in runden Klammern konnten nicht analysiert werden. Reguläre Ausdrücke "brachen" bereits bei einfachen verschachtelten Zeichenfolgen, was zu inkorrekten SQL-Abfragen führte.