Open-ILS/src/perlmods/lib/OpenILS/Application/Storage/QueryParser.pm

   1 use strict;
   2 use warnings;
   3
   4 package QueryParser;
   5 use OpenSRF::Utils::JSON;
   6
   7 =head1 NAME
   8
   9 QueryParser - basic QueryParser class
  10
  11 =head1 SYNOPSIS
  12
  13 use QueryParser;
  14 my $QParser = QueryParser->new(%args);
  15
  16 =head1 DESCRIPTION
  17
  18 Main entrypoint into the QueryParser functionality.
  19
  20 =head1 FUNCTIONS
  21
  22 =cut
  23
  24 # Note that the first key must match the name of the package.
  25 our %parser_config = (
  26     QueryParser => {
  27         filters => [],
  28         modifiers => [],
  29         operators => {
  30             'and' => '&&',
  31             'or' => '||',
  32             float_start => '{{',
  33             float_end => '}}',
  34             group_start => '(',
  35             group_end => ')',
  36             required => '+',
  37             disallowed => '-',
  38             modifier => '#',
  39             negated => '!'
  40         }
  41     }
  42 );
  43
  44 sub canonicalize {
  45     my $self = shift;
  46     return QueryParser::Canonicalize::abstract_query2str_impl(
  47         $self->parse_tree->to_abstract_query(@_)
  48     );
  49 }
  50
  51
  52 =head2 facet_class_count
  53
  54     $count = $QParser->facet_class_count();
  55 =cut
  56
  57 sub facet_class_count {
  58     my $self = shift;
  59     return @{$self->facet_classes};
  60 }
  61
  62 =head2 search_class_count
  63
  64     $count = $QParser->search_class_count();
  65 =cut
  66
  67 sub search_class_count {
  68     my $self = shift;
  69     return @{$self->search_classes};
  70 }
  71
  72 =head2 filter_count
  73
  74     $count = $QParser->filter_count();
  75 =cut
  76
  77 sub filter_count {
  78     my $self = shift;
  79     return @{$self->filters};
  80 }
  81
  82 =head2 modifier_count
  83
  84     $count = $QParser->modifier_count();
  85 =cut
  86
  87 sub modifier_count {
  88     my $self = shift;
  89     return @{$self->modifiers};
  90 }
  91
  92 =head2 custom_data
  93
  94     $data = $QParser->custom_data($class);
  95 =cut
  96
  97 sub custom_data {
  98     my $class = shift;
  99     $class = ref($class) || $class;
 100
 101     $parser_config{$class}{custom_data} ||= {};
 102     return $parser_config{$class}{custom_data};
 103 }
 104
 105 =head2 operators
 106
 107     $operators = $QParser->operators();
 108
 109 Returns hashref of the configured operators.
 110 =cut
 111
 112 sub operators {
 113     my $class = shift;
 114     $class = ref($class) || $class;
 115
 116     $parser_config{$class}{operators} ||= {};
 117     return $parser_config{$class}{operators};
 118 }
 119
 120 sub allow_nested_modifiers {
 121     my $class = shift;
 122     my $v = shift;
 123     $class = ref($class) || $class;
 124
 125     $parser_config{$class}{allow_nested_modifiers} = $v if (defined $v);
 126     return $parser_config{$class}{allow_nested_modifiers};
 127 }
 128
 129 =head2 filters
 130
 131     $filters = $QParser->filters();
 132
 133 Returns arrayref of the configured filters.
 134 =cut
 135
 136 sub filters {
 137     my $class = shift;
 138     $class = ref($class) || $class;
 139
 140     $parser_config{$class}{filters} ||= [];
 141     return $parser_config{$class}{filters};
 142 }
 143
 144 =head2 filter_callbacks
 145
 146     $filter_callbacks = $QParser->filter_callbacks();
 147
 148 Returns hashref of the configured filter callbacks.
 149 =cut
 150
 151 sub filter_callbacks {
 152     my $class = shift;
 153     $class = ref($class) || $class;
 154
 155     $parser_config{$class}{filter_callbacks} ||= {};
 156     return $parser_config{$class}{filter_callbacks};
 157 }
 158
 159 =head2 modifiers
 160
 161     $modifiers = $QParser->modifiers();
 162
 163 Returns arrayref of the configured modifiers.
 164 =cut
 165
 166 sub modifiers {
 167     my $class = shift;
 168     $class = ref($class) || $class;
 169
 170     $parser_config{$class}{modifiers} ||= [];
 171     return $parser_config{$class}{modifiers};
 172 }
 173
 174 =head2 new
 175
 176     $QParser = QueryParser->new(%args);
 177
 178 Creates a new QueryParser object.
 179 =cut
 180
 181 sub new {
 182     my $class = shift;
 183     $class = ref($class) || $class;
 184
 185     my %opts = @_;
 186
 187     my $self = bless {} => $class;
 188
 189     for my $o (keys %{QueryParser->operators}) {
 190         $class->operator($o => QueryParser->operator($o)) unless ($class->operator($o));
 191     }
 192
 193     for my $opt ( keys %opts) {
 194         $self->$opt( $opts{$opt} ) if ($self->can($opt));
 195     }
 196
 197     return $self;
 198 }
 199
 200 =head2 new_plan
 201
 202     $query_plan = $QParser->new_plan();
 203
 204 Create a new query plan.
 205 =cut
 206
 207 sub new_plan {
 208     my $self = shift;
 209     my $pkg = ref($self) || $self;
 210     return do{$pkg.'::query_plan'}->new( QueryParser => $self, @_ );
 211 }
 212
 213 =head2 add_search_filter
 214
 215     $QParser->add_search_filter($filter, [$callback]);
 216
 217 Adds a filter with the specified name and an optional callback to the
 218 QueryParser configuration.
 219 =cut
 220
 221 sub add_search_filter {
 222     my $pkg = shift;
 223     $pkg = ref($pkg) || $pkg;
 224     my $filter = shift;
 225     my $callback = shift;
 226
 227     return $filter if (grep { $_ eq $filter } @{$pkg->filters});
 228     push @{$pkg->filters}, $filter;
 229     $pkg->filter_callbacks->{$filter} = $callback if ($callback);
 230     return $filter;
 231 }
 232
 233 =head2 add_search_modifier
 234
 235     $QParser->add_search_modifier($modifier);
 236
 237 Adds a modifier with the specified name to the QueryParser configuration.
 238 =cut
 239
 240 sub add_search_modifier {
 241     my $pkg = shift;
 242     $pkg = ref($pkg) || $pkg;
 243     my $modifier = shift;
 244
 245     return $modifier if (grep { $_ eq $modifier } @{$pkg->modifiers});
 246     push @{$pkg->modifiers}, $modifier;
 247     return $modifier;
 248 }
 249
 250 =head2 add_facet_class
 251
 252     $QParser->add_facet_class($facet_class);
 253
 254 Adds a facet class with the specified name to the QueryParser configuration.
 255 =cut
 256
 257 sub add_facet_class {
 258     my $pkg = shift;
 259     $pkg = ref($pkg) || $pkg;
 260     my $class = shift;
 261
 262     return $class if (grep { $_ eq $class } @{$pkg->facet_classes});
 263
 264     push @{$pkg->facet_classes}, $class;
 265     $pkg->facet_fields->{$class} = [];
 266
 267     return $class;
 268 }
 269
 270 =head2 add_search_class
 271
 272     $QParser->add_search_class($class);
 273
 274 Adds a search class with the specified name to the QueryParser configuration.
 275 =cut
 276
 277 sub add_search_class {
 278     my $pkg = shift;
 279     $pkg = ref($pkg) || $pkg;
 280     my $class = shift;
 281
 282     return $class if (grep { $_ eq $class } @{$pkg->search_classes});
 283
 284     push @{$pkg->search_classes}, $class;
 285     $pkg->search_fields->{$class} = [];
 286     $pkg->default_search_class( $pkg->search_classes->[0] ) if (@{$pkg->search_classes} == 1);
 287
 288     return $class;
 289 }
 290
 291 =head2 add_search_modifier
 292
 293     $op = $QParser->operator($operator, [$newvalue]);
 294
 295 Retrieves or sets value for the specified operator. Valid operators and
 296 their defaults are as follows:
 297
 298 =over 4
 299
 300 =item * and => &&
 301
 302 =item * or => ||
 303
 304 =item * group_start => (
 305
 306 =item * group_end => )
 307
 308 =item * required => +
 309
 310 =item * disallowed => -
 311
 312 =item * modifier => #
 313
 314 =back
 315
 316 =cut
 317
 318 sub operator {
 319     my $class = shift;
 320     $class = ref($class) || $class;
 321     my $opname = shift;
 322     my $op = shift;
 323
 324     return undef unless ($opname);
 325
 326     $parser_config{$class}{operators} ||= {};
 327     $parser_config{$class}{operators}{$opname} = $op if ($op);
 328
 329     return $parser_config{$class}{operators}{$opname};
 330 }
 331
 332 =head2 facet_classes
 333
 334     $classes = $QParser->facet_classes([\@newclasses]);
 335
 336 Returns arrayref of all configured facet classes after optionally
 337 replacing configuration.
 338 =cut
 339
 340 sub facet_classes {
 341     my $class = shift;
 342     $class = ref($class) || $class;
 343     my $classes = shift;
 344
 345     $parser_config{$class}{facet_classes} ||= [];
 346     $parser_config{$class}{facet_classes} = $classes if (ref($classes) && @$classes);
 347     return $parser_config{$class}{facet_classes};
 348 }
 349
 350 =head2 search_classes
 351
 352     $classes = $QParser->search_classes([\@newclasses]);
 353
 354 Returns arrayref of all configured search classes after optionally
 355 replacing the previous configuration.
 356 =cut
 357
 358 sub search_classes {
 359     my $class = shift;
 360     $class = ref($class) || $class;
 361     my $classes = shift;
 362
 363     $parser_config{$class}{classes} ||= [];
 364     $parser_config{$class}{classes} = $classes if (ref($classes) && @$classes);
 365     return $parser_config{$class}{classes};
 366 }
 367
 368 =head2 add_query_normalizer
 369
 370     $function = $QParser->add_query_normalizer($class, $field, $func, [\@params]);
 371
 372 =cut
 373
 374 sub add_query_normalizer {
 375     my $pkg = shift;
 376     $pkg = ref($pkg) || $pkg;
 377     my $class = shift;
 378     my $field = shift;
 379     my $func = shift;
 380     my $params = shift || [];
 381
 382     # do not add if function AND params are identical to existing member
 383     return $func if (grep {
 384         $_->{function} eq $func and
 385         OpenSRF::Utils::JSON->perl2JSON($_->{params}) eq OpenSRF::Utils::JSON->perl2JSON($params)
 386     } @{$pkg->query_normalizers->{$class}->{$field}});
 387
 388     push(@{$pkg->query_normalizers->{$class}->{$field}}, { function => $func, params => $params });
 389
 390     return $func;
 391 }
 392
 393 =head2 query_normalizers
 394
 395     $normalizers = $QParser->query_normalizers($class, $field);
 396
 397 Returns a list of normalizers associated with the specified search class
 398 and field
 399 =cut
 400
 401 sub query_normalizers {
 402     my $pkg = shift;
 403     $pkg = ref($pkg) || $pkg;
 404
 405     my $class = shift;
 406     my $field = shift;
 407
 408     $parser_config{$pkg}{normalizers} ||= {};
 409     if ($class) {
 410         if ($field) {
 411             $parser_config{$pkg}{normalizers}{$class}{$field} ||= [];
 412             return $parser_config{$pkg}{normalizers}{$class}{$field};
 413         } else {
 414             return $parser_config{$pkg}{normalizers}{$class};
 415         }
 416     }
 417
 418     return $parser_config{$pkg}{normalizers};
 419 }
 420
 421 =head2 add_filter_normalizer
 422
 423     $normalizer = $QParser->add_filter_normalizer($filter, $func, [\@params]);
 424
 425 Adds a normalizer function to the specified filter.
 426 =cut
 427
 428 sub add_filter_normalizer {
 429     my $pkg = shift;
 430     $pkg = ref($pkg) || $pkg;
 431     my $filter = shift;
 432     my $func = shift;
 433     my $params = shift || [];
 434
 435     return $func if (grep { $_ eq $func } @{$pkg->filter_normalizers->{$filter}});
 436
 437     push(@{$pkg->filter_normalizers->{$filter}}, { function => $func, params => $params });
 438
 439     return $func;
 440 }
 441
 442 =head2 filter_normalizers
 443
 444     $normalizers = $QParser->filter_normalizers($filter);
 445
 446 Return arrayref of normalizer functions associated with the specified filter.
 447 =cut
 448
 449 sub filter_normalizers {
 450     my $pkg = shift;
 451     $pkg = ref($pkg) || $pkg;
 452
 453     my $filter = shift;
 454
 455     $parser_config{$pkg}{filter_normalizers} ||= {};
 456     if ($filter) {
 457         $parser_config{$pkg}{filter_normalizers}{$filter} ||= [];
 458         return $parser_config{$pkg}{filter_normalizers}{$filter};
 459     }
 460
 461     return $parser_config{$pkg}{filter_normalizers};
 462 }
 463
 464 =head2 default_search_class
 465
 466     $default_class = $QParser->default_search_class([$class]);
 467
 468 Set or return the default search class.
 469 =cut
 470
 471 sub default_search_class {
 472     my $pkg = shift;
 473     $pkg = ref($pkg) || $pkg;
 474     my $class = shift;
 475     $QueryParser::parser_config{$pkg}{default_class} = $pkg->add_search_class( $class ) if $class;
 476
 477     return $QueryParser::parser_config{$pkg}{default_class};
 478 }
 479
 480 =head2 remove_facet_class
 481
 482     $QParser->remove_facet_class($class);
 483
 484 Remove the specified facet class from the configuration.
 485 =cut
 486
 487 sub remove_facet_class {
 488     my $pkg = shift;
 489     $pkg = ref($pkg) || $pkg;
 490     my $class = shift;
 491
 492     return $class if (!grep { $_ eq $class } @{$pkg->facet_classes});
 493
 494     $pkg->facet_classes( [ grep { $_ ne $class } @{$pkg->facet_classes} ] );
 495     delete $QueryParser::parser_config{$pkg}{facet_fields}{$class};
 496
 497     return $class;
 498 }
 499
 500 =head2 remove_search_class
 501
 502     $QParser->remove_search_class($class);
 503
 504 Remove the specified search class from the configuration.
 505 =cut
 506
 507 sub remove_search_class {
 508     my $pkg = shift;
 509     $pkg = ref($pkg) || $pkg;
 510     my $class = shift;
 511
 512     return $class if (!grep { $_ eq $class } @{$pkg->search_classes});
 513
 514     $pkg->search_classes( [ grep { $_ ne $class } @{$pkg->search_classes} ] );
 515     delete $QueryParser::parser_config{$pkg}{fields}{$class};
 516
 517     return $class;
 518 }
 519
 520 =head2 add_facet_field
 521
 522     $QParser->add_facet_field($class, $field);
 523
 524 Adds the specified field (and facet class if it doesn't already exist)
 525 to the configuration.
 526 =cut
 527
 528 sub add_facet_field {
 529     my $pkg = shift;
 530     $pkg = ref($pkg) || $pkg;
 531     my $class = shift;
 532     my $field = shift;
 533
 534     $pkg->add_facet_class( $class );
 535
 536     return { $class => $field }  if (grep { $_ eq $field } @{$pkg->facet_fields->{$class}});
 537
 538     push @{$pkg->facet_fields->{$class}}, $field;
 539
 540     return { $class => $field };
 541 }
 542
 543 =head2 facet_fields
 544
 545     $fields = $QParser->facet_fields($class);
 546
 547 Returns arrayref with list of fields for specified facet class.
 548 =cut
 549
 550 sub facet_fields {
 551     my $class = shift;
 552     $class = ref($class) || $class;
 553
 554     $parser_config{$class}{facet_fields} ||= {};
 555     return $parser_config{$class}{facet_fields};
 556 }
 557
 558 =head2 add_search_field
 559
 560     $QParser->add_search_field($class, $field);
 561
 562 Adds the specified field (and facet class if it doesn't already exist)
 563 to the configuration.
 564 =cut
 565
 566 sub add_search_field {
 567     my $pkg = shift;
 568     $pkg = ref($pkg) || $pkg;
 569     my $class = shift;
 570     my $field = shift;
 571
 572     $pkg->add_search_class( $class );
 573
 574     return { $class => $field }  if (grep { $_ eq $field } @{$pkg->search_fields->{$class}});
 575
 576     push @{$pkg->search_fields->{$class}}, $field;
 577
 578     return { $class => $field };
 579 }
 580
 581 =head2 search_fields
 582
 583     $fields = $QParser->search_fields();
 584
 585 Returns arrayref with list of configured search fields.
 586 =cut
 587
 588 sub search_fields {
 589     my $class = shift;
 590     $class = ref($class) || $class;
 591
 592     $parser_config{$class}{fields} ||= {};
 593     return $parser_config{$class}{fields};
 594 }
 595
 596 =head2 add_search_class_alias
 597
 598     $QParser->add_search_class_alias($class, $alias);
 599 =cut
 600
 601 sub add_search_class_alias {
 602     my $pkg = shift;
 603     $pkg = ref($pkg) || $pkg;
 604     my $class = shift;
 605     my $alias = shift;
 606
 607     $pkg->add_search_class( $class );
 608
 609     return { $class => $alias }  if (grep { $_ eq $alias } @{$pkg->search_class_aliases->{$class}});
 610
 611     push @{$pkg->search_class_aliases->{$class}}, $alias;
 612
 613     return { $class => $alias };
 614 }
 615
 616 =head2 search_class_aliases
 617
 618     $aliases = $QParser->search_class_aliases($class);
 619 =cut
 620
 621 sub search_class_aliases {
 622     my $class = shift;
 623     $class = ref($class) || $class;
 624
 625     $parser_config{$class}{class_map} ||= {};
 626     return $parser_config{$class}{class_map};
 627 }
 628
 629 =head2 add_search_field_alias
 630
 631     $QParser->add_search_field_alias($class, $field, $alias);
 632 =cut
 633
 634 sub add_search_field_alias {
 635     my $pkg = shift;
 636     $pkg = ref($pkg) || $pkg;
 637     my $class = shift;
 638     my $field = shift;
 639     my $alias = shift;
 640
 641     return { $class => { $field => $alias } }  if (grep { $_ eq $alias } @{$pkg->search_field_aliases->{$class}{$field}});
 642
 643     push @{$pkg->search_field_aliases->{$class}{$field}}, $alias;
 644
 645     return { $class => { $field => $alias } };
 646 }
 647
 648 =head2 search_field_aliases
 649
 650     $aliases = $QParser->search_field_aliases();
 651 =cut
 652
 653 sub search_field_aliases {
 654     my $class = shift;
 655     $class = ref($class) || $class;
 656
 657     $parser_config{$class}{field_alias_map} ||= {};
 658     return $parser_config{$class}{field_alias_map};
 659 }
 660
 661 =head2 remove_facet_field
 662
 663     $QParser->remove_facet_field($class, $field);
 664 =cut
 665
 666 sub remove_facet_field {
 667     my $pkg = shift;
 668     $pkg = ref($pkg) || $pkg;
 669     my $class = shift;
 670     my $field = shift;
 671
 672     return { $class => $field }  if (!$pkg->facet_fields->{$class} || !grep { $_ eq $field } @{$pkg->facet_fields->{$class}});
 673
 674     $pkg->facet_fields->{$class} = [ grep { $_ ne $field } @{$pkg->facet_fields->{$class}} ];
 675
 676     return { $class => $field };
 677 }
 678
 679 =head2 remove_search_field
 680
 681     $QParser->remove_search_field($class, $field);
 682 =cut
 683
 684 sub remove_search_field {
 685     my $pkg = shift;
 686     $pkg = ref($pkg) || $pkg;
 687     my $class = shift;
 688     my $field = shift;
 689
 690     return { $class => $field }  if (!$pkg->search_fields->{$class} || !grep { $_ eq $field } @{$pkg->search_fields->{$class}});
 691
 692     $pkg->search_fields->{$class} = [ grep { $_ ne $field } @{$pkg->search_fields->{$class}} ];
 693
 694     return { $class => $field };
 695 }
 696
 697 =head2 remove_search_field_alias
 698
 699     $QParser->remove_search_field_alias($class, $field, $alias);
 700 =cut
 701
 702 sub remove_search_field_alias {
 703     my $pkg = shift;
 704     $pkg = ref($pkg) || $pkg;
 705     my $class = shift;
 706     my $field = shift;
 707     my $alias = shift;
 708
 709     return { $class => { $field => $alias } }  if (!$pkg->search_field_aliases->{$class}{$field} || !grep { $_ eq $alias } @{$pkg->search_field_aliases->{$class}{$field}});
 710
 711     $pkg->search_field_aliases->{$class}{$field} = [ grep { $_ ne $alias } @{$pkg->search_field_aliases->{$class}{$field}} ];
 712
 713     return { $class => { $field => $alias } };
 714 }
 715
 716 =head2 remove_search_class_alias
 717
 718     $QParser->remove_search_class_alias($class, $alias);
 719 =cut
 720
 721 sub remove_search_class_alias {
 722     my $pkg = shift;
 723     $pkg = ref($pkg) || $pkg;
 724     my $class = shift;
 725     my $alias = shift;
 726
 727     return { $class => $alias }  if (!$pkg->search_class_aliases->{$class} || !grep { $_ eq $alias } @{$pkg->search_class_aliases->{$class}});
 728
 729     $pkg->search_class_aliases->{$class} = [ grep { $_ ne $alias } @{$pkg->search_class_aliases->{$class}} ];
 730
 731     return { $class => $alias };
 732 }
 733
 734 =head2 debug
 735
 736     $debug = $QParser->debug([$debug]);
 737
 738 Return or set whether debugging output is enabled.
 739 =cut
 740
 741 sub debug {
 742     my $self = shift;
 743     my $q = shift;
 744     $self->{_debug} = $q if (defined $q);
 745     return $self->{_debug};
 746 }
 747
 748 =head2 query
 749
 750     $query = $QParser->query([$query]);
 751
 752 Return or set the query.
 753 =cut
 754
 755 sub query {
 756     my $self = shift;
 757     my $q = shift;
 758     $self->{_query} = " $q " if (defined $q);
 759     return $self->{_query};
 760 }
 761
 762 =head2 parse_tree
 763
 764     $parse_tree = $QParser->parse_tree([$parse_tree]);
 765
 766 Return or set the parse tree associated with the QueryParser.
 767 =cut
 768
 769 sub parse_tree {
 770     my $self = shift;
 771     my $q = shift;
 772     $self->{_parse_tree} = $q if (defined $q);
 773     return $self->{_parse_tree};
 774 }
 775
 776 sub floating_plan {
 777     my $self = shift;
 778     my $q = shift;
 779     $self->{_top} = $q if (defined $q);
 780     return $self->{_top};
 781 }
 782
 783 =head2 parse
 784
 785     $QParser->parse([$query]);
 786
 787 Parse the specified query, or the query already associated with the QueryParser
 788 object.
 789 =cut
 790
 791 sub parse {
 792     my $self = shift;
 793     my $pkg = ref($self) || $self;
 794     warn " ** parse package is $pkg\n" if $self->debug;
 795 #    $self->parse_tree(
 796 #        $self->decompose(
 797 #            $self->query( shift() )
 798 #        )
 799 #    );
 800
 801     $self->decompose( $self->query( shift() ) );
 802
 803     if ($self->floating_plan) {
 804         $self->floating_plan->add_node( $self->parse_tree );
 805         $self->parse_tree( $self->floating_plan );
 806     }
 807
 808     $self->parse_tree->plan_level(0);
 809
 810     return $self;
 811 }
 812
 813 =head2 decompose
 814
 815     ($struct, $remainder) = $QParser->decompose($querystring, [$current_class], [$recursing], [$phrase_helper]);
 816
 817 This routine does the heavy work of parsing the query string recursively.
 818 Returns the top level query plan, or the query plan from a lower level plus
 819 the portion of the query string that needs to be processed at a higher level.
 820 =cut
 821
 822 our $last_class = '';
 823 our $last_type = '';
 824 our $floating = 0;
 825 our $fstart;
 826
 827 sub decompose {
 828     my $self = shift;
 829     my $pkg = ref($self) || $self;
 830
 831
 832     $_ = shift;
 833     my $current_class = shift || $self->default_search_class;
 834
 835     my $recursing = shift || 0;
 836     my $phrase_helper = shift || 0;
 837
 838     # Build the search class+field uber-regexp
 839     my $search_class_re = '^\s*(';
 840     my $first_class = 1;
 841
 842     warn '  'x$recursing." ** decompose package is $pkg\n" if $self->debug;
 843
 844     my %seen_classes;
 845     for my $class ( keys %{$pkg->search_field_aliases} ) {
 846         warn '  'x$recursing." *** ... Looking for search fields in $class\n" if $self->debug;
 847
 848         for my $field ( keys %{$pkg->search_field_aliases->{$class}} ) {
 849             warn '  'x$recursing." *** ... Looking for aliases of $field\n" if $self->debug;
 850
 851             for my $alias ( @{$pkg->search_field_aliases->{$class}{$field}} ) {
 852                 my $aliasr = qr/$alias/;
 853                 s/(^|\s+)$aliasr\|/$1$class\|$field#$alias\|/g;
 854                 s/(^|\s+)$aliasr[:=]/$1$class\|$field#$alias:/g;
 855                 warn '  'x$recursing." *** Rewriting: $alias ($aliasr) as $class\|$field\n" if $self->debug;
 856             }
 857         }
 858
 859         $search_class_re .= '|' unless ($first_class);
 860         $first_class = 0;
 861         $search_class_re .= $class . '(?:[|#][^:|]+)*';
 862         $seen_classes{$class} = 1;
 863     }
 864
 865     for my $class ( keys %{$pkg->search_class_aliases} ) {
 866
 867         for my $alias ( @{$pkg->search_class_aliases->{$class}} ) {
 868             my $aliasr = qr/$alias/;
 869             s/(^|[^|])\b$aliasr\|/$1$class#$alias\|/g;
 870             s/(^|[^|])\b$aliasr[:=]/$1$class#$alias:/g;
 871             warn '  'x$recursing." *** Rewriting: $alias ($aliasr) as $class\n" if $self->debug;
 872         }
 873
 874         if (!$seen_classes{$class}) {
 875             $search_class_re .= '|' unless ($first_class);
 876             $first_class = 0;
 877
 878             $search_class_re .= $class . '(?:[|#][^:|]+)*';
 879             $seen_classes{$class} = 1;
 880         }
 881     }
 882     $search_class_re .= '):';
 883
 884     warn '  'x$recursing." ** Rewritten query: $_\n" if $self->debug;
 885     warn '  'x$recursing." ** Search class RE: $search_class_re\n" if $self->debug;
 886
 887     my $required_op = $pkg->operator('required');
 888     my $required_re = qr/\Q$required_op\E/;
 889
 890     my $disallowed_op = $pkg->operator('disallowed');
 891     my $disallowed_re = qr/\Q$disallowed_op\E/;
 892
 893     my $negated_op = $pkg->operator('negated');
 894     my $negated_re = qr/\Q$negated_op\E/;
 895
 896     my $and_op = $pkg->operator('and');
 897     my $and_re = qr/^\s*\Q$and_op\E/;
 898
 899     my $or_op = $pkg->operator('or');
 900     my $or_re = qr/^\s*\Q$or_op\E/;
 901
 902     my $group_start = $pkg->operator('group_start');
 903     my $group_start_re = qr/^\s*($negated_re|$disallowed_re)?\Q$group_start\E/;
 904
 905     my $group_end = $pkg->operator('group_end');
 906     my $group_end_re = qr/^\s*\Q$group_end\E/;
 907
 908     my $float_start = $pkg->operator('float_start');
 909     my $float_start_re = qr/^\s*\Q$float_start\E/;
 910
 911     my $float_end = $pkg->operator('float_end');
 912     my $float_end_re = qr/^\s*\Q$float_end\E/;
 913
 914     my $modifier_tag = $pkg->operator('modifier');
 915     my $modifier_tag_re = qr/^\s*\Q$modifier_tag\E/;
 916
 917     # Group start/end normally are ( and ), but can be overridden.
 918     # We thus include ( and ) specifically due to filters, as well as : for classes.
 919     my $phrase_cleanup_re = qr/\s*(\Q$required_op\E|\Q$disallowed_op\E|\Q$and_op\E|\Q$or_op\E|\Q$group_start\E|\Q$group_end\E|\Q$float_start\E|\Q$float_end\E|\Q$modifier_tag\E|\Q$negated_op\E|:|\(|\))/;
 920
 921     # Build the filter and modifier uber-regexps
 922     my $facet_re = '^\s*(-?)((?:' . join( '|', @{$pkg->facet_classes}) . ')(?:\|\w+)*)\[(.+?)\](?!\[)';
 923     warn '  'x$recursing." ** Facet RE: $facet_re\n" if $self->debug;
 924
 925     my $filter_re = '^\s*(-?)(' . join( '|', @{$pkg->filters}) . ')\(([^()]+)\)';
 926     my $filter_as_class_re = '^\s*(-?)(' . join( '|', @{$pkg->filters}) . '):\s*(\S+)';
 927
 928     my $modifier_re = '^\s*'.$modifier_tag_re.'(' . join( '|', @{$pkg->modifiers}) . ')\b';
 929     my $modifier_as_class_re = '^\s*(' . join( '|', @{$pkg->modifiers}) . '):\s*(\S+)';
 930
 931     my $struct = shift || $self->new_plan( level => $recursing );
 932     $self->parse_tree( $struct ) if (!$self->parse_tree);
 933
 934     my $remainder = '';
 935
 936     while (!$remainder) {
 937         warn '  'x$recursing."Start of the loop. last_type: $last_type, joiner: ".$struct->joiner.", struct: $struct\n" if $self->debug;
 938         if ($last_type eq 'FEND' and $fstart and $fstart !=  $struct) { # fall back further
 939             $remainder = $_;
 940             last;
 941         } elsif ($last_type eq 'FEND') {
 942             $fstart = undef;
 943             $last_type = '';
 944         }
 945
 946         if (/^\s*$/) { # end of an explicit group
 947             local $last_type = '';
 948             last;
 949         } elsif (/$float_end_re/) { # end of an explicit group
 950             warn '  'x$recursing."Encountered explicit float end, remainder: $'\n" if $self->debug;
 951
 952             $remainder = $';
 953             $_ = '';
 954
 955             $floating = 0;
 956             $last_type = 'FEND';
 957             last;
 958         } elsif (/$group_end_re/) { # end of an explicit group
 959             warn '  'x$recursing."Encountered explicit group end, remainder: $'\n" if $self->debug;
 960
 961             $remainder = $';
 962             $_ = '';
 963
 964             local $last_type = '';
 965         } elsif ($self->filter_count && /$filter_re/) { # found a filter
 966             warn '  'x$recursing."Encountered search filter: $1$2 set to $3\n" if $self->debug;
 967
 968             my $negate = ($1 eq $pkg->operator('disallowed')) ? 1 : 0;
 969             $_ = $';
 970
 971             my $filter = $2;
 972             my $params = [ split '[,]+', $3 ];
 973
 974             if ($pkg->filter_callbacks->{$filter}) {
 975                 my $replacement = $pkg->filter_callbacks->{$filter}->($self, $struct, $filter, $params, $negate);
 976                 $_ = "$replacement $_" if ($replacement);
 977             } else {
 978                 $struct->new_filter( $filter => $params, $negate );
 979             }
 980
 981
 982             local $last_type = '';
 983         } elsif ($self->filter_count && /$filter_as_class_re/) { # found a filter
 984             warn '  'x$recursing."Encountered search filter: $1$2 set to $3\n" if $self->debug;
 985
 986             my $negate = ($1 eq $pkg->operator('disallowed')) ? 1 : 0;
 987             $_ = $';
 988
 989             my $filter = $2;
 990             my $params = [ split '[,]+', $3 ];
 991
 992             if ($pkg->filter_callbacks->{$filter}) {
 993                 my $replacement = $pkg->filter_callbacks->{$filter}->($self, $struct, $filter, $params, $negate);
 994                 $_ = "$replacement $_" if ($replacement);
 995             } else {
 996                 $struct->new_filter( $filter => $params, $negate );
 997             }
 998
 999             local $last_type = '';
1000         } elsif ($self->modifier_count && /$modifier_re/) { # found a modifier
1001             warn '  'x$recursing."Encountered search modifier: $1\n" if $self->debug;
1002
1003             $_ = $';
1004             if (!($struct->top_plan || $parser_config{$pkg}->{allow_nested_modifiers})) {
1005                 warn '  'x$recursing."  Search modifiers only allowed at the top level of the query\n" if $self->debug;
1006             } else {
1007                 $struct->new_modifier($1);
1008             }
1009
1010             local $last_type = '';
1011         } elsif ($self->modifier_count && /$modifier_as_class_re/) { # found a modifier
1012             warn '  'x$recursing."Encountered search modifier: $1\n" if $self->debug;
1013
1014             my $mod = $1;
1015
1016             $_ = $';
1017             if (!($struct->top_plan || $parser_config{$pkg}->{allow_nested_modifiers})) {
1018                 warn '  'x$recursing."  Search modifiers only allowed at the top level of the query\n" if $self->debug;
1019             } elsif ($2 =~ /^[ty1]/i) {
1020                 $struct->new_modifier($mod);
1021             }
1022
1023             local $last_type = '';
1024         } elsif (/$float_start_re/) { # start of an explicit float
1025             warn '  'x$recursing."Encountered explicit float start\n" if $self->debug;
1026             $floating = 1;
1027             $fstart = $struct;
1028
1029             $last_class = $current_class;
1030             $current_class = undef;
1031
1032             $self->floating_plan( $self->new_plan( floating => 1 ) ) if (!$self->floating_plan);
1033
1034             # pass the floating_plan struct to be modified by the float'ed chunk
1035             my ($floating_plan, $subremainder) = $self->new( debug => $self->debug )->decompose( $', undef, undef, undef,  $self->floating_plan);
1036             $_ = $subremainder;
1037             warn '  'x$recursing."Remainder after explicit float: $_\n" if $self->debug;
1038
1039             $current_class = $last_class;
1040
1041             $last_type = '';
1042         } elsif (/$group_start_re/) { # start of an explicit group
1043             warn '  'x$recursing."Encountered explicit group start\n" if $self->debug;
1044             my $negate = $1;
1045             my ($substruct, $subremainder) = $self->decompose( $', $current_class, $recursing + 1 );
1046             $substruct->negate(1) if ($substruct && $negate);
1047             $struct->add_node( $substruct ) if ($substruct);
1048             $_ = $subremainder;
1049             warn '  'x$recursing."Query remainder after bool group: $_\n" if $self->debug;
1050
1051             local $last_type = '';
1052
1053         } elsif (/$and_re/) { # ANDed expression
1054             $_ = $';
1055             warn '  'x$recursing."Encountered AND\n" if $self->debug;
1056             do {warn '  'x$recursing."!!! Already doing the bool dance for AND\n" if $self->debug; next} if ($last_type eq 'AND');
1057             do {warn '  'x$recursing."!!! Already doing the bool dance for OR\n" if $self->debug; next} if ($last_type eq 'OR');
1058             local $last_type = 'AND';
1059
1060             warn '  'x$recursing."Saving LHS, building RHS\n" if $self->debug;
1061             my $LHS = $struct;
1062             #my ($RHS, $subremainder) = $self->decompose( "$group_start $_ $group_end", $current_class, $recursing + 1 );
1063             my ($RHS, $subremainder) = $self->decompose( $_, $current_class, $recursing + 1 );
1064             $_ = $subremainder;
1065
1066             warn '  'x$recursing."RHS built\n" if $self->debug;
1067             warn '  'x$recursing."Post-AND remainder: $subremainder\n" if $self->debug;
1068
1069             my $wrapper = $self->new_plan( level => $recursing + 1 );
1070
1071             if ($LHS->floating) {
1072                 $wrapper->{query} = $LHS->{query};
1073                 my $outer_wrapper = $self->new_plan( level => $recursing + 1 );
1074                 $outer_wrapper->add_node($_) for ($wrapper,$RHS);
1075                 $LHS->{query} = [$outer_wrapper];
1076                 $struct = $LHS;
1077             } else {
1078                 $wrapper->add_node($_) for ($LHS, $RHS);
1079                 $wrapper->plan_level($wrapper->plan_level); # reset levels all the way down
1080                 $struct = $self->new_plan( level => $recursing );
1081                 $struct->add_node($wrapper);
1082             }
1083
1084             $self->parse_tree( $struct ) if ($self->parse_tree == $LHS);
1085
1086             local $last_type = '';
1087         } elsif (/$or_re/) { # ORed expression
1088             $_ = $';
1089             warn '  'x$recursing."Encountered OR\n" if $self->debug;
1090             do {warn '  'x$recursing."!!! Already doing the bool dance for AND\n" if $self->debug; next} if ($last_type eq 'AND');
1091             do {warn '  'x$recursing."!!! Already doing the bool dance for OR\n" if $self->debug; next} if ($last_type eq 'OR');
1092             local $last_type = 'OR';
1093
1094             warn '  'x$recursing."Saving LHS, building RHS\n" if $self->debug;
1095             my $LHS = $struct;
1096             #my ($RHS, $subremainder) = $self->decompose( "$group_start $_ $group_end", $current_class, $recursing + 1 );
1097             my ($RHS, $subremainder) = $self->decompose( $_, $current_class, $recursing + 2 );
1098             $_ = $subremainder;
1099
1100             warn '  'x$recursing."RHS built\n" if $self->debug;
1101             warn '  'x$recursing."Post-OR remainder: $subremainder\n" if $self->debug;
1102
1103             my $wrapper = $self->new_plan( level => $recursing + 1, joiner => '|' );
1104
1105             if ($LHS->floating) {
1106                 $wrapper->{query} = $LHS->{query};
1107                 my $outer_wrapper = $self->new_plan( level => $recursing + 1, joiner => '|' );
1108                 $outer_wrapper->add_node($_) for ($wrapper,$RHS);
1109                 $LHS->{query} = [$outer_wrapper];
1110                 $struct = $LHS;
1111             } else {
1112                 $wrapper->add_node($_) for ($LHS, $RHS);
1113                 $wrapper->plan_level($wrapper->plan_level); # reset levels all the way down
1114                 $struct = $self->new_plan( level => $recursing );
1115                 $struct->add_node($wrapper);
1116             }
1117
1118             $self->parse_tree( $struct ) if ($self->parse_tree == $LHS);
1119
1120             local $last_type = '';
1121         } elsif ($self->facet_class_count && /$facet_re/) { # changing current class
1122             warn '  'x$recursing."Encountered facet: $1$2 => $3\n" if $self->debug;
1123
1124             my $negate = ($1 eq $pkg->operator('disallowed')) ? 1 : 0;
1125             my $facet = $2;
1126             my $facet_value = [ split '\s*\]\[\s*', $3 ];
1127             $struct->new_facet( $facet => $facet_value, $negate );
1128             $_ = $';
1129
1130             local $last_type = '';
1131         } elsif ($self->search_class_count && /$search_class_re/) { # changing current class
1132
1133             if ($last_type eq 'CLASS') {
1134                 $struct->remove_last_node( $current_class );
1135                 warn '  'x$recursing."Encountered class change with no searches!\n" if $self->debug;
1136             }
1137
1138             warn '  'x$recursing."Encountered class change: $1\n" if $self->debug;
1139
1140             $current_class = $struct->classed_node( $1 )->requested_class();
1141             $_ = $';
1142
1143             local $last_type = 'CLASS';
1144         } elsif (/^\s*($required_re|$disallowed_re|$negated_re)?"([^"]+)"/) { # phrase, always anded
1145             warn '  'x$recursing.'Encountered' . ($1 ? " ['$1' modified]" : '') . " phrase: $2\n" if $self->debug;
1146
1147             my $req_ness = $1 || '';
1148             $req_ness = $disallowed_op if ($req_ness eq $negated_op);
1149             my $phrase = $2;
1150
1151             if (!$phrase_helper) {
1152                 warn '  'x$recursing."Recursing into decompose with the phrase as a subquery\n" if $self->debug;
1153                 my $after = $';
1154                 my ($substruct, $subremainder) = $self->decompose( qq/$req_ness"$phrase"/, $current_class, $recursing + 1, 1 );
1155                 $struct->add_node( $substruct ) if ($substruct);
1156                 $_ = $after;
1157             } else {
1158                 warn '  'x$recursing."Directly parsing the phrase subquery\n" if $self->debug;
1159                 $struct->joiner( '&' );
1160
1161                 my $class_node = $struct->classed_node($current_class);
1162
1163                 if ($req_ness eq $disallowed_op) {
1164                     $class_node->negate(1);
1165                 }
1166                 $class_node->add_phrase( $phrase );
1167
1168                 # Save $' before we clean up $phrase
1169                 my $temp_val = $';
1170
1171                 # Cleanup the phrase to make it so that we don't parse things in it as anything other than atoms
1172                 $phrase =~ s/$phrase_cleanup_re/ /g;
1173
1174                 $_ = $phrase . $temp_val;
1175
1176             }
1177
1178             local $last_type = '';
1179
1180         } elsif (/^\s*($required_re|$disallowed_re)([^${group_end}${float_end}\s"]+)/) { # convert require/disallow word to {un}phrase
1181             warn '  'x$recursing."Encountered required atom (mini phrase), transforming for phrase parse: $1\n" if $self->debug;
1182
1183             $_ = $1 . '"' . $2 . '"' . $';
1184
1185             local $last_type = '';
1186         } elsif (/^\s*([^${group_end}${float_end}\s]+)/o) { # atom
1187             warn '  'x$recursing."Encountered atom: $1\n" if $self->debug;
1188             warn '  'x$recursing."Remainder: $'\n" if $self->debug;
1189
1190             my $atom = $1;
1191             my $after = $';
1192
1193             $_ = $after;
1194             local $last_type = '';
1195
1196             my $class_node = $struct->classed_node($current_class);
1197
1198             my $prefix = ($atom =~ s/^$negated_re//o) ? '!' : '';
1199             my $truncate = ($atom =~ s/\*$//o) ? '*' : '';
1200
1201             if ($atom ne '' and !grep { $atom =~ /^\Q$_\E+$/ } ('&','|')) { # throw away & and |, not allowed in tsquery, and not really useful anyway
1202 #                $class_node->add_phrase( $atom ) if ($atom =~ s/^$required_re//o);
1203
1204                 $class_node->add_fts_atom( $atom, suffix => $truncate, prefix => $prefix, node => $class_node );
1205                 $struct->joiner( '&' );
1206             }
1207
1208             local $last_type = '';
1209         }
1210
1211         last unless ($_);
1212
1213     }
1214
1215     $struct = undef if
1216         scalar(@{$struct->query_nodes}) == 0 &&
1217         scalar(@{$struct->filters}) == 0 &&
1218         !$struct->top_plan;
1219
1220     return $struct if !wantarray;
1221     return ($struct, $remainder);
1222 }
1223
1224 =head2 find_class_index
1225
1226     $index = $QParser->find_class_index($class, $query);
1227 =cut
1228
1229 sub find_class_index {
1230     my $class = shift;
1231     my $query = shift;
1232
1233     my ($class_part, @field_parts) = split '\|', $class;
1234     $class_part ||= $class;
1235
1236     for my $idx ( 0 .. scalar(@$query) - 1 ) {
1237         next unless ref($$query[$idx]);
1238         return $idx if ( $$query[$idx]{requested_class} && $class eq $$query[$idx]{requested_class} );
1239     }
1240
1241     push(@$query, { classname => $class_part, (@field_parts ? (fields => \@field_parts) : ()), requested_class => $class, ftsquery => [], phrases => [] });
1242     return -1;
1243 }
1244
1245 =head2 core_limit
1246
1247     $limit = $QParser->core_limit([$limit]);
1248
1249 Return and/or set the core_limit.
1250 =cut
1251
1252 sub core_limit {
1253     my $self = shift;
1254     my $l = shift;
1255     $self->{core_limit} = $l if ($l);
1256     return $self->{core_limit};
1257 }
1258
1259 =head2 superpage
1260
1261     $superpage = $QParser->superpage([$superpage]);
1262
1263 Return and/or set the superpage.
1264 =cut
1265
1266 sub superpage {
1267     my $self = shift;
1268     my $l = shift;
1269     $self->{superpage} = $l if ($l);
1270     return $self->{superpage};
1271 }
1272
1273 =head2 superpage_size
1274
1275     $size = $QParser->superpage_size([$size]);
1276
1277 Return and/or set the superpage size.
1278 =cut
1279
1280 sub superpage_size {
1281     my $self = shift;
1282     my $l = shift;
1283     $self->{superpage_size} = $l if ($l);
1284     return $self->{superpage_size};
1285 }
1286
1287
1288 #-------------------------------
1289 package QueryParser::_util;
1290
1291 # At this level, joiners are always & or |.  This is not
1292 # the external, configurable representation of joiners that
1293 # defaults to # && and ||.
1294 sub is_joiner {
1295     my $str = shift;
1296
1297     return (not ref $str and ($str eq '&' or $str eq '|'));
1298 }
1299
1300 sub default_joiner { '&' }
1301
1302 # 0 for different, 1 for the same.
1303 sub compare_abstract_atoms {
1304     my ($left, $right) = @_;
1305
1306     foreach (qw/prefix suffix content/) {
1307         no warnings;    # undef can stand in for '' here
1308         return 0 unless $left->{$_} eq $right->{$_};
1309     }
1310
1311     return 1;
1312 }
1313
1314 sub fake_abstract_atom_from_phrase {
1315     my $phrase = shift;
1316     my $neg = shift;
1317     my $qp_class = shift || 'QueryParser';
1318
1319     my $prefix = '"';
1320     if ($neg) {
1321         $prefix =
1322             $QueryParser::parser_config{$qp_class}{operators}{disallowed} .
1323             $prefix;
1324     }
1325
1326     return {
1327         "type" => "atom", "prefix" => $prefix, "suffix" => '"',
1328         "content" => $phrase
1329     }
1330 }
1331
1332 sub find_arrays_in_abstract {
1333     my ($hash) = @_;
1334
1335     my @arrays;
1336     foreach my $key (keys %$hash) {
1337         if (ref $hash->{$key} eq "ARRAY") {
1338             push @arrays, $hash->{$key};
1339             foreach (@{$hash->{$key}}) {
1340                 push @arrays, find_arrays_in_abstract($_);
1341             }
1342         }
1343     }
1344
1345     return @arrays;
1346 }
1347
1348 #-------------------------------
1349 package QueryParser::Canonicalize;  # not OO
1350 use Data::Dumper;
1351
1352 sub _abstract_query2str_filter {
1353     my $f = shift;
1354     my $qp_class = shift || 'QueryParser';
1355     my $qpconfig = $QueryParser::parser_config{$qp_class};
1356
1357     return sprintf(
1358         '%s%s(%s)',
1359         $f->{negate} ? $qpconfig->{operators}{disallowed} : "",
1360         $f->{name},
1361         join(",", @{$f->{args}})
1362     );
1363 }
1364
1365 sub _abstract_query2str_modifier {
1366     my $f = shift;
1367     my $qp_class = shift || 'QueryParser';
1368     my $qpconfig = $QueryParser::parser_config{$qp_class};
1369
1370     return $qpconfig->{operators}{modifier} . $f;
1371 }
1372
1373 sub _kid_list {
1374     my $children = shift;
1375     my $op = (keys %$children)[0];
1376     return @{$$children{$op}};
1377 }
1378
1379
1380 # This should produce an equivalent query to the original, given an
1381 # abstract_query.
1382 sub abstract_query2str_impl {
1383     my $abstract_query  = shift;
1384     my $depth = shift || 0;
1385
1386     my $qp_class ||= shift || 'QueryParser';
1387     my $force_qp_node = shift || 0;
1388     my $qpconfig = $QueryParser::parser_config{$qp_class};
1389
1390     my $fs = $qpconfig->{operators}{float_start};
1391     my $fe = $qpconfig->{operators}{float_end};
1392     my $gs = $qpconfig->{operators}{group_start};
1393     my $ge = $qpconfig->{operators}{group_end};
1394     my $and = $qpconfig->{operators}{and};
1395     my $or = $qpconfig->{operators}{or};
1396     my $ng = $qpconfig->{operators}{negated};
1397
1398     my $isnode = 0;
1399     my $negate = '';
1400     my $size = 0;
1401     my $q = "";
1402
1403     if (exists $abstract_query->{type}) {
1404         if ($abstract_query->{type} eq 'query_plan') {
1405             $q .= join(" ", map { _abstract_query2str_filter($_, $qp_class) } @{$abstract_query->{filters}}) if
1406                 exists $abstract_query->{filters};
1407
1408             $q .= ($q ? ' ' : '') . join(" ", map { _abstract_query2str_modifier($_, $qp_class) } @{$abstract_query->{modifiers}}) if
1409                 exists $abstract_query->{modifiers};
1410
1411             $size = _kid_list($abstract_query->{children});
1412             if ($abstract_query->{negate}) {
1413                 $isnode = 1;
1414                 $negate = $ng;
1415             }
1416             $isnode = 1 if ($size > 1 and ($force_qp_node or $depth));
1417             #warn "size: $size, depth: $depth, isnode: $isnode, AQ: ".Dumper($abstract_query);
1418         } elsif ($abstract_query->{type} eq 'node') {
1419             if ($abstract_query->{alias}) {
1420                 $q .= ($q ? ' ' : '') . $abstract_query->{alias};
1421                 $q .= "|$_" foreach @{$abstract_query->{alias_fields}};
1422             } else {
1423                 $q .= ($q ? ' ' : '') . $abstract_query->{class};
1424                 $q .= "|$_" foreach @{$abstract_query->{fields}};
1425             }
1426             $q .= ":";
1427             $isnode = 1;
1428         } elsif ($abstract_query->{type} eq 'atom') {
1429             my $prefix = $abstract_query->{prefix} || '';
1430             $prefix = $qpconfig->{operators}{negated} if $prefix eq '!';
1431             $q .= ($q ? ' ' : '') . $prefix .
1432                 ($abstract_query->{content} || '') .
1433                 ($abstract_query->{suffix} || '');
1434         } elsif ($abstract_query->{type} eq 'facet') {
1435             # facet syntax [ # ] is hardcoded I guess?
1436             my $prefix = $abstract_query->{negate} ? $qpconfig->{operators}{disallowed} : '';
1437             $q .= ($q ? ' ' : '') . $prefix . $abstract_query->{name} . "[" .
1438                 join(" # ", @{$abstract_query->{values}}) . "]";
1439         }
1440     }
1441
1442     my $next_depth = int($size > 1);
1443
1444     if (exists $abstract_query->{children}) {
1445
1446         my $op = (keys(%{$abstract_query->{children}}))[0];
1447
1448         if ($abstract_query->{floating}) { # always the top node!
1449             my $sub_node = pop @{$abstract_query->{children}{$op}};
1450
1451             $abstract_query->{floating} = 0;
1452             $q = $fs . " " . abstract_query2str_impl($abstract_query,0,$qp_class, 1) . $fe. " ";
1453
1454             $abstract_query = $sub_node;
1455         }
1456
1457         if ($abstract_query && exists $abstract_query->{children}) {
1458             $op = (keys(%{$abstract_query->{children}}))[0];
1459             $q .= ($q ? ' ' : '') . join(
1460                 ($op eq '&' ? ' ' : " $or "),
1461                 map {
1462                     my $x = abstract_query2str_impl($_, $depth + $next_depth, $qp_class, $force_qp_node); $x =~ s/^\s+//; $x =~ s/\s+$//; $x;
1463                 } @{$abstract_query->{children}{$op}}
1464             );
1465         }
1466     } elsif ($abstract_query->{'&'} or $abstract_query->{'|'}) {
1467         my $op = (keys(%{$abstract_query}))[0];
1468         $q .= ($q ? ' ' : '') . join(
1469             ($op eq '&' ? ' ' : " $or "),
1470             map {
1471                     my $x = abstract_query2str_impl($_, $depth + $next_depth, $qp_class, $force_qp_node); $x =~ s/^\s+//; $x =~ s/\s+$//; $x;
1472             } @{$abstract_query->{$op}}
1473         );
1474     }
1475
1476     $q = "$gs$q$ge" if ($isnode);
1477     $q = $negate . $q if ($q);;
1478
1479     return $q;
1480 }
1481
1482 #-------------------------------
1483 package QueryParser::query_plan;
1484
1485 sub QueryParser {
1486     my $self = shift;
1487     return undef unless ref($self);
1488     return $self->{QueryParser};
1489 }
1490
1491 sub new {
1492     my $pkg = shift;
1493     $pkg = ref($pkg) || $pkg;
1494     my %args = (query => [], joiner => '&', @_);
1495
1496     return bless \%args => $pkg;
1497 }
1498
1499 sub new_node {
1500     my $self = shift;
1501     my $pkg = ref($self) || $self;
1502     my $node = do{$pkg.'::node'}->new( plan => $self, @_ );
1503     $self->add_node( $node );
1504     return $node;
1505 }
1506
1507 sub new_facet {
1508     my $self = shift;
1509     my $pkg = ref($self) || $self;
1510     my $name = shift;
1511     my $args = shift;
1512     my $negate = shift;
1513
1514     my $node = do{$pkg.'::facet'}->new( plan => $self, name => $name, 'values' => $args, negate => $negate );
1515     $self->add_node( $node );
1516
1517     return $node;
1518 }
1519
1520 sub new_filter {
1521     my $self = shift;
1522     my $pkg = ref($self) || $self;
1523     my $name = shift;
1524     my $args = shift;
1525     my $negate = shift;
1526
1527     my $node = do{$pkg.'::filter'}->new( plan => $self, name => $name, args => $args, negate => $negate );
1528     $self->add_filter( $node );
1529
1530     return $node;
1531 }
1532
1533
1534 sub _merge_filters {
1535     my $left_filter = shift;
1536     my $right_filter = shift;
1537     my $join = shift;
1538
1539     return undef unless $left_filter or $right_filter;
1540     return $right_filter unless $left_filter;
1541     return $left_filter unless $right_filter;
1542
1543     my $args = $left_filter->{args} || [];
1544
1545     if ($join eq '|') {
1546         push(@$args, @{$right_filter->{args}});
1547
1548     } else {
1549         # find the intersect values
1550         my %new_vals;
1551         map { $new_vals{$_} = 1 } @{$right_filter->{args} || []};
1552         $args = [ grep { $new_vals{$_} } @$args ];
1553     }
1554
1555     $left_filter->{args} = $args;
1556     return $left_filter;
1557 }
1558
1559 sub collapse_filters {
1560     my $self = shift;
1561     my $name = shift;
1562
1563     # start by merging any filters at this level.
1564     # like-level filters are always ORed together
1565
1566     my $cur_filter;
1567     my @cur_filters = grep {$_->name eq $name } @{ $self->filters };
1568     if (@cur_filters) {
1569         $cur_filter = shift @cur_filters;
1570         my $args = $cur_filter->{args} || [];
1571         $cur_filter = _merge_filters($cur_filter, $_, '|') for @cur_filters;
1572     }
1573
1574     # next gather the collapsed filters from sub-plans and
1575     # merge them with our own
1576
1577     my @subquery = @{$self->{query}};
1578
1579     while (@subquery) {
1580         my $blob = shift @subquery;
1581         shift @subquery; # joiner
1582         next unless $blob->isa('QueryParser::query_plan');
1583         my $sub_filter = $blob->collapse_filters($name);
1584         $cur_filter = _merge_filters($cur_filter, $sub_filter, $self->joiner);
1585     }
1586
1587     if ($self->QueryParser->debug) {
1588         my @args = ($cur_filter and $cur_filter->{args}) ? @{$cur_filter->{args}} : ();
1589         warn "collapse_filters($name) => [@args]\n";
1590     }
1591
1592     return $cur_filter;
1593 }
1594
1595 sub find_filter {
1596     my $self = shift;
1597     my $needle = shift;;
1598     return undef unless ($needle);
1599
1600     my $filter = $self->collapse_filters($needle);
1601
1602     warn "find_filter($needle) => " .
1603         (($filter and $filter->{args}) ? "@{$filter->{args}}" : '[]') . "\n"
1604         if $self->QueryParser->debug;
1605
1606     return $filter ? ($filter) : ();
1607 }
1608
1609 sub find_modifier {
1610     my $self = shift;
1611     my $needle = shift;;
1612     return undef unless ($needle);
1613     return grep { $_->name eq $needle } @{ $self->modifiers };
1614 }
1615
1616 sub new_modifier {
1617     my $self = shift;
1618     my $pkg = ref($self) || $self;
1619     my $name = shift;
1620
1621     my $node = do{$pkg.'::modifier'}->new( $name );
1622     $self->add_modifier( $node );
1623
1624     return $node;
1625 }
1626
1627 sub classed_node {
1628     my $self = shift;
1629     my $requested_class = shift;
1630
1631     my $node;
1632     for my $n (@{$self->{query}}) {
1633         next unless (ref($n) && $n->isa( 'QueryParser::query_plan::node' ));
1634         if ($n->requested_class eq $requested_class) {
1635             $node = $n;
1636             last;
1637         }
1638     }
1639
1640     if (!$node) {
1641         $node = $self->new_node;
1642         $node->requested_class( $requested_class );
1643     }
1644
1645     return $node;
1646 }
1647
1648 sub remove_last_node {
1649     my $self = shift;
1650     my $requested_class = shift;
1651
1652     my $old = pop(@{$self->query_nodes});
1653     pop(@{$self->query_nodes}) if (@{$self->query_nodes});
1654
1655     return $old;
1656 }
1657
1658 sub query_nodes {
1659     my $self = shift;
1660     return $self->{query};
1661 }
1662
1663 sub floating {
1664     my $self = shift;
1665     my $f = shift;
1666     $self->{floating} = $f if (defined $f);
1667     return $self->{floating};
1668 }
1669
1670 sub add_node {
1671     my $self = shift;
1672     my $node = shift;
1673
1674     $self->{query} ||= [];
1675     push(@{$self->{query}}, $self->joiner) if (@{$self->{query}});
1676     push(@{$self->{query}}, $node);
1677
1678     return $self;
1679 }
1680
1681 sub top_plan {
1682     my $self = shift;
1683
1684     return $self->{level} ? 0 : 1;
1685 }
1686
1687 sub plan_level {
1688     my $self = shift;
1689     my $level = shift;
1690
1691     if (defined $level) {
1692         $self->{level} = $level;
1693         for (@{$self->query_nodes}) {
1694             $_->plan_level($level + 1) if (ref and $_->isa('QueryParser::query_plan'));
1695         }
1696     }
1697
1698     return $self->{level};
1699 }
1700
1701 sub joiner {
1702     my $self = shift;
1703     my $joiner = shift;
1704
1705     $self->{joiner} = $joiner if ($joiner);
1706     return $self->{joiner};
1707 }
1708
1709 sub modifiers {
1710     my $self = shift;
1711     $self->{modifiers} ||= [];
1712     return $self->{modifiers};
1713 }
1714
1715 sub add_modifier {
1716     my $self = shift;
1717     my $modifier = shift;
1718
1719     $self->{modifiers} ||= [];
1720     $self->{modifiers} = [ grep {$_->name ne $modifier->name} @{$self->{modifiers}} ];
1721
1722     push(@{$self->{modifiers}}, $modifier);
1723
1724     return $self;
1725 }
1726
1727 sub facets {
1728     my $self = shift;
1729     $self->{facets} ||= [];
1730     return $self->{facets};
1731 }
1732
1733 sub add_facet {
1734     my $self = shift;
1735     my $facet = shift;
1736
1737     $self->{facets} ||= [];
1738     $self->{facets} = [ grep {$_->name ne $facet->name} @{$self->{facets}} ];
1739
1740     push(@{$self->{facets}}, $facet);
1741
1742     return $self;
1743 }
1744
1745 sub filters {
1746     my $self = shift;
1747     $self->{filters} ||= [];
1748     return $self->{filters};
1749 }
1750
1751 sub add_filter {
1752     my $self = shift;
1753     my $filter = shift;
1754
1755     $self->{filters} ||= [];
1756
1757     push(@{$self->{filters}}, $filter);
1758
1759     return $self;
1760 }
1761
1762 sub negate {
1763     my $self = shift;
1764     my $negate = shift;
1765
1766     $self->{negate} = $negate if (defined $negate);
1767
1768     return $self->{negate};
1769 }
1770
1771 # %opts supports two options at this time:
1772 #   no_phrases :
1773 #       If true, do not do anything to the phrases
1774 #       fields on any discovered nodes.
1775 #   with_config :
1776 #       If true, also return the query parser config as part of the blob.
1777 #       This will get set back to 0 before recursion to avoid repetition.
1778 sub to_abstract_query {
1779     my $self = shift;
1780     my %opts = @_;
1781
1782     my $pkg = ref $self->QueryParser || $self->QueryParser;
1783
1784     my $abstract_query = {
1785         type => "query_plan",
1786         floating => $self->floating,
1787         level => $self->plan_level,
1788         filters => [map { $_->to_abstract_query } @{$self->filters}],
1789         modifiers => [map { $_->to_abstract_query } @{$self->modifiers}],
1790         negate => $self->negate
1791     };
1792
1793     if ($opts{with_config}) {
1794         $opts{with_config} = 0;
1795         $abstract_query->{config} = $QueryParser::parser_config{$pkg};
1796     }
1797
1798     my $kids = [];
1799
1800     for my $qnode (@{$self->query_nodes}) {
1801         # Remember: qnode can be a joiner string, a node, or another query_plan
1802
1803         if (QueryParser::_util::is_joiner($qnode)) {
1804             if ($abstract_query->{children}) {
1805                 my $open_joiner = (keys(%{$abstract_query->{children}}))[0];
1806                 next if $open_joiner eq $qnode;
1807
1808                 my $oldroot = $abstract_query->{children};
1809                 $kids = [$oldroot];
1810                 $abstract_query->{children} = {$qnode => $kids};
1811             } else {
1812                 $abstract_query->{children} = {$qnode => $kids};
1813             }
1814         } else {
1815             push @$kids, $qnode->to_abstract_query(%opts);
1816         }
1817     }
1818
1819     $abstract_query->{children} ||= { QueryParser::_util::default_joiner() => $kids };
1820     return $abstract_query;
1821 }
1822
1823
1824 #-------------------------------
1825 package QueryParser::query_plan::node;
1826 use Data::Dumper;
1827 $Data::Dumper::Indent = 0;
1828
1829 sub new {
1830     my $pkg = shift;
1831     $pkg = ref($pkg) || $pkg;
1832     my %args = @_;
1833
1834     return bless \%args => $pkg;
1835 }
1836
1837 sub new_atom {
1838     my $self = shift;
1839     my $pkg = ref($self) || $self;
1840     return do{$pkg.'::atom'}->new( @_ );
1841 }
1842
1843 sub requested_class { # also split into classname, fields and alias
1844     my $self = shift;
1845     my $class = shift;
1846
1847     if ($class) {
1848         my @afields;
1849         my (undef, $alias) = split '#', $class;
1850         if ($alias) {
1851             $class =~ s/#[^|]+//;
1852             ($alias, @afields) = split '\|', $alias;
1853         }
1854
1855         my @fields = @afields;
1856         my ($class_part, @field_parts) = split '\|', $class;
1857         for my $f (@field_parts) {
1858              push(@fields, $f) unless (grep { $f eq $_ } @fields);
1859         }
1860
1861         $class_part ||= $class;
1862
1863         $self->{requested_class} = $class;
1864         $self->{alias} = $alias if $alias;
1865         $self->{alias_fields} = \@afields if $alias;
1866         $self->{classname} = $class_part;
1867         $self->{fields} = \@fields;
1868     }
1869
1870     return $self->{requested_class};
1871 }
1872
1873 sub plan {
1874     my $self = shift;
1875     my $plan = shift;
1876
1877     $self->{plan} = $plan if ($plan);
1878     return $self->{plan};
1879 }
1880
1881 sub alias {
1882     my $self = shift;
1883     my $alias = shift;
1884
1885     $self->{alias} = $alias if ($alias);
1886     return $self->{alias};
1887 }
1888
1889 sub alias_fields {
1890     my $self = shift;
1891     my $alias = shift;
1892
1893     $self->{alias_fields} = $alias if ($alias);
1894     return $self->{alias_fields};
1895 }
1896
1897 sub classname {
1898     my $self = shift;
1899     my $class = shift;
1900
1901     $self->{classname} = $class if ($class);
1902     return $self->{classname};
1903 }
1904
1905 sub fields {
1906     my $self = shift;
1907     my @fields = @_;
1908
1909     $self->{fields} ||= [];
1910     $self->{fields} = \@fields if (@fields);
1911     return $self->{fields};
1912 }
1913
1914 sub phrases {
1915     my $self = shift;
1916     my @phrases = @_;
1917
1918     $self->{phrases} ||= [];
1919     $self->{phrases} = \@phrases if (@phrases);
1920     return $self->{phrases};
1921 }
1922
1923 sub add_phrase {
1924     my $self = shift;
1925     my $phrase = shift;
1926
1927     push(@{$self->phrases}, $phrase);
1928
1929     return $self;
1930 }
1931
1932 sub negate {
1933     my $self = shift;
1934     my $negate = shift;
1935
1936     $self->{negate} = $negate if (defined $negate);
1937
1938     return $self->{negate};
1939 }
1940
1941 sub query_atoms {
1942     my $self = shift;
1943     my @query_atoms = @_;
1944
1945     $self->{query_atoms} ||= [];
1946     $self->{query_atoms} = \@query_atoms if (@query_atoms);
1947     return $self->{query_atoms};
1948 }
1949
1950 sub add_fts_atom {
1951     my $self = shift;
1952     my $atom = shift;
1953
1954     if (!ref($atom)) {
1955         my $content = $atom;
1956         my @parts = @_;
1957
1958         $atom = $self->new_atom( content => $content, @parts );
1959     }
1960
1961     push(@{$self->query_atoms}, $self->plan->joiner) if (@{$self->query_atoms});
1962     push(@{$self->query_atoms}, $atom);
1963
1964     return $self;
1965 }
1966
1967 sub add_dummy_atom {
1968     my $self = shift;
1969     my @parts = @_;
1970
1971     my $atom = $self->new_atom( @parts, dummy => 1 );
1972
1973     push(@{$self->query_atoms}, $self->plan->joiner) if (@{$self->query_atoms});
1974     push(@{$self->query_atoms}, $atom);
1975
1976     return $self;
1977 }
1978
1979 # This will find up to one occurence of @$short_list within @$long_list, and
1980 # replace it with the single atom $replacement.
1981 sub replace_phrase_in_abstract_query {
1982     my ($self, $short_list, $long_list, $replacement) = @_;
1983
1984     my $success = 0;
1985     my @already = ();
1986     my $goal = scalar @$short_list;
1987
1988     for (my $i = 0; $i < scalar (@$long_list); $i++) {
1989         my $right = $long_list->[$i];
1990
1991         if (QueryParser::_util::compare_abstract_atoms(
1992             $short_list->[scalar @already], $right
1993         )) {
1994             push @already, $i;
1995         } elsif (scalar @already) {
1996             @already = ();
1997             next;
1998         }
1999
2000         if (scalar @already == $goal) {
2001             splice @$long_list, $already[0], scalar(@already), $replacement;
2002             $success = 1;
2003             last;
2004         }
2005     }
2006
2007     return $success;
2008 }
2009
2010 sub to_abstract_query {
2011     my $self = shift;
2012     my %opts = @_;
2013
2014     my $pkg = ref $self->plan->QueryParser || $self->plan->QueryParser;
2015
2016     my $abstract_query = {
2017         "type" => "node",
2018         "alias" => $self->alias,
2019         "alias_fields" => $self->alias_fields,
2020         "class" => $self->classname,
2021         "fields" => $self->fields
2022     };
2023
2024     my $kids = [];
2025
2026     for my $qatom (@{$self->query_atoms}) {
2027         if (QueryParser::_util::is_joiner($qatom)) {
2028             if ($abstract_query->{children}) {
2029                 my $open_joiner = (keys(%{$abstract_query->{children}}))[0];
2030                 next if $open_joiner eq $qatom;
2031
2032                 my $oldroot = $abstract_query->{children};
2033                 $kids = [$oldroot];
2034                 $abstract_query->{children} = {$qatom => $kids};
2035             } else {
2036                 $abstract_query->{children} = {$qatom => $kids};
2037             }
2038         } else {
2039             push @$kids, $qatom->to_abstract_query;
2040         }
2041     }
2042
2043     $abstract_query->{children} ||= { QueryParser::_util::default_joiner() => $kids };
2044
2045     if ($self->{phrases} and not $opts{no_phrases}) {
2046         for my $phrase (@{$self->{phrases}}) {
2047             # Phrases appear duplication in a real QP tree, and we don't want
2048             # that duplication in our abstract query.  So for all our phrases,
2049             # break them into atoms as QP would, and remove any matching
2050             # sequences of atoms from our abstract query.
2051
2052             my $tmp_prefix = '';
2053             $tmp_prefix = $QueryParser::parser_config{$pkg}{operators}{disallowed} if ($self->{negate});
2054
2055             my $tmptree = $self->{plan}->{QueryParser}->new(query => $tmp_prefix.'"'.$phrase.'"')->parse->parse_tree;
2056             if ($tmptree) {
2057                 # For a well-behaved phrase, we should now have only one node
2058                 # in the $tmptree query plan, and that node should have an
2059                 # orderly list of atoms and joiners.
2060
2061                 if ($tmptree->{query} and scalar(@{$tmptree->{query}}) == 1) {
2062                     my $tmplist;
2063
2064                     eval {
2065                         $tmplist = $tmptree->{query}->[0]->to_abstract_query(
2066                             no_phrases => 1
2067                         )->{children}->{'&'}->[0]->{children}->{'&'};
2068                     };
2069                     next if $@;
2070
2071                     foreach (
2072                         QueryParser::_util::find_arrays_in_abstract($abstract_query->{children})
2073                     ) {
2074                         last if $self->replace_phrase_in_abstract_query(
2075                             $tmplist,
2076                             $_,
2077                             QueryParser::_util::fake_abstract_atom_from_phrase($phrase, $self->{negate}, $pkg)
2078                         );
2079                     }
2080                 }
2081             }
2082         }
2083     }
2084
2085     $abstract_query->{children} ||= { QueryParser::_util::default_joiner() => $kids };
2086     return $abstract_query;
2087 }
2088
2089 #-------------------------------
2090 package QueryParser::query_plan::node::atom;
2091
2092 sub new {
2093     my $pkg = shift;
2094     $pkg = ref($pkg) || $pkg;
2095     my %args = @_;
2096
2097     return bless \%args => $pkg;
2098 }
2099
2100 sub node {
2101     my $self = shift;
2102     return undef unless (ref $self);
2103     return $self->{node};
2104 }
2105
2106 sub content {
2107     my $self = shift;
2108     return undef unless (ref $self);
2109     return $self->{content};
2110 }
2111
2112 sub prefix {
2113     my $self = shift;
2114     return undef unless (ref $self);
2115     return $self->{prefix};
2116 }
2117
2118 sub suffix {
2119     my $self = shift;
2120     return undef unless (ref $self);
2121     return $self->{suffix};
2122 }
2123
2124 sub to_abstract_query {
2125     my ($self) = @_;
2126
2127     return {
2128         (map { $_ => $self->$_ } qw/prefix suffix content/),
2129         "type" => "atom"
2130     };
2131 }
2132 #-------------------------------
2133 package QueryParser::query_plan::filter;
2134
2135 sub new {
2136     my $pkg = shift;
2137     $pkg = ref($pkg) || $pkg;
2138     my %args = @_;
2139
2140     return bless \%args => $pkg;
2141 }
2142
2143 sub plan {
2144     my $self = shift;
2145     return $self->{plan};
2146 }
2147
2148 sub name {
2149     my $self = shift;
2150     return $self->{name};
2151 }
2152
2153 sub negate {
2154     my $self = shift;
2155     return $self->{negate};
2156 }
2157
2158 sub args {
2159     my $self = shift;
2160     return $self->{args};
2161 }
2162
2163 sub to_abstract_query {
2164     my ($self) = @_;
2165
2166     return {
2167         map { $_ => $self->$_ } qw/name negate args/
2168     };
2169 }
2170
2171 #-------------------------------
2172 package QueryParser::query_plan::facet;
2173
2174 sub new {
2175     my $pkg = shift;
2176     $pkg = ref($pkg) || $pkg;
2177     my %args = @_;
2178
2179     return bless \%args => $pkg;
2180 }
2181
2182 sub plan {
2183     my $self = shift;
2184     return $self->{plan};
2185 }
2186
2187 sub name {
2188     my $self = shift;
2189     return $self->{name};
2190 }
2191
2192 sub negate {
2193     my $self = shift;
2194     return $self->{negate};
2195 }
2196
2197 sub values {
2198     my $self = shift;
2199     return $self->{'values'};
2200 }
2201
2202 sub to_abstract_query {
2203     my ($self) = @_;
2204
2205     return {
2206         (map { $_ => $self->$_ } qw/name negate values/),
2207         "type" => "facet"
2208     };
2209 }
2210
2211 #-------------------------------
2212 package QueryParser::query_plan::modifier;
2213
2214 sub new {
2215     my $pkg = shift;
2216     $pkg = ref($pkg) || $pkg;
2217     my $modifier = shift;
2218     my $negate = shift;
2219
2220     return bless { name => $modifier, negate => $negate } => $pkg;
2221 }
2222
2223 sub name {
2224     my $self = shift;
2225     return $self->{name};
2226 }
2227
2228 sub negate {
2229     my $self = shift;
2230     return $self->{negate};
2231 }
2232
2233 sub to_abstract_query {
2234     my ($self) = @_;
2235
2236     return $self->name;
2237 }
2238 1;
2239