Slightly rename release notes to follow existing convention
[Evergreen.git] / docs / RELEASE_NOTES_3_0.adoc
1 Evergreen 3.0 Release Notes
2 ===========================
3 :toc:
4 :numbered:
5
6 Upgrade notes
7 -------------
8
9 The minimum version of PostgreSQL required to run Evergreen 3.0 is PostgreSQL 9.4.
10
11 Deprecation of XUL staff client
12 -------------------------------
13 Starting with the release of 3.0.0, patches that fix XUL bugs will not
14 be merged into master or backported unless they meet one or more of
15 the following conditions:
16
17 a. the bug is a security issue
18 b. the bug involves the destruction of data
19 c. the bug is a regression of functionality in the XUL staff client
20    introduced by other work done to Evergreen
21
22 Under no circumstances will XUL staff client feature enhancements be merged.
23
24 This policy will continue through the 3.0.x and 3.1.x maintenance
25 release cycles, and will become moot upon the release of 3.2.0, when
26 the XUL staff client is slated to be entirely removed.
27
28
29 New Features
30 ------------
31
32
33
34 Administration
35 ~~~~~~~~~~~~~~
36
37
38
39 New EDI Order Generator 
40 ^^^^^^^^^^^^^^^^^^^^^^^
41
42 Configuration
43 +++++++++++++
44
45 . New database tables exist for configuring vendor-specific EDI order 
46 attributes.
47
48  * acq.edi_attr 
49   ** List of EDI order generation toggles, e.g. "INCLUDE_COPIES" to add 
50      GIR segments
51  * acq.edi_attr_set
52   ** Collection of edi_attr's.  Each edi_account may be linked to one
53      edi_attr_set.
54   ** One edi_attr_set per known vendor is added to the stock data, matching
55      the stock configuration found in the JEDI template.
56  * acq.edi_attr_set_map
57   ** Link between edi_attr's and edi_attr_set's.
58
59 . EDI Attribute Sets are manged via a new (browser client only) configuration
60   interface at Administration -> Acquisitions Administration -> EDI
61   Attribute Sets.
62
63 . Each acq.edi_account should be linked to an acq.edi_attr_set.  If a link 
64   is not set, default values will be used.  Links between an EDI account
65   and an attribute set are managed in the EDI Accounts configuration 
66   interface.
67
68 . Local modifications to the stock EG JEDI template are managed by modifying
69   and/or adding additional edi_att_set's as needed.
70
71 . A new edi_order_pusher.pl script is added which replaces the functionality
72   of edi_pusher.pl.  edi_pusher.pl is still available.
73
74 . After moving to edi_order_pusher.pl, the JEDI Action/Trigger event
75   definition is no longer required.  It can be disabled.
76
77 Migration
78 +++++++++
79
80 EDI accounts have a new boolean field "Use EDI Attributes" (use_attrs) that 
81 specifies whether PO's generated via the account should be built using 
82 EDI attributes or fall back to traditional JEDI A/T template generation.
83
84 This allows sites to activate EDI attributes on a per-account basis, making 
85 it possible to migrate piecemeal to EDI attributes.  For the initial roll
86 out of this new features, no accounts will be configured to use EDI 
87 attributes by default.  
88
89
90
91
92
93 3 Day Courtesy Notice by SMS
94 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
95 New optional SMS text notification to be sent out 3 days prior to the due
96 date of any circulating item for patrons who have an SMS text number and
97 carrier stored in their accounts. This action trigger is disabled by default,
98 but can be enabled and modified by going into Admin > Local Administration >
99 Notifications / Action Triggers.
100
101 You may wish to make use of granularity so that these messages are batched
102 and sent at the same time each day.
103
104
105
106
107 Add Description Field to Circulation and Hold Configuration Entries
108 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
109 The circulation and hold policy configuration rules now each have a
110 description field. This allows administrators to add comments to
111 describe the purpose of each rule.
112
113
114
115
116 Apache Internal Port Configuration Option
117 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
118 Apache configuration now supports a new variable which allows admins to
119 specify the port used by Apache to handle HTTP traffic.  The value is
120 used for HTTP requests routed from Perl handlers back to the same Apache
121 instance, like added content requests.  Use this when running Apache
122 with a non-standard port, typical with a proxy setup.  Defaults to "80".
123
124 [source,conf]
125 -------------------------------------------------------------------
126 <Location /eg>
127     ...
128     PerlSetVar OILSWebInternalHTTPPort "7080"
129     ...
130 </Location>
131 -------------------------------------------------------------------
132
133
134
135
136 Configurable Bib Record Display Fields
137 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
138
139 Admin -> Server Admin -> 'MARC Search/Facet Fields' have 2 new configuration 
140 fields: 'Display Field?' and 'Display XPATH'.
141
142 When 'Display Field' is set to true, data from the field will be extracted
143 from each record and added to a new table of display data for each bib 
144 record.  
145
146 If a value is present in the 'Display XPATH' field, this XPATH will be
147 applied to the extracted data *after* the base XPATH (from the 'XPath' 
148 field) is applied to each field.
149
150 This data acts as a replacement for the various and sundry ways bib record 
151 data is currently extracted, including inline XPATH in the TPAC, reporter 
152 views, real-time 'MVR' compilation from MODS, etc. and will be available
153 to the user interface, notification templates, etc. for rendering bib 
154 records.  
155
156 The browser client gets a new service 'egBibDisplay' which is capable
157 of translating the display field data from various formats into 
158 data more suitable for JavaScript usage.
159
160 The database gets 3 new views for representing display data in various
161 formats:
162
163  * metabib.flat_display_entry
164   ** List of all display fields linked to their configuration.
165  * metabib.compressed_display_entry
166   ** Same as metabib.flat_display_entry except there's one row
167      per display field type, with 'multi' rows compressed into
168      JSON arrays.  Non-multi fields are represented as JSON 
169      strings/numbers.
170  * metabib.wide_display_entry
171   ** Tabular view of display field data, one column per well-known
172      field.  Values are represented JSON, consistent with 
173      metabib.flat_display_entry.  The view does *not* contain locally
174      configured display fields, as each field must be encoded in
175      the view and IDL definition.  This is essentially a replacement 
176      for reporter.simple_record.
177
178 Reingesting
179 +++++++++++
180
181 After making changes to display field configuration, it's possible to 
182 reingest only display field data in the database using the following:
183
184 [source,sql]
185 ---------------------------------------------------------------------
186 SELECT metabib.reingest_metabib_field_entries(id, TRUE, FALSE, TRUE, TRUE, 
187   (SELECT ARRAY_AGG(id)::INT[] FROM config.metabib_field WHERE display_field))
188   FROM biblio.record_entry WHERE NOT deleted AND id > 0;
189 ---------------------------------------------------------------------
190
191
192
193
194
195 Fix COPY_STATUS_LONGOVERDUE.override Permission Typo
196 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
197 The existing permission was incorrectly created with a code of
198 COPY_STATUS_LONGOVERDUE.override, while the event thrown requires a
199 permission with a code of COPY_STATUS_LONG_OVERDUE.override.  This
200 update changes the permission code to match what the event requires.
201
202
203
204
205
206 Hold Targeter V2 Repairs and Improvements
207 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
208 * Make the batch targeter more resilient to a single-hold failure.
209 * Additional batch targeter info logging.
210 * Set OSRF_LOG_CLIENT in hold_targeter_v2.pl for log tracing
211 * Removes the confusingly named --target-all option
212  ** The same behavior can be achieved by using --retarget-interval "0s"
213 * Removes --skip-viable (see --soft-retarget-interval below)
214
215 New --next-check-interval Option
216 ++++++++++++++++++++++++++++++++
217 Specify how long after the current run time the targeter will retarget
218 the currently affected holds. Applying a specific interval is useful
219 when the retarget-interval is shorter than the time between targeter
220 runs.
221
222 For example, if the targeter is run nightly at midnight with a
223 --retarget-interval 36h, you would set --next-check-interval to 48hr,
224 since the holds won't be processed again until 48 hours later. This
225 ensures that the org unit closed date checks are looking at the correct
226 date. 
227
228 This setting overrides the default behavior of calculating the next 
229 retarget time from the retarget-interval.
230
231 New --soft-retarget-interval Option
232 +++++++++++++++++++++++++++++++++++
233 This is a replacement for (and rebranding of) the --skip-viable option. 
234 The new option allows for time-based soft-targeting instead simple binary 
235 on/off soft-targeting.
236
237 How soft-targeting works:
238 * Update hold copy maps for all affected holds
239 * Holds with viable targets (on the pull list) are otherwise left alone.
240 * Holds without viable targets are retargeted in the usual manner. 
241
242
243
244
245
246 New marc_export --descendants option
247 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
248
249 The marc_export script has a new option, --descendants.  This option
250 takes one argument of an organizational unit shortname.  It works much
251 like the existing --library option except that it is aware of the
252 org. tree and will export records with holdings at the specified
253 organizational unit and all of its descendants.  This is handy if you
254 want to export the records for all of the branches of a system.  You
255 can do that by specifying this option and the system's shortname,
256 instead of specifying multiple --library options for each branch.
257
258 The --descendants option can be repeated, as the --library option can.
259 All of the specified org. units and their descendants will be included
260 in the output.  It can also be combined with individual --library
261 options when necessary.
262
263
264
265
266 RTL and LTR Public Catalog Stylesheets Merged
267 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
268 The RTL stylesheet for the public catalog,
269 `templates/opac/css/style-rtl.css.tt2`, has been merged into the LTR
270 one (`templates/opac/css/style.css.tt2`). The combined stylesheet
271 template will provide RTL or LTR styles based on the value of
272 the `rtl` flag of the active locale. An `rtl` variable is also available
273 in the template to allow the correct style to be chosen.
274
275 Upgrade notes
276 +++++++++++++
277 Administrators of Evergreen who use RTL locales and who have customized
278 `style-rtl.css.tt2` should now incorporate their customizations into
279 `style.css.tt2`.
280
281
282
283
284 Miscellaneous Improvements
285 ^^^^^^^^^^^^^^^^^^^^^^^^^^
286
287  * If a filter is in effect in the Library Settings Editor,
288    the filter will continue to be applied after a user 
289    changes the selected library.
290  * Copy templates used for serials now correct link to age
291    protection rules and MARC item type values (for the
292    "Circ as Type" field). During upgrade, the database update
293    will set to NULL any age protection and circ as type fields
294    in serial copy templates that do not point to defined values.
295
296
297
298
299 Obsolete Internal Flag Removed
300 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
301
302 An obsolete, and unused, ingest.disable_metabib_field_entry internal
303 flag was removed from the config.internal_flags table.  It was
304 rendered obsolete by the addition of the 3 flags to control the
305 browse, search, and facet indexing.
306
307
308
309
310 Tweaks to Caching/Expiry of Public Catalog Assets
311 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
312 The default cache expiration time for static assets (e.g.,
313 CSS, image, and JavaScript files) in the public catalog and
314 the Kid's PAC has been increased to one year. Links to all
315 such assets now have a cache-busting value tacked on as a
316 query parameter. This value is refreshed when `autogen.sh` is
317 run, but it can also be manually set by adjusting the
318 `ctx.cache_key` Template Toolkit variable.
319
320
321
322
323 Action/Trigger Events Data Purging
324 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
325
326 Action/Trigger event definitions have a new field called "Retention 
327 Interval".  When an optional interval value is applied, events and
328 template output data linked to the event definition will be deleted
329 from the database once they reach the specified age.
330
331 Retention Interval Restrictions for Passive Hooks
332 +++++++++++++++++++++++++++++++++++++++++++++++++
333
334 Restrictions are placed on retention interval values for event definitions
335 using passive hooks to prevent data from being deleted while it's still
336 needed by the system.
337
338 The presence of event data is how the system knows not to send duplicate
339 events.  As long as a scenario exists where a duplicate event may be
340 generated, the events must be retained.
341
342 To apply a retention interval value to a passive-hook event definition:
343
344  * The event definition must have a max_delay value.
345  * The retention interval must be larger than the difference between
346    the delay and max_delay values.
347
348 For example, if the delay is 7 days and max_delay is 10 days, the retention
349 interval must be greater than 3 days to ensure no duplicate events are 
350 created between the first event on day 7 and the end of the event validity
351 window on day 10.
352
353 Deployment
354 ++++++++++
355
356 A new purge_at_events.sh script is installed in the bin directory
357 (typically /openils/bin) which should be added to CRON for regular
358 maintenance.
359
360 NOTE: On large data sets, this script can take a long time to run and
361 create higher than normal I/O load as it churns though the event and
362 event_output tables.  You may wish to run the script by hand the first
363 time so it can be monitored.  It can be run in psql like so:
364
365 [source,sql]
366 ---------------------------------------------------------------
367 SELECT action_trigger.purge_events();
368 ---------------------------------------------------------------
369
370 NOTE: On *very* large data sets (10s to 100s of millions of event and
371 event_output rows), it may be advisable to first to repopulate the event
372 and event_output tables with only the desired data before starting
373 regular purges.  This can be done, for example, using the copy to temp
374 table, truncate source table, repopulate source table from temp table
375 approach.  This will be much faster than the purge_events() function
376 in cases where most of the data will be purged.
377
378 Hook Data Cleanup
379 +++++++++++++++++
380
381 A number of action_trigger.hook entries which have always been treated
382 as active hooks, though are configured as passive hooks, have been 
383 updated to properly reflect the non-passive-ness.  This allows for 
384 simpler configuration of their retention interval values.
385
386
387
388
389
390 Remove JSPAC Redirects
391 ^^^^^^^^^^^^^^^^^^^^^^
392 Future versions of Evergreen will no longer contain automatic redirects
393 from JSPAC URLs to TPAC URLs, with the exception of myopac.xml, given
394 that the JSPAC is no longer supported.  Existing sites, however, may
395 wish to retain JSPAC redirects in their Apache configuration files since
396 JSPAC URLs may still be used in the wild to access their catalogs.
397
398 The original JSPAC URL redirects are all retained in the file 
399 Open-ILS/examples/jspac_redirects.conf for reference.
400
401
402
403
404 API
405 ~~~
406
407
408
409 New open-ils.auth.login API
410 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
411 The open-ils.auth service has a new API for requesting an authentication
412 token.  It performs the same steps as the 
413 open-ils.auth.authenticate.init and .complete APIs in a single call,
414 using the bare password.  No intermediate password hashing is required.
415
416 The paramaters are the same as the .complete call with a few modifications.
417
418 1. Using the generic "identifier" parameter in combination with the
419    "org" parameter allows the API to reliably determine if an identifier
420    value is a username or barcode.  The caller is no longer required to 
421    make that determination up front.  
422
423 2. The 'nonce' parameter is no longer used.
424
425 Upgrade Notes
426 +++++++++++++
427
428 The new open-ils.auth.login API must be added to the list of <log_protect>
429 API's in the opensrf_core.xml file.
430
431 Sample diff:
432
433 [code,sh]
434 ---------------------------------------------------------------------
435 --- a/Open-ILS/examples/opensrf_core.xml.example
436 +++ b/Open-ILS/examples/opensrf_core.xml.example
437 @@ -180,6 +180,7 @@ Example OpenSRF bootstrap configuration file for Evergreen
438      <log_protect>
439        <match_string>open-ils.auth.authenticate.verify</match_string>
440        <match_string>open-ils.auth.authenticate.complete</match_string>
441 +      <match_string>open-ils.auth.login</match_string>
442        <match_string>open-ils.auth_proxy.login</match_string>
443        <match_string>open-ils.actor.patron.password_reset.commit</match_string>
444        <match_string>open-ils.actor.user.password</match_string>
445 ---------------------------------------------------------------------
446
447
448
449
450
451 Batch Patron Contact Invalidation
452 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
453 The following methods are used to mark patron contact fields
454 as invalid by moving the invalid value to a standing penalty:
455
456  * `open-ils.actor.invalidate.email`
457  * `open-ils.actor.invalidate.day_phone`
458  * `open-ils.actor.invalidate.evening_phone`
459  * `open-ils.actor.invalidate.other_phone`
460
461 These methods now accept a fifth argument specifying the value
462 of the contact field, e.g., a specific phone number or email
463 address. If supplied, and if a specific patron ID (the first
464 argument) is not supplied, all patrons with that specific contact
465 value will have it marked invalid.
466
467
468
469
470 Architecture
471 ~~~~~~~~~~~~
472
473
474
475 Pure-SQL catalog searching
476 ^^^^^^^^^^^^^^^^^^^^^^^^^^
477 Public and staff catalog search is now both more accurate and faster
478 by redesigning how the visibility of records is calculated.
479
480
481
482
483 Cataloging
484 ~~~~~~~~~~
485
486
487
488 Authority Record and Headings Browse Improvements
489 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
490 Various improvements are made to support for authority records
491 and headings browsing:
492
493  * The MARC to MADS XSLT stylesheet is now used as part of parsing
494    headings from authority records. Since the MODS and MADS stylesheets
495    extract headings in similar ways, duplicate browse entries are now
496    much less likely to occur.
497  * A new configuration table, `authority.heading_field`, is now used
498    to specify how headings should be extracted from authority records.
499  * Related headings can now be identified as narrower or broader when
500    browsing in the public catalog.
501  * See references are now more reliably included in the browse list.
502  * Scope (public) notes now display only under the main heading.
503  * There is now a global flag, Display related headings (see-also) in browse,
504    that can be used to control whether related headings (see-alsos) are
505    displayed in the public catalog list.
506  * A complete set of thesauruses are now included in the seed data.  Thesauruses
507    can now be identified using short and long codes.
508  * The labels for see and see-also references in the public catalog are now
509    a bit more patron-friendly, and can now be tweaked via TPAC template
510    customization.
511
512
513
514
515
516 Copy Tags and Digital Bookplates
517 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
518 Copy tags will allow staff to apply custom, pre-defined labels or tags
519 to copies.  Copy tags are searchable in both the staff client and public
520 catalog.  This feature was designed to be used for Digital Bookplates to
521 attach donation or memorial information to copies, but may be used for
522 broader purposes to tag items.
523
524 Each copy tag can either be publicly-visible or visible only to staff.
525 Copy tags also have types that can be used for restricting catalog
526 searches on copy tags to particular types.
527
528 Copy tags are displayed in the copy table in the record summary page in
529 the public catalog, and a new library setting can be used to add
530 a "Digital Bookplate" search field.  Copy tags can also be used
531 as a search filter, e.g.,
532
533   * `copy_tag(bookplate, jane smith)`: search for records that have a
534     copy tag of type `bookplate` whose value contains `jane smith`.
535   * `copy_tag(*, jane smith)`: search for records that have a
536     copy tag of any type whose value contains `jane smith`.
537
538 All staff-side interfaces related to copy tags exist only in the web
539 staff client.  There are two new administration interfaces for managing
540 copy tags and copy tag types. The copy editor now has a `Copy Tags`
541 button for applying copy tags to copies; that interface can also be
542 used to create new copy tags on the fly. Furthermore, the copy buckets
543 interface now has an `Apply Tags` action for assigning tags to groups
544 of copies.
545
546 Permissions
547 +++++++++++
548
549 Two new permission are included:
550
551   * `ADMIN_COPY_TAG_TYPES`: required to create a new tag type under
552      Server Administration->Copy Tag Types
553   * `ADMIN_COPY_TAG`: required to create a new tag under
554     Local Administration->Copy Tags
555
556 The existing permission `UPDATE_COPY` controls whether or not a user
557 can link copies to tags.
558
559 Library Settings
560 ++++++++++++++++
561 A new library setting, "Enable Digital Bookplate Search", controls
562 whether to display a "Digital Bookplate" field in the search index
563 drop-downs in the catalog. A "Digital Bookplate" search will include
564 all records that have a copy that matches the tag specified by the user.
565 It should be noted that this library settings does not affect the
566 display of copy tags on the catalog record summary page.
567
568
569
570
571 Include Call Number Prefixes and Suffixes in Export and Z39.50 output
572 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
573 The call number prefix and suffix, when present, are now included in
574 subfields $k and $m of the 852 field when running `marc_export` with
575 the `--items` switch. Similarly, when using Evergreen as a Z39.50
576 server configured to embed item data in 852 fields, the affixes are now
577 included in subfields $k and $m.
578
579
580
581
582 Circulation
583 ~~~~~~~~~~~
584
585
586
587 Batch Editing of Patron Records
588 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
589 There is a now a new interface analogous to the Copy Bucket interface
590 to select and group of a set of users into a User Bucket.
591 The addition of users to a User Bucket is possible from the Patron Search
592 interface by the use of a new grid Action, and directly on the User Bucket
593 interface by user barcode. It is also possible to add users to a User
594 Bucket by uploading a text file that contains a list of user barcodes.
595
596 From this interface it is possible to perform a set of specific batch update
597 operations against users.
598
599 Editing users
600 +++++++++++++
601
602 The fields can now be changed in batch via an action on the User Bucket
603 grid if the staff user has the UPDATE_USER permission:
604
605  * Active flag
606  * Primary Permission Group (group application permissions consulted)
607  * Juvenile flag
608  * Home Library (UPDATE_USER checked against both old and new value)
609  * Privilege Expiration Date
610  * Barred flag (BAR_PATRON permission consulted)
611  * Internet Access Level
612
613 Each change set requires a name. Buckets may have multiple change sets. All
614 users in the Bucket at the time of processing are updated when the change
615 set is processed, and change sets are processed immediately upon successful
616 creation. The interface delivers progress information regarding the
617 processing stage and percent of completion.
618
619 While processing the users, the original value for each field edited is
620 recorded for potential future rollback. Users can examine the success and
621 failure of applied change sets.
622
623 The user will be able to rollback the entire change set, but not parts thereof.
624 The rollback will affect only those users that were successfully updated by the
625 original change set and may be different from the current set of users in the
626 Bucket. Users can manually discard change sets, removing them from the
627 interface but preventing future rollback.
628
629 As a batch process, rather than a direct edit, this mechanism explicitly skips
630 processing of Action/Trigger event definitions for user update.
631
632 Deleting users
633 ++++++++++++++
634
635 The batch edit mechanism also allows for the batch deletion of user.  The staff
636 user must have both the UPDATE_USER and DELETE_USER permissions.
637
638 Each delete set requires a name. Buckets may have multiple delete sets. All
639 users in the Bucket at the time of processing are marked as deleted when
640 the delete set is processed. The interface delivers progress information
641 regarding the processing stage and percent of completion.
642
643 While processing the users, the original value for the "deleted" field will be
644 recorded for potential future rollback. Users are able to examine the
645 success and failure of applied delete sets in the same interface used for the
646 above described change sets.
647
648 As a batch process, rather than a direct edit, this mechanism explicitly skips
649 processing of Action/Trigger event definitions for user deletion.
650
651 This mechanism does not use the Purge User functionality, but instead simply
652 marks the users as deleted.
653
654 Editing Statistical Category Entries
655 ++++++++++++++++++++++++++++++++++++
656
657 All users in the bucket can have their Statistical Category Entries
658 modified. Unlike user data field updates, modification of Statistical
659 Category Entries is permanent and cannot be rolled back. No named change
660 sets are required. The interface will deliver progress information regarding
661 the processing stage and percent of completion.
662
663 As a batch process, rather than a direct edit, this mechanism explicitly skips
664 processing of Action/Trigger event definitions for user update.
665
666 New service requirement
667 +++++++++++++++++++++++
668
669 This new functionality makes use of the QStore service, which was previously
670 unused in production.  If this service has been removed from the configuration
671 of a live Evergreen instances, it will need to be added back in order for
672 batch user editing to succeed.
673
674
675
676
677 Honor timezone of the acting library
678 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
679
680 Summary
681 +++++++
682
683 * Display day-granular due dates in the circulating library's timezone.
684 * Only display the date portion of the due date for day-granular circulations.
685 * Display the full timestamp, in the client's timezone rather than the circulation library's, for hourly circulations.
686 * Provide infrastructure for more advanced formatting of timestamps.
687 * Override the built-in AngularJS date filter with an implementation that uses moment.js, providing consistency and better standards compliance.
688
689 Upgrade note
690 ++++++++++++
691
692 The following query will adjust all historical, unaged circulations so
693 that if their due date field is pushed to the end of the day, it is done
694 in the circulating library's time zone, and not the server time zone.
695
696 It is safe to run this after any change to library time zones.
697
698 Running this is not required, as no code before this change has
699 depended on the time string of '23:59:59'.  It is also not necessary
700 if all of your libraries are in the same time zone, and that time zone
701 is the same as the database's configured time zone.
702
703 [source,sql]
704 ----
705 DO $$
706 declare
707     new_tz  text;
708     ou_id   int;
709 begin
710     for ou_id in select id from actor.org_unit loop
711         for new_tz in select oils_json_to_text(value) from actor.org_unit_ancestor_setting('lib.timezone',ou_id) loop
712             if new_tz is not null then
713                 update  action.circulation
714                   set   due_date = (due_date::timestamp || ' ' || new_tz)::timestamptz
715                   where circ_lib = ou_id
716                         and substring((due_date at time zone new_tz)::time::text from 1 for 8) <> '23:59:59';
717             end if;
718         end loop;
719     end loop;
720 end;
721 $$;
722 ----
723
724 Details
725 +++++++
726
727 This is a followup to the work done in bug 1485374, where we added the ability
728 for the client to specify a timezone in which timestamps should be interpreted
729 in business logic and the database.
730
731 Most specifically, this work focuses on circulation due dates and the closed
732 date editor. Due dates, where displayed using stock templates (including
733 receipt templates) and used for fine calculation, are now manipulated in the
734 library's configured timezone. This is controlled by the new 'lib.timezone'
735 YAOUS, loaded from the server when required. Additionally, closings are
736 recorded in the library's timezone so that so that due date calculation is more
737 accurate. The closed date editor is also taught how to display closings in the
738 closed library's timezone. Closed date entries also explicitly record if they
739 are a full day closing, or a multi-day closing. This significantly simplifies
740 the editor, and may be useful in other contexts.
741
742 To accomplish this, we use the moment.js library and the moment-timezone addon.
743 This is necessary because the stock AngularJS date filter does not understand
744 locale-aware timezone values, which are required to support DST. A simple
745 mapper translates the differences in format values from AngularJS date to
746 moment.js.
747
748 Of special note are a set of new filters used for formatting timestamps under
749 certain circumstances. The new egOrgDateInContext, egOrgDate, and egDueDate
750 filters provide the functionality, and autogrid is enhanced to make use of
751 these where applicable. egGrid and egGridField are also taught to accept
752 default and field-specific options for applying date filters. These filters may
753 be useful in other or related contexts.
754
755 The egDueDate filter, used for all existing displays of due date via Angular
756 code, intentionally interprets timestamps in two different ways WRT timezone,
757 based on the circulation duration. If the duration is day-granular (that is,
758 the number of seconds in the duration is divisible by 86,400, or 24 hours worth
759 of seconds) then the date is interpreted as being in the circulation library's
760 timezone. If it is an hourly loan (any duration that does not meet the
761 day-granular criterium) then it is instead displayed in the client's timezone,
762 just as all other timestamps currently are, because of the work in 1485374.
763
764 The OPAC is adjusted to always display the due date in the circulating
765 library's timezone. Because the OPAC displays only the date portion of the due
766 date field, this difference is currently considered acceptable. If this proves
767 to be a problem in the future, a minor adjustment can be made to match the
768 egDueDate filter logic.
769
770 Now that due dates are globally stored in the configured timezone of the
771 circulating library, the automatic adjustment to day-granular due dates needs
772 to take those timezones into account.
773
774 An optional SQL command is provided by the upgrade script to retroactively
775 adjust existing due dates after library configuration is complete.
776
777 This work, as with 1485374, was funded by SITKA, and we thank them for their
778 partnership in making this happen!
779
780
781
782
783
784 Enhancements to Hard Due Date Functionality
785 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
786 It will now be possible to delete Hard Due Date Values for dates that have
787 passed. Also, the Hard Due Date updater will no longer change Ceiling Dates
788 to a past date. This allows editing Ceiling Dates directly in a Hard Due Date
789 as well as scheduling Ceiling Date changes via Hard Due Date Values.
790
791
792
793
794 Patron Search by Birth Date
795 ^^^^^^^^^^^^^^^^^^^^^^^^^^^
796 * Now you can include the patron birth year and/or birth month and/or
797   birth day when searching for patrons using the web based staff client.
798 * Day and month values are exact matches.  E.g. month "1" (or "01")
799   matches January, "12" matches December.
800 * Year searches are "contains" searches.  E.g. year "15" matches 2015,
801   1915, 1599, etc.  For exact matches use the full 4-digit year.
802
803
804
805 Patron Search from Place Hold
806 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
807 This feature allows staff members, when placing a
808 hold on behalf of a patron in the web staff client, to search for
809 patrons by names and other searchable patron information, rather than
810 relying on barcode alone. In particular, after performing a catalog
811 search or going to a specific bib record and clicking the 'Place Hold'
812 button, the form now includes a 'Patron Search' button. This button
813 will open a dialog allowing the staff member search for and select
814 a patron record.
815
816
817
818
819 Retrieve Recent Patrons 
820 ^^^^^^^^^^^^^^^^^^^^^^^
821
822 Adds a new library setting 'Number of Retrievable Recent Patrons' 
823 ('ui.staff.max_recent_patrons') that specifies the number of recently
824 retrieved patrons that can be re-fetched from the staff client.
825
826 A value of 0 means no recent patrons can be retrieved.
827 A value greater than 1 means staff will be able to retrieve multiple
828 recent patrons via a new Circulation 'Retrieve Recent Patrons' menu entry.
829
830 The default value is 1 for backwards compatibility.
831
832
833
834
835
836
837 Fuller title in XUL client Simplified Pull List
838 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
839 The Simplified Pull List in the XUL client will now display subfields 245$n and
840 $p in the title field. The addition will make it easier for staff to distinguish
841 between different parts or seasons in a series.
842
843
844
845
846
847 Transit Cancel Time and Terminology Change
848 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
849
850 Transit Cancel Time
851 +++++++++++++++++++
852
853 Previously, Evergreen deleted canceled (aborted) transits from the database.  Now
854 the rows in action.transit_copy, action.hold_transit_copy, and action.reservation_transit_copy
855 are preserved in the database, though still not visible to the end user in the staff client.
856 This allows for better tracking of when transits are canceled for the purposes of knowing
857 which staff member canceled the transit, etc.
858
859 NOTE: This change may require the re-creation of transit reports to filter out canceled
860 transits from the results.  Cloning the template and adding a Base Filter of Cancel Time 
861 Is NULL will suffice.
862
863 "Canceled Transit" Terminology Change
864 +++++++++++++++++++++++++++++++++++++
865
866 The term "abort" has been replaced with "cancel" in all of the affected user interfaces.
867 For internal continuity, however, the following permission codes have not changed:
868
869  * ABORT_TRANSIT
870  * ABORT_REMOTE_TRANSIT
871  * ABORT_TRANSIT_ON_LOST
872  * ABORT_TRANSIT_ON_MISSING
873
874
875
876
877 Client
878 ~~~~~~
879
880
881
882 Add Circ Modifier to Record Detail Page in Staff TPAC
883 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
884 The circ_modifier field is added to the table of copies to make
885 more information available to staff without having to open
886 the Holdings Maintenance view.
887
888
889
890
891
892 Date+Time Format Settings for Web Client
893 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
894
895 This change deprecates the existing Format Dates and Format Times settings
896 and adds two settings for use with the webstaff client:
897
898   * Format Dates with this pattern
899   * Format Date+Time with this pattern
900
901 These settings use format strings as documented here:
902
903 https://docs.angularjs.org/api/ng/filter/date
904
905 There is overlap with how the Dojo formats worked, but also some differences.
906
907 The original Format Dates and Format Times settings worked together, but the
908 new settings work independently.  Certain field elements will use one, and
909 certain field elements will use the other.  These distinctions are hard-coded
910 in the various UI templates, with the idea being that timestamp fields in
911 which the date component alone is sufficient information (for example, DOB)
912 will use the Format Dates setting.  Fields where the time component is
913 important (for example, Checkout Time) will use the Format Date+Time setting.
914
915 When the settings Format Dates and Format Date+Time are unset, we will default
916 to "shortDate" (M/d/yy) and "short" (M/d/yy h:mm a), respectively.
917
918
919
920
921
922 Global option to remove sound for a specific event
923 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
924 A new nosound.wav file has been added to the web client. The file can be used
925 to globally disable audio alerts for a specific event on an Evergreen system.
926
927 For example, to silence the alert that sounds after a successful patron search:
928
929   * mkdir -p /openils/var/web/audio/notifications/success/patron/
930   * cd /openils/var/web/audio/notifications/success/patron/
931   * ln -s ../../nosound.wav by_search.wav
932
933
934
935
936
937 OPAC
938 ~~~~
939
940
941
942 Improvements to Bill Payment Pages
943 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
944 The bill payment pages in the public catalog have been revamped
945 to
946
947  * use the term "charges" instead of "fees"
948  * include images of credit cards accepted
949  * make the default print receipt template match other itemized receipts;
950    note that this change is not automatically applied when upgrading.
951  * display billing type
952  * add button to pay only selected charges
953  * reformat the credit card number input page
954
955
956
957
958
959 Clickable Copy Locations
960 ^^^^^^^^^^^^^^^^^^^^^^^^
961 Adds a URL field to the copy locations editor. When a URL is entered in this field, 
962 the associated copy location will display as a link in the OPAC summary display.
963
964
965
966
967 Download Checkout History CSV Fixed for Large Number of Circulations
968 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
969 Downloading checkout history as a CSV from My Account has been fixed
970 for users with a large circulation history.  Previously, this would
971 time out for patrons with more than 100 or so circulations.
972
973 This feature no longer uses the action/trigger mechanism and the OPAC
974 now generates the CSV directly.  The old action/trigger code is still
975 present in the database and should be removed at some point in the
976 near future.
977
978
979
980
981 Google Books Preview rewrite
982 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^
983 The Google Books Preview functionality in record detail pages has been
984 rewritten to modernize its style and optimize its performance:
985
986 * The Dojo JavaScript framework is no longer used, saving approximately
987   150K of JavaScript and CSS and four network requests per page load.
988 * The Embedded Viewer is not loaded unless a possible preview is found,
989   saving more network and memory overhead.
990 * The Google Books Loader is used to load the Embedded Viewer instead of the
991   https://productforums.google.com/forum/#!topic/books-api/lZrq5cWKrTo;context-place=forum/books-api[deprecated
992   Google Loader].
993 * All variables are self-contained and do not pollute the global namespace.
994 * Event listeners are registered to handle clicks, rather than attaching
995   `href="javascript:function()"` to <a> elements.
996 * Book previews are displayed in a panel sized according to the viewport
997   of the browser, improving its appearance on both mobile and desktop
998   browsers.
999 * The rewritten code is now served up directly from
1000   `/js/ui/default/opac/ac_google_books.js` rather than as a TT2 template.
1001
1002
1003
1004
1005 jQuery for the TPAC
1006 ^^^^^^^^^^^^^^^^^^^
1007 This release adds optional support for jQuery in the TPAC.  This support
1008 is enabled by setting the ctx.want_jquery variable to a true value in the
1009 config.tt2 TPAC template.
1010
1011
1012
1013
1014
1015 New Popularity Parameters
1016 ^^^^^^^^^^^^^^^^^^^^^^^^^
1017 New popularity parameters for in-house use over time and for count of distinct
1018 organizational units that own a title are now available. Evergreen sites
1019 can use these parameters to create new statistical popularity badges for
1020 sorting in the catalog by Most Popular or by Popularity-Adjusted Relevance.
1021
1022 The in-house use parameters will apply a badge to titles that have the most
1023 in-house use activity over time. The organizational unit count parameter
1024 will apply a badge to titles owned by the most number of libraries in a
1025 consortium. Ownership is determined by the copy's circulation library.
1026
1027
1028
1029
1030 Option to Suspend Holds at the Time They are Placed
1031 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1032 Users now have the option to suspend a hold at the same time they place the
1033 hold. The _Place Hold_ screen has a checkbox that can be enabled for users
1034 who want to suspend a hold at the time it is placed. There is also an option
1035 to set the activation date at the same time. This option is also available
1036 when placing holds on a batch of titles from _My List_ and will apply to
1037 all the titles in the batch.
1038
1039
1040
1041
1042
1043 Reports
1044 ~~~~~~~
1045
1046
1047
1048 Fix to reporter.classic_current_circ view
1049 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1050 The `reporter.classic_current_circ` view, which is part of some
1051 extra views defined in `Open-ILS/src/sql/Pg/example.reporter-extension.sql`,
1052 has been fixed to not exclude loans for patrons who do not have a
1053 billing address set. Users of this view should rerun
1054 `Open-ILS/src/sql/Pg/example.reporter-extension.sql` during upgrade.
1055
1056
1057
1058
1059 New report source table allowing report of "last" deleted copy
1060 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1061
1062 This source table allows you to construct a clever aggregate report template
1063 which will report bibliographic IDs where a library or a group of libraries 
1064 no longer have a copy attached but *had* a copy attached. This is especially
1065 useful when a holdings sync is required with an external vendor.
1066
1067
1068 Instructions for creating a report template with this source:
1069
1070   * Create a new report template using "Library Holdings Count with Deleted" as the source
1071   * Add "Has Only Deleted Copies 0/1" (Min) to the Aggregate Filters -> Change Value to "1"
1072   * Add "Last Edit Date" (Max) to Aggregate Filters.  In Aggregate Filters, change the operator to "Between"
1073   * Add Circulation Library -> "Organizational Unit ID" to Base Filters, with the Raw Data transform.  In the list of Base Filters, change the operator to "In list"
1074   * Add "Bib ID" to Displayed Fields
1075   * Add "Last Edit Date" to Displayed Fields and Change Transform to Max
1076   * Add "Has Only Deleted Copies 0/1" to Displayed Fields and Change Transform to Min
1077   * Add "Total copies attached" to Displayed Fields and Change Transform to Sum
1078
1079
1080 This template will only output bibliographic IDs where all of the copies for the specified branch(es)
1081 are deleted. Furthermore, it will only output bibs whose copies were edited (deleted) during the 
1082 specified date range. Unfortunately the user will have to manually type the date range without the date
1083 picker. This view will also allow you to answer questions like "Show me bibs where I have one visible
1084 copy and more than two deleted copies."
1085
1086
1087
1088
1089 Add Provider to Provider Note link
1090 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1091 The Provider reporting source now includes a link to the Provider Note reporting source.
1092
1093
1094
1095
1096 Link ILS User and Working Location Reporting Sources
1097 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1098 The Working Location reporting source now has labels
1099 and it is now linked to the ILS User reporting source, allowing
1100 reports to display or filter on staff working location.
1101
1102
1103
1104
1105 New circulation report source "All Circulation Combined Types"
1106 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1107
1108 This report source will allow you to create a single report template for all of the following:
1109
1110  * In-house uses
1111  * In-house uses of non-cataloged items
1112  * Circulations
1113  * Circulations of non-cataloged items
1114
1115 To distinguish between these different types of library use, it's important to display these columns
1116 in your report templates:
1117
1118  * Item Type
1119  * Circulation Type
1120
1121
1122
1123
1124
1125 Reports Template Searching
1126 ^^^^^^^^^^^^^^^^^^^^^^^^^^
1127 A new form appears along the top of the reports interface for searching
1128 report templates.  Once found, typical template actions (e.g. create new
1129 report) are available from within the results interface.
1130
1131 Searches may be performed across selected (visible) folders or all 
1132 folders visible to the logged in user.
1133
1134 Searches are case-insensitive, any word order, with left-anchored words.  
1135 All searched words must appear in at least one of the searched fields.
1136
1137 Examples
1138 ++++++++
1139
1140  * Searching for 'stat cat' matches:
1141   ** stat cat
1142   ** statistical category
1143   ** categories, statistical
1144   ** patrons (stat cat)
1145  * Searching for 'stat cat' does not match:
1146   ** stat 
1147    *** both words must be present in the searched field(s)
1148   ** stat location
1149     *** location contains 'cat' but it's not left-anchored.
1150
1151 Reporter Paging
1152 +++++++++++++++
1153
1154 The templates, reports, and output interfaces now support paging via 
1155 new 'Next', 'Prev', and 'Start' links next to the output limit selector.
1156
1157
1158
1159
1160
1161
1162 Serials
1163 ~~~~~~~
1164
1165
1166
1167 Web Staff Client Serials Module
1168 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1169 The serials module has been ported over to the web staff
1170 client, implementing a unified serials interface that combines
1171 ideas from both the serial control view and alternate serials
1172 control view from the old staff client.
1173
1174 In addition to carrying over functionality that was available
1175 in the old staff client, several new features are included:
1176
1177 * the ability to save prediction pattern codes as templates
1178   that can be shared and reused within an Evergreen database
1179 * a more streamlined interface for managing subscriptions,
1180   distributions, and streams
1181 * it is no longer necessary to create a starting issue in
1182   order to predict a run of issues; the dialog box for
1183   generating a set of predicted issues now lets you specify
1184   the starting point directly.
1185 * the ability to more directly edit MFHDs
1186     
1187 The new serials interfaces can be accessed from the record
1188 details page via a Serials drop-down button that links to
1189 a subscription management page, a quick-receive action, and
1190 a MFHD management page. There is also a new Serials Administration
1191 page where prediction pattern and serial copy templates can
1192 be managed.
1193
1194
1195
1196
1197 SIP
1198 ~~~
1199
1200
1201
1202 SIP Bugfix Requires SIPServer Upgrade
1203 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1204
1205 The fix for Launchpad Bug 1542495: "OpenILS::SIP::clean_text() can
1206 crash" requires that you also upgrade SIPServer with the fix for
1207 Launchpad Bug 1463943: "Non-ascii Unicode characters in messages cause
1208 SIP client problems."  This means that if you use SIP2 with Evergreen,
1209 you must also upgrade SIPServer to the latest commit in the git
1210 repository.  Conversely, if you upgrade SIPServer to the latest commit
1211 in git, you must also upgrade Evergreen or, at least, apply the patch
1212 for Launchpad Bug 1542495.  These two patches are complementary and
1213 cannot be applied independently of one another.
1214
1215 SIP Bugfix Changes How Encoding Is Determined in Configuration
1216 ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
1217
1218 The combined fix for the above mentioned SIP bugs alters the way that
1219 SIPServer looks up the output encoding in the configuration file (typically
1220 oils_sip.xml).  SIPServer now looks for the encoding in the following
1221 places:
1222
1223 1. An +encoding+ attribute on the +account+ element for the currently active SIP account.
1224 2. The +encoding+ element that is a child of the +institution+ element of the currently active SIP account.
1225 3. The +encoding+ element that is a child of the +implementation_config+ element that is itself a child of the +institution+ element of the currently active SIP account.
1226 4. If none of the above exist, then the default encoding (ASCII) is used.
1227
1228 Number 3 is provided to ease the transition to the new code.  It is
1229 the current location of the +encoding+ element in the sample
1230 configuration file and as such, where it is likely to be found in
1231 actual files.  It is recommended that you alter your configuration to
1232 move this element out of the +implementation_config+ element and into
1233 its parent +institution+ element.  Ideally, SIPServer should *not* look into
1234 the implementation config, and this check may be removed at some time
1235 in the future.
1236
1237
1238
1239 Acknowledgments
1240 ---------------
1241 The Evergreen project would like to acknowledge the following
1242 organizations that commissioned developments in this release of
1243 Evergreen:
1244
1245 * Bibliomation
1246 * British Columbia Libraries Cooperative (BC Sitka)
1247 * C/W MARS
1248 * Georgia Public Library Service
1249 * King County Library System
1250 * MassLNC
1251 * Pennsylvania Integrated Library System
1252 * Pioneer Library System
1253
1254 We would also like to thank the following individuals who contributed
1255 code, translations, documentations patches and tests to this release of
1256 Evergreen:
1257
1258 TODO
1259
1260
1261 We also thank the following organizations whose employees contributed
1262 patches:
1263
1264 TODO
1265
1266 We regret any omissions.  If a contributor has been inadvertently
1267 missed, please open a bug at http://bugs.launchpad.net/evergreen/
1268 with a correction.
1269