]> git.evergreen-ils.org Git - OpenSRF.git/blob - README
LP1970667: Add Installation Support for Ubuntu 22.04 (Jammy Jellyfish)
[OpenSRF.git] / README
1 Installing OpenSRF
2 ==================
3
4 Preamble: referenced user accounts
5 ----------------------------------
6
7 In subsequent sections, we will refer to a number of different accounts, as
8 follows:
9
10   * Linux user accounts:
11     ** The *user* Linux account is the account that you use to log onto the
12        Linux system as a regular user.
13     ** The *root* Linux account is an account that has system administrator
14        privileges. On Debian you can switch to this account from
15        your *user* account by issuing the `su -` command and entering the
16        password for the *root* account when prompted. On Ubuntu you can switch
17        to this account from your *user* account using the `sudo su -` command
18        and entering the password for your *user* account when prompted.
19     ** The *opensrf* Linux account is an account that you will create as part
20        of installing OpenSRF. You can switch to this account from the *root*
21        account by issuing the `su - opensrf` command.
22
23 Download and unpack the code
24 ----------------------------
25
26 Issue the following commands as the *user* Linux account.
27
28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
29 +
30 [source, bash]
31 ------------------------------------------------------------------------------
32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
33 ------------------------------------------------------------------------------
34 +
35 [NOTE]
36 Developers can find the full source code at the OpenSRF Git repository:
37 http://git.evergreen-ils.org/?p=OpenSRF.git
38 +
39 2. Unpack the tarball, and move into that directory:
40 +
41 [source, bash]
42 ------------------------------------------------------------------------------
43 tar -xvf opensrf-OSRFVERSION.tar.gz
44 cd opensrf-OSRFVERSION/
45 ------------------------------------------------------------------------------
46
47 Installing prerequisites
48 ------------------------
49
50 OpenSRF has a number of prerequisite packages that must be installed
51 before you can successfully configure, compile, and install OpenSRF.
52 On Debian and Ubuntu, the easiest way to install these prerequisites
53 is to use the Makefile.install prerequisite installer.
54
55 Issue the following commands as the *root* Linux account to install 
56 prerequisites using the Makefile.install prerequisite installer, substituting 
57 your operating system identifier for <osname> below:
58
59 [source, bash]
60 ---------------------------------------------------------------------------
61 apt-get install make
62 make -f src/extras/Makefile.install <osname>
63 ---------------------------------------------------------------------------
64
65 Well-tested values for <osname> include:
66
67   * `debian-bullseye` for Debian 11
68   * `debian-buster` for Debian 10
69   * `debian-stretch` for Debian 9
70   * `ubuntu-bionic` for Ubuntu 18.04
71   * `ubuntu-focal` for Ubuntu 20.04
72   * `ubuntu-jammy` for Ubuntu 22.04
73
74 Patches and suggestions for improvement from users of these distributions,
75 or others, are welcome!
76
77 When the prerequisite installer reaches the Perl module stage, you may 
78 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
79 on your server. You can generally accept the defaults by pressing <return>
80 for all of the prompts, except for the country configuration.
81
82 Preamble: Developer instructions
83 --------------------------------
84
85 [NOTE]
86 Skip this section if you are using an official release tarball downloaded
87 from https://evergreen-ils.org/opensrf-downloads/
88
89 Developers working directly with the source code from the Git repository,
90 rather than an official release tarball, must install some extra packages
91 and perform one step before they can proceed with the `./configure` step.
92
93 As the *root* Linux account, install the following packages:
94
95   * autoconf
96   * automake
97   * libtool
98
99 As the *user* Linux account, issue the following command in the OpenSRF
100 source directory to generate the configure script and Makefiles:
101
102 [source, bash]
103 ------------------------------------------------------------------------------
104 autoreconf -i
105 ------------------------------------------------------------------------------
106
107 Configuration and compilation instructions
108 ------------------------------------------
109
110 Use the `configure` command to configure OpenSRF, and the `make` command to
111 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
112 `/opensrf/`.
113
114 If you are building OpenSRF for Evergreen, issue the following commands as
115 the *user* Linux account to configure and build OpenSRF:
116
117 [source, bash]
118 ---------------------------------------------------------------------------
119 ./configure --prefix=/openils --sysconfdir=/openils/conf
120 make
121 ---------------------------------------------------------------------------
122
123 By default, OpenSRF includes C, Perl, and JavaScript support.
124
125 If you are planning on proxying WebSockets traffic (see below), you
126 can add `--with-websockets-port=443` to specify that WebSockets traffic
127 will be going through port 443. Without that option, the default port
128 is 7682.
129
130 Installation instructions
131 -------------------------
132
133 1. Once you have configured and compiled OpenSRF, issue the following
134    command as the *root* Linux account to install OpenSRF:
135 +
136 [source, bash]
137 ---------------------------------------------------------------------------
138 make install
139 ---------------------------------------------------------------------------
140
141 Create and set up the opensrf Unix user environment
142 ---------------------------------------------------
143
144 This user is used to start and stop all OpenSRF processes, and must own all
145 files contained in the PREFIX directory hierarchy. Issue the following
146 commands as the *root* Linux account to create the `opensrf` user and set up
147 its environment, substituting <PREFIX> with the value you passed to `--prefix`
148 in your configure command:
149
150 .Creating the `opensrf` user
151 [source, bash]
152 ---------------------------------------------------------------------------
153 useradd -m -s /bin/bash opensrf
154 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
155 passwd opensrf
156 chown -R opensrf:opensrf /<PREFIX>
157 ---------------------------------------------------------------------------
158
159 Define your public and private OpenSRF domains
160 ----------------------------------------------
161
162 For security purposes, OpenSRF uses Jabber domains to separate services
163 into public and private realms. Throughout these instructions, we will use
164 the example domains `public.localhost` and `private.localhost`. 
165
166 On a single-server system, the easiest way to define public and private
167 domains is to define separate hostnames by adding entries to the `/etc/hosts`
168 file. Here are entries that you could add to a stock `/etc/hosts` file for our
169 example domains:
170
171 .Example added entries for `/etc/hosts`
172 [source, bash]
173 ---------------------------------------------------------------------------
174 127.0.1.2       public.localhost        public
175 127.0.1.3       private.localhost       private
176 ---------------------------------------------------------------------------
177
178 Adjust the system dynamic library path
179 --------------------------------------
180
181 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
182 `ldconfig` as the *root* Linux account.
183
184 On Debian and Ubuntu systems, run the following commands as the *root*
185 Linux account:
186
187 .Adjusting the system dynamic library path
188 [source, bash]
189 ---------------------------------------------------------------------------
190 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
191 ldconfig
192 ---------------------------------------------------------------------------
193
194 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
195 create a file within the `/etc/ld.so.conf.d/` directory, and then run
196 `ldconfig` as the *root* Linux account.
197
198 Configure the ejabberd server
199 -----------------------------
200
201 [TIP]
202 =====
203 It is recommended to disable the apparmor profile for ejabberd on *Ubuntu* before
204 continuing.  If you are installing on any version of *Ubuntu*, run the following
205 commands as the *root* Linux account:
206
207 [source,bash]
208 ---------------------------------------------------------------------------
209 ln -s /etc/apparmor.d/usr.sbin.ejabberdctl /etc/apparmor.d/disable/
210 apparmor_parser -R /etc/apparmor.d/usr.sbin.ejabberdctl
211 ---------------------------------------------------------------------------
212 =====
213
214 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
215 the Jabber server of choice for the OpenSRF project. In most cases, you only
216 have to make a few changes to the default configuration file to make ejabberd
217 work for OpenSRF. 
218
219 1. Stop ejabberd before making any changes to its configuration by issuing the
220    following command as the *root* Linux account:
221 +
222 .Stopping ejabberd
223 [source, bash]
224 ---------------------------------------------------------------------------
225 systemctl stop ejabberd.service
226 ---------------------------------------------------------------------------
227 +
228 2. Edit the ejabberd config file.
229 +
230 (Debian Stretch) Ejabberd 16.x::
231 Open `/etc/ejabberd/ejabberd.yml` and make the following
232 changes:
233   a. Define your public and private domains in the `hosts` directive. For
234    example:
235 +
236 [source, bash]
237 ---------------------------------------------------------------------------
238 hosts:
239   - "localhost"
240   - "private.localhost"
241   - "public.localhost"
242 ---------------------------------------------------------------------------
243 +
244   b. Change `auth_password_format` to plain
245   c. Change `shaper:` `normal` and `fast` values to 500000
246   d. Increase the `max_user_sessions:` `all:` value to 10000
247   e. Comment out the `mod_offline` directive
248 +
249 -----------------------
250 ##mod_offline:
251     ##access_max_user_messages: max_user_offline_messages
252 -----------------------
253 +
254 (Debian Buster / Ubuntu Bionic / Ubuntu Focal) Ejabberd 18.x::
255 Open `/etc/ejabberd/ejabberd.yml` and make the following
256 changes:
257   a. Define your public and private domains in the `hosts` directive. For
258    example:
259 +
260 [source, bash]
261 ---------------------------------------------------------------------------
262 hosts:
263   - "localhost"
264   - "private.localhost"
265   - "public.localhost"
266 ---------------------------------------------------------------------------
267 +
268   b. Change `starttls_required` to false
269   c. Change `auth_password_format` to plain
270   d. Change `shaper:` `normal` and `fast` values to 500000
271   e. Increase the `max_user_sessions:` `all:` value to 10000
272   f. Comment out the `mod_offline` directive
273 +
274 -----------------------
275 ##mod_offline:
276     ##access_max_user_messages: max_user_offline_messages
277 -----------------------
278 +
279   g. Uncomment or add the `mod_legacy_auth` directive under the `modules:` section
280 +
281 -----------------------
282 mod_legacy_auth: {}
283 -----------------------
284 +
285 (Debian Bullseye / Ubuntu Jammy) Ejabberd 21.x::
286 Open `/etc/ejabberd/ejabberd.yml` and make the following
287 changes:
288   a. Define your public and private domains in the `hosts` directive. For
289    example:
290 +
291 [source, bash]
292 ---------------------------------------------------------------------------
293 hosts:
294   - localhost
295   - private.localhost
296   - public.localhost
297 ---------------------------------------------------------------------------
298 +
299   b. Change `starttls_required` to false
300   c. Change `auth_password_format` to plain
301   d. Change all `shaper:` `normal` and `fast` values to 500000
302   e. Increase the `shaper_rules:` `max_user_sessions:` value to 10000
303   f. Comment out the `shaper_rules:` `max_user_offline_messages:` values
304 +
305 -----------------------
306 ##max_user_offline_messages:
307   ##5000: admin
308   ##100: all
309 -----------------------
310 +
311   g. Comment out the `mod_offline` directive
312 +
313 -----------------------
314 ##mod_offline:
315     ##access_max_user_messages: max_user_offline_messages
316 -----------------------
317 +
318   h. Add the `mod_legacy_auth` directive under the `modules:` section
319 +
320 -----------------------
321 mod_legacy_auth: {}
322 -----------------------
323 +
324 3. Restart the ejabberd server to make the changes take effect:
325 +
326 .Starting ejabberd
327 [source, bash]
328 ---------------------------------------------------------------------------
329 systemctl start ejabberd.service
330 ---------------------------------------------------------------------------
331
332 Create the OpenSRF Jabber users
333 -------------------------------
334
335 On each domain, you need two Jabber users to manage the OpenSRF communications:
336
337   * a `router` user, to whom all requests to connect to an OpenSRF service
338     will be routed; this Jabber user must be named `router`
339   * an `opensrf` user, which clients use to connect to OpenSRF services; this
340     user can be named anything you like
341
342 Create the Jabber users by issuing the following commands as the *root* Linux
343 account. Substitute `<password>` for your chosen passwords for each user
344 respectively:
345
346 .Creating the OpenSRF Jabber users
347 [source, bash]
348 ---------------------------------------------------------------------------
349 ejabberdctl register router private.localhost <password>
350 ejabberdctl register opensrf private.localhost <password>
351 ejabberdctl register router public.localhost <password>
352 ejabberdctl register opensrf public.localhost <password>
353 ---------------------------------------------------------------------------
354
355 Update the OpenSRF configuration files
356 --------------------------------------
357
358 About the OpenSRF configuration files
359 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
360 There are several configuration files that you must update to make OpenSRF
361 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
362 `--sysconfdir` during the configuration phase.
363
364   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
365     OpenSRF installation supports; if you create a new OpenSRF service,
366     you need to add it to this file.
367       ** The `<hosts>` element at the bottom of the file lists the services
368          that should be started for each hostname. You can force the system
369          to use `localhost`, so in most cases you will leave this section
370          as-is.
371     
372   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
373     information that will be used for the system, as well as determining
374     logging verbosity and defining which services will be exposed on the
375     HTTP gateway.
376
377   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
378     the `srfsh` interpreter to communicate with OpenSRF services.
379
380 Updating the OpenSRF configuration files
381 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
382   1. As the *opensrf* Linux account, copy the example configuration files
383      to create your locally customizable OpenSRF configuration files:
384 +
385 .Copying the example OpenSRF configuration files
386 [source, bash]
387 ---------------------------------------------------------------------------
388 cd SYSCONFDIR
389 cp opensrf_core.xml.example opensrf_core.xml
390 cp opensrf.xml.example opensrf.xml
391 ---------------------------------------------------------------------------
392 +
393   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
394      / password pairs to match the Jabber user accounts you just created:
395
396     a. `<config><opensrf>` = use the private Jabber `opensrf` user
397     b. `<config><gateway>` = use the public Jabber `opensrf` user
398     c. `<config><routers><router>` = use the public Jabber `router` user
399     d. `<config><routers><router>` = use the private Jabber `router` user
400   3. Create a `.srfsh.xml` file in the home directory of each user
401      that you want to use `srfsh` to communicate with OpenSRF services. For
402      example, to enable the *opensrf* Linux account to use `srfsh`:
403     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
404     b. Open `~/.srfsh.xml` in your text editor of choice and update the
405        password to match the password you set for the Jabber `opensrf` user
406        at the `private.localhost` domain.
407
408 Starting and stopping OpenSRF services
409 --------------------------------------
410
411 To start all OpenSRF services with a hostname of `localhost`, issue the
412 following command as the *opensrf* Linux account:
413
414 [source, bash]
415 ---------------------------------------------------------------------------
416 osrf_control --localhost --start-all
417 ---------------------------------------------------------------------------
418
419 To stop all OpenSRF services with a hostname of `localhost`, issue the
420 following command as the *opensrf* Linux account:
421
422 [source, bash]
423 ---------------------------------------------------------------------------
424 osrf_control --localhost --stop-all
425 ---------------------------------------------------------------------------
426
427 Testing the default OpenSRF services
428 ------------------------------------
429
430 By default, OpenSRF ships with an `opensrf.math` service that performs basic
431 calculations involving two integers. Once you have started the OpenSRF
432 services, test the services as follows:
433
434 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
435    command as the *opensrf* Linux account:
436 +
437 .Starting the `srfsh` interactive OpenSRF shell
438 [source, bash]
439 ---------------------------------------------------------------------------
440 srfsh
441 ---------------------------------------------------------------------------
442 +
443 2. Issue the following request to test the `opensrf.math` service:
444 +
445 [source, bash]
446 ---------------------------------------------------------------------------
447 srfsh# request opensrf.math add 2,2
448 ---------------------------------------------------------------------------
449 +
450 You should receive the value `4`.
451
452 Websockets installation instructions
453 ------------------------------------
454
455 1. Install websocketd (latest stable release from http://websocketd.com/)
456 +
457 .(Debian, Ubuntu)
458 [source,bash]
459 ---------------------------------------------------------------------------
460 cd /tmp
461 wget 'https://github.com/joewalnes/websocketd/releases/download/v0.3.0/websocketd-0.3.0-linux_amd64.zip'
462 unzip websocketd-0.3.0-linux_amd64.zip
463 sudo cp websocketd /usr/local/bin/
464 ---------------------------------------------------------------------------
465 +
466 2. Run websocketd
467 +
468 Choose option a or b, below.
469 +
470 [NOTE]
471 ===========================================================================
472 websocketd does not offer a configurable inactivity timeout, meaning
473 websocket client connections will persist until each client disconnects
474 or the service is restarted.  However, a timeout can be achieved with
475 the use of a proxy (option 'a' below).  A proxy also allows websocketd
476 to be exposed to web clients on port 443 instead of its internal port, 
477 which may simplify firewall configuration.
478 ===========================================================================
479 +
480 a. Run websocketd as 'opensrf'
481 +
482 [NOTE]
483 ===========================================================================
484 This choice requires one of the proxy configurations mentioned below.
485 ===========================================================================
486 +
487 .(Debian, Ubuntu)
488 [source,bash]
489 ---------------------------------------------------------------------------
490 /usr/local/bin/websocketd --port 7682 /openils/bin/osrf-websocket-stdio &
491
492 # Other useful command line parameters include:
493 # --loglevel debug|trace|access|info|error|fatal
494 # --maxforks <n>
495 # --sameorigin=true
496 # --origin=host[:port][,host[:port]...]
497
498 # See https://github.com/joewalnes/websocketd/blob/master/help.go
499 ---------------------------------------------------------------------------
500 +
501 b. Run websocketd without a proxy
502 +
503 .(Debian, Ubuntu)
504 [source,bash]
505 ---------------------------------------------------------------------------
506 sudo -b /usr/local/bin/websocketd --port 7682 --ssl --sslcert=/etc/apache2/ssl/server.crt \
507      --sslkey=/etc/apache2/ssl/server.key /openils/bin/osrf-websocket-stdio
508 ---------------------------------------------------------------------------
509
510 Optional Systemd Setup
511 ~~~~~~~~~~~~~~~~~~~~~~
512
513 Websocketd is a standalone program with no daemon mode, but can be implemented as a systemd service.
514
515 Copy <PREFIX>/examples/websocket-osrf.service.example into file /lib/systemd/system/websocketd-osrf.service
516
517 Then add & start the service.
518
519 [source,bash]
520 --------------------------------------
521 sudo systemctl daemon-reload
522 sudo systemctl enable websocketd-osrf
523 sudo systemctl start websocketd-osrf
524 --------------------------------------
525
526 Optional: Using a web proxy (Apache 2.4 and above)
527 --------------------------------------------------
528 When the OpenSRF HTTP Translator runs behind a proxy, Apache must be 
529 configured to read the IP address of the originating client instead
530 of the proxy IP address.  
531
532 1. Enable mod_remoteip
533 +
534 [source,bash]
535 ---------------------------------------------------------------------------
536 sudo a2enmod remoteip
537 ---------------------------------------------------------------------------
538 +
539 2. Enable remote IP settings by uncommenting and modifying as needed the 
540    Apache configuration variables starting with RemoteIP* in the sample Apache
541    configuration file opensrf.conf.
542 +
543 3. Configure Apache to listen on port 7080 for HTTP and port 7443 for HTTPS
544    and ensure that it is not listening on ports 80 and 443, then restart Apache.
545 +
546 4. If you didn't run `configure` with the `--with-websockets-port=443` option,
547    edit `<PREFIX>/javascript/opensrf_ws.js` and `<PREFIX>/javascript/opensrf_ws_shared.js`
548    and change
549 +
550 [source, javascript]
551 ---------------------------------------------------------------------------
552 var WEBSOCKET_PORT_SSL = 7682;
553 ---------------------------------------------------------------------------
554 +
555 to
556 +
557 [source, javascript]
558 ---------------------------------------------------------------------------
559 var WEBSOCKET_PORT_SSL = 443;
560 ---------------------------------------------------------------------------
561
562
563 Optional: Using NGINX as a proxy
564 --------------------------------
565 NGINX can be used to proxy HTTP, HTTPS, and WebSockets traffic. Among other
566 reasons, this can be useful for Evergreen setups that want to have both
567 HTTPS and secure WebSockets traffic both go through port 443 while using
568 two Apache instances (one for the WebSockets gateway and one for the more
569 memory-intensive TPAC pages).
570
571 The following instructions are a guide for setting this up on Debian
572 and Ubuntu systems, but expect general familiarity with various system
573 administration and network tasks.  The steps should be run as the *root*
574 Linux account, and assume that you already followed the instructions
575 for installing WebSockets support.
576
577 1. Install NGINX if not already present:
578 +
579 [source, bash]
580 ---------------------------------------------------------------------------
581 apt-get install nginx
582 ---------------------------------------------------------------------------
583 +
584 2. Copy the example NGINX configuration file into place and remove default.
585 +
586 [source, bash]
587 ---------------------------------------------------------------------------
588 cd /path/to/opensrf-OSRFVERSION
589 cp examples/nginx/osrf-ws-http-proxy /etc/nginx/sites-available/
590 ln -s /etc/nginx/sites-available/osrf-ws-http-proxy /etc/nginx/sites-enabled/osrf-ws-http-proxy
591 rm /etc/nginx/sites-enabled/default
592 ---------------------------------------------------------------------------
593 +
594 3. Edit `/etc/nginx/sites-available/osrf-ws-http-proxy` to set the location
595    of the SSL certificate and private key.
596 4. Generate a dhparam file in the directory specified in the nginx config.
597 +
598 [source, bash]
599 ---------------------------------------------------------------------------
600 # Default config stores dhparam.pem in the Apache2 ssl directory.
601 openssl dhparam -out /etc/apache2/ssl/dhparam.pem 2048
602 ---------------------------------------------------------------------------
603 +
604 5. Start NGINX
605 +
606 [source, bash]
607 ---------------------------------------------------------------------------
608 /etc/init.d/nginx start
609 ---------------------------------------------------------------------------
610
611 Optional: Using HAProxy as a proxy
612 ----------------------------------
613 HAProxy can also be used to proxy HTTP, HTTPS, and WebSockets traffic
614 as an alternative to NGINX.
615
616 The following instructions are a guide for setting this up on Debian
617 and Ubuntu systems, but expect general familiarity with various system
618 administration and network tasks.  The steps should be run as the *root*
619 Linux account, and assume that you already followed the instructions
620 for installing WebSockets support.
621
622 1. Install HAProxy if not already present:
623 +
624 [source, bash]
625 ---------------------------------------------------------------------------
626 apt-get install haproxy
627 ---------------------------------------------------------------------------
628 +
629 2. Append the example HAProxy to `haproxy.cfg`.
630 +
631 [source, bash]
632 ---------------------------------------------------------------------------
633 cd /path/to/opensrf-OSRFVERSION
634 cat examples/haproxy/osrf-ws-http-proxy >> /etc/haproxy/haproxy.cfg
635 ---------------------------------------------------------------------------
636 +
637 3. Edit `/etc/haproxy/haproxy.cfg` to set the location
638    of the PEM file containing the SSL certificate and private key.
639 4. Start HAProxy.
640 +
641 [source, bash]
642 ---------------------------------------------------------------------------
643 /etc/init.d/haproxy start
644 ---------------------------------------------------------------------------
645
646 Getting help
647 ------------
648
649 Need help installing or using OpenSRF? Join the mailing lists at
650 http://evergreen-ils.org/communicate/mailing-lists/ or contact us 
651 on the Freenode IRC network on the #evergreen channel.