LP1940146: Update documentation
[OpenSRF.git] / README
1 Installing OpenSRF
2 ==================
3
4 Preamble: referenced user accounts
5 ----------------------------------
6
7 In subsequent sections, we will refer to a number of different accounts, as
8 follows:
9
10   * Linux user accounts:
11     ** The *user* Linux account is the account that you use to log onto the
12        Linux system as a regular user.
13     ** The *root* Linux account is an account that has system administrator
14        privileges. On Debian you can switch to this account from
15        your *user* account by issuing the `su -` command and entering the
16        password for the *root* account when prompted. On Ubuntu you can switch
17        to this account from your *user* account using the `sudo su -` command
18        and entering the password for your *user* account when prompted.
19     ** The *opensrf* Linux account is an account that you will create as part
20        of installing OpenSRF. You can switch to this account from the *root*
21        account by issuing the `su - opensrf` command.
22
23 Download and unpack the code
24 ----------------------------
25
26 Issue the following commands as the *user* Linux account.
27
28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
29 +
30 [source, bash]
31 ------------------------------------------------------------------------------
32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
33 ------------------------------------------------------------------------------
34 +
35 [NOTE]
36 Developers can find the full source code at the OpenSRF Git repository:
37 http://git.evergreen-ils.org/?p=OpenSRF.git
38 +
39 2. Unpack the tarball, and move into that directory:
40 +
41 [source, bash]
42 ------------------------------------------------------------------------------
43 tar -xvf opensrf-OSRFVERSION.tar.gz
44 cd opensrf-OSRFVERSION/
45 ------------------------------------------------------------------------------
46
47 Installing prerequisites
48 ------------------------
49
50 OpenSRF has a number of prerequisite packages that must be installed
51 before you can successfully configure, compile, and install OpenSRF.
52 On Debian and Ubuntu, the easiest way to install these prerequisites
53 is to use the Makefile.install prerequisite installer.
54
55 Issue the following commands as the *root* Linux account to install 
56 prerequisites using the Makefile.install prerequisite installer, substituting 
57 your operating system identifier for <osname> below:
58
59 [source, bash]
60 ---------------------------------------------------------------------------
61 apt-get install make
62 make -f src/extras/Makefile.install <osname>
63 ---------------------------------------------------------------------------
64
65 Well-tested values for <osname> include:
66
67   * `debian-bullseye` for Debian 11
68   * `debian-buster` for Debian 10
69   * `debian-stretch` for Debian 9
70   * `ubuntu-bionic` for Ubuntu 18.04
71   * `ubuntu-focal` for Ubuntu 20.04
72
73 Patches and suggestions for improvement from users of these distributions,
74 or others, are welcome!
75
76 When the prerequisite installer reaches the Perl module stage, you may 
77 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
78 on your server. You can generally accept the defaults by pressing <return>
79 for all of the prompts, except for the country configuration.
80
81 Preamble: Developer instructions
82 --------------------------------
83
84 [NOTE]
85 Skip this section if you are using an official release tarball downloaded
86 from https://evergreen-ils.org/opensrf-downloads/
87
88 Developers working directly with the source code from the Git repository,
89 rather than an official release tarball, must install some extra packages
90 and perform one step before they can proceed with the `./configure` step.
91
92 As the *root* Linux account, install the following packages:
93
94   * autoconf
95   * automake
96   * libtool
97
98 As the *user* Linux account, issue the following command in the OpenSRF
99 source directory to generate the configure script and Makefiles:
100
101 [source, bash]
102 ------------------------------------------------------------------------------
103 autoreconf -i
104 ------------------------------------------------------------------------------
105
106 Configuration and compilation instructions
107 ------------------------------------------
108
109 Use the `configure` command to configure OpenSRF, and the `make` command to
110 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
111 `/opensrf/`.
112
113 If you are building OpenSRF for Evergreen, issue the following commands as
114 the *user* Linux account to configure and build OpenSRF:
115
116 [source, bash]
117 ---------------------------------------------------------------------------
118 ./configure --prefix=/openils --sysconfdir=/openils/conf
119 make
120 ---------------------------------------------------------------------------
121
122 By default, OpenSRF includes C, Perl, and JavaScript support.
123
124 If you are planning on proxying WebSockets traffic (see below), you
125 can add `--with-websockets-port=443` to specify that WebSockets traffic
126 will be going through port 443. Without that option, the default port
127 is 7682.
128
129 Installation instructions
130 -------------------------
131
132 1. Once you have configured and compiled OpenSRF, issue the following
133    command as the *root* Linux account to install OpenSRF:
134 +
135 [source, bash]
136 ---------------------------------------------------------------------------
137 make install
138 ---------------------------------------------------------------------------
139
140 Create and set up the opensrf Unix user environment
141 ---------------------------------------------------
142
143 This user is used to start and stop all OpenSRF processes, and must own all
144 files contained in the PREFIX directory hierarchy. Issue the following
145 commands as the *root* Linux account to create the `opensrf` user and set up
146 its environment, substituting <PREFIX> with the value you passed to `--prefix`
147 in your configure command:
148
149 .Creating the `opensrf` user
150 [source, bash]
151 ---------------------------------------------------------------------------
152 useradd -m -s /bin/bash opensrf
153 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
154 passwd opensrf
155 chown -R opensrf:opensrf /<PREFIX>
156 ---------------------------------------------------------------------------
157
158 Define your public and private OpenSRF domains
159 ----------------------------------------------
160
161 For security purposes, OpenSRF uses Jabber domains to separate services
162 into public and private realms. Throughout these instructions, we will use
163 the example domains `public.localhost` and `private.localhost`. 
164
165 On a single-server system, the easiest way to define public and private
166 domains is to define separate hostnames by adding entries to the `/etc/hosts`
167 file. Here are entries that you could add to a stock `/etc/hosts` file for our
168 example domains:
169
170 .Example added entries for `/etc/hosts`
171 [source, bash]
172 ---------------------------------------------------------------------------
173 127.0.1.2       public.localhost        public
174 127.0.1.3       private.localhost       private
175 ---------------------------------------------------------------------------
176
177 Adjust the system dynamic library path
178 --------------------------------------
179
180 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
181 `ldconfig` as the *root* Linux account.
182
183 On Debian and Ubuntu systems, run the following commands as the *root*
184 Linux account:
185
186 .Adjusting the system dynamic library path
187 [source, bash]
188 ---------------------------------------------------------------------------
189 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
190 ldconfig
191 ---------------------------------------------------------------------------
192
193 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
194 create a file within the `/etc/ld.so.conf.d/` directory, and then run
195 `ldconfig` as the *root* Linux account.
196
197 Configure the ejabberd server
198 -----------------------------
199
200 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
201 the Jabber server of choice for the OpenSRF project. In most cases, you only
202 have to make a few changes to the default configuration file to make ejabberd
203 work for OpenSRF. 
204
205 1. Stop ejabberd before making any changes to its configuration by issuing the
206    following command as the *root* Linux account:
207 +
208 .Stopping ejabberd
209 [source, bash]
210 ---------------------------------------------------------------------------
211 systemctl stop ejabberd.service
212 ---------------------------------------------------------------------------
213 +
214 2. Edit the ejabberd config file.
215 +
216 (Debian Stretch) Ejabberd 16.x::
217 Open `/etc/ejabberd/ejabberd.yml` and make the following
218 changes:
219   a. Define your public and private domains in the `hosts` directive. For
220    example:
221 +
222 [source, bash]
223 ---------------------------------------------------------------------------
224 hosts:
225   - "localhost"
226   - "private.localhost"
227   - "public.localhost"
228 ---------------------------------------------------------------------------
229 +
230   b. Change `auth_password_format` to plain
231   c. Change `shaper:` `normal` and `fast` values to 500000
232   d. Increase the `max_user_sessions:` `all:` value to 10000
233   e. Comment out the `mod_offline` directive
234 +
235 -----------------------
236 ##mod_offline:
237     ##access_max_user_messages: max_user_offline_messages
238 -----------------------
239 +
240 (Debian Buster / Ubuntu Bionic / Ubuntu Focal) Ejabberd 18.x::
241 Open `/etc/ejabberd/ejabberd.yml` and make the following
242 changes:
243   a. Define your public and private domains in the `hosts` directive. For
244    example:
245 +
246 [source, bash]
247 ---------------------------------------------------------------------------
248 hosts:
249   - "localhost"
250   - "private.localhost"
251   - "public.localhost"
252 ---------------------------------------------------------------------------
253 +
254   b. Change `starttls_required` to false
255   c. Change `auth_password_format` to plain
256   d. Change `shaper:` `normal` and `fast` values to 500000
257   e. Increase the `max_user_sessions:` `all:` value to 10000
258   f. Comment out the `mod_offline` directive
259 +
260 -----------------------
261 ##mod_offline:
262     ##access_max_user_messages: max_user_offline_messages
263 -----------------------
264 +
265   g. Uncomment or add the `mod_legacy_auth` directive under the `modules:` section
266 +
267 -----------------------
268 mod_legacy_auth: {}
269 -----------------------
270 +
271 (Debian Bullseye) Ejabberd 21.x::
272 Open `/etc/ejabberd/ejabberd.yml` and make the following
273 changes:
274   a. Define your public and private domains in the `hosts` directive. For
275    example:
276 +
277 [source, bash]
278 ---------------------------------------------------------------------------
279 hosts:
280   - localhost
281   - private.localhost
282   - public.localhost
283 ---------------------------------------------------------------------------
284 +
285   b. Change `starttls_required` to false
286   c. Change `auth_password_format` to plain
287   d. Change all `shaper:` `normal` and `fast` values to 500000
288   e. Increase the `max_user_sessions:` `all:` value to 10000
289   f. Comment out the `max_user_offline_messages:` values
290 +
291 -----------------------
292 ##max_user_offline_messages:
293   ##5000: admin
294   ##100: all
295 -----------------------
296 +
297   g. Comment out the `mod_offline` directive
298 +
299 -----------------------
300 ##mod_offline:
301     ##access_max_user_messages: max_user_offline_messages
302 -----------------------
303 +
304   h. Add the `mod_legacy_auth` directive under the `modules:` section
305 +
306 -----------------------
307 mod_legacy_auth: {}
308 -----------------------
309 +
310 3. Restart the ejabberd server to make the changes take effect:
311 +
312 .Starting ejabberd
313 [source, bash]
314 ---------------------------------------------------------------------------
315 systemctl start ejabberd.service
316 ---------------------------------------------------------------------------
317
318 Create the OpenSRF Jabber users
319 -------------------------------
320
321 On each domain, you need two Jabber users to manage the OpenSRF communications:
322
323   * a `router` user, to whom all requests to connect to an OpenSRF service
324     will be routed; this Jabber user must be named `router`
325   * an `opensrf` user, which clients use to connect to OpenSRF services; this
326     user can be named anything you like
327
328 Create the Jabber users by issuing the following commands as the *root* Linux
329 account. Substitute `<password>` for your chosen passwords for each user
330 respectively:
331
332 .Creating the OpenSRF Jabber users
333 [source, bash]
334 ---------------------------------------------------------------------------
335 ejabberdctl register router private.localhost <password>
336 ejabberdctl register opensrf private.localhost <password>
337 ejabberdctl register router public.localhost <password>
338 ejabberdctl register opensrf public.localhost <password>
339 ---------------------------------------------------------------------------
340
341 Update the OpenSRF configuration files
342 --------------------------------------
343
344 About the OpenSRF configuration files
345 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
346 There are several configuration files that you must update to make OpenSRF
347 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
348 `--sysconfdir` during the configuration phase.
349
350   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
351     OpenSRF installation supports; if you create a new OpenSRF service,
352     you need to add it to this file.
353       ** The `<hosts>` element at the bottom of the file lists the services
354          that should be started for each hostname. You can force the system
355          to use `localhost`, so in most cases you will leave this section
356          as-is.
357     
358   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
359     information that will be used for the system, as well as determining
360     logging verbosity and defining which services will be exposed on the
361     HTTP gateway.
362
363   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
364     the `srfsh` interpreter to communicate with OpenSRF services.
365
366 Updating the OpenSRF configuration files
367 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
368   1. As the *opensrf* Linux account, copy the example configuration files
369      to create your locally customizable OpenSRF configuration files:
370 +
371 .Copying the example OpenSRF configuration files
372 [source, bash]
373 ---------------------------------------------------------------------------
374 cd SYSCONFDIR
375 cp opensrf_core.xml.example opensrf_core.xml
376 cp opensrf.xml.example opensrf.xml
377 ---------------------------------------------------------------------------
378 +
379   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
380      / password pairs to match the Jabber user accounts you just created:
381
382     a. `<config><opensrf>` = use the private Jabber `opensrf` user
383     b. `<config><gateway>` = use the public Jabber `opensrf` user
384     c. `<config><routers><router>` = use the public Jabber `router` user
385     d. `<config><routers><router>` = use the private Jabber `router` user
386   3. Create a `.srfsh.xml` file in the home directory of each user
387      that you want to use `srfsh` to communicate with OpenSRF services. For
388      example, to enable the *opensrf* Linux account to use `srfsh`:
389     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
390     b. Open `~/.srfsh.xml` in your text editor of choice and update the
391        password to match the password you set for the Jabber `opensrf` user
392        at the `private.localhost` domain.
393
394 Starting and stopping OpenSRF services
395 --------------------------------------
396
397 To start all OpenSRF services with a hostname of `localhost`, issue the
398 following command as the *opensrf* Linux account:
399
400 [source, bash]
401 ---------------------------------------------------------------------------
402 osrf_control --localhost --start-all
403 ---------------------------------------------------------------------------
404
405 To stop all OpenSRF services with a hostname of `localhost`, issue the
406 following command as the *opensrf* Linux account:
407
408 [source, bash]
409 ---------------------------------------------------------------------------
410 osrf_control --localhost --stop-all
411 ---------------------------------------------------------------------------
412
413 Testing the default OpenSRF services
414 ------------------------------------
415
416 By default, OpenSRF ships with an `opensrf.math` service that performs basic
417 calculations involving two integers. Once you have started the OpenSRF
418 services, test the services as follows:
419
420 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
421    command as the *opensrf* Linux account:
422 +
423 .Starting the `srfsh` interactive OpenSRF shell
424 [source, bash]
425 ---------------------------------------------------------------------------
426 srfsh
427 ---------------------------------------------------------------------------
428 +
429 2. Issue the following request to test the `opensrf.math` service:
430 +
431 [source, bash]
432 ---------------------------------------------------------------------------
433 srfsh# request opensrf.math add 2,2
434 ---------------------------------------------------------------------------
435 +
436 You should receive the value `4`.
437
438 Websockets installation instructions
439 ------------------------------------
440
441 1. Install websocketd (latest stable release from http://websocketd.com/)
442 +
443 .(Debian, Ubuntu)
444 [source,bash]
445 ---------------------------------------------------------------------------
446 cd /tmp
447 wget 'https://github.com/joewalnes/websocketd/releases/download/v0.3.0/websocketd-0.3.0-linux_amd64.zip'
448 unzip websocketd-0.3.0-linux_amd64.zip
449 sudo cp websocketd /usr/local/bin/
450 ---------------------------------------------------------------------------
451 +
452 2. Run websocketd
453 +
454 Choose option a or b, below.
455 +
456 [NOTE]
457 ===========================================================================
458 websocketd does not offer a configurable inactivity timeout, meaning
459 websocket client connections will persist until each client disconnects
460 or the service is restarted.  However, a timeout can be achieved with
461 the use of a proxy (option 'a' below).  A proxy also allows websocketd
462 to be exposed to web clients on port 443 instead of its internal port, 
463 which may simplify firewall configuration.
464 ===========================================================================
465 +
466 a. Run websocketd as 'opensrf'
467 +
468 [NOTE]
469 ===========================================================================
470 This choice requires one of the proxy configurations mentioned below.
471 ===========================================================================
472 +
473 .(Debian, Ubuntu)
474 [source,bash]
475 ---------------------------------------------------------------------------
476 /usr/local/bin/websocketd --port 7682 /openils/bin/osrf-websocket-stdio &
477
478 # Other useful command line parameters include:
479 # --loglevel debug|trace|access|info|error|fatal
480 # --maxforks <n>
481 # --sameorigin=true
482 # --origin=host[:port][,host[:port]...]
483
484 # See https://github.com/joewalnes/websocketd/blob/master/help.go
485 ---------------------------------------------------------------------------
486 +
487 b. Run websocketd without a proxy
488 +
489 .(Debian, Ubuntu)
490 [source,bash]
491 ---------------------------------------------------------------------------
492 sudo -b /usr/local/bin/websocketd --port 7682 --ssl --sslcert=/etc/apache2/ssl/server.crt \
493      --sslkey=/etc/apache2/ssl/server.key /openils/bin/osrf-websocket-stdio
494 ---------------------------------------------------------------------------
495
496 Optional: Using a web proxy (Apache 2.4 and above)
497 --------------------------------------------------
498 When the OpenSRF HTTP Translator runs behind a proxy, Apache must be 
499 configured to read the IP address of the originating client instead
500 of the proxy IP address.  
501
502 1. Enable mod_remoteip
503 +
504 [source,bash]
505 ---------------------------------------------------------------------------
506 sudo a2enmod remoteip
507 ---------------------------------------------------------------------------
508 +
509 2. Enable remote IP settings by uncommenting and modifying as needed the 
510    Apache configuration variables starting with RemoteIP* in the sample Apache
511    configuration file opensrf.conf.
512 +
513 3. Configure Apache to listen on port 7080 for HTTP and port 7443 for HTTPS
514    and ensure that it is not listening on ports 80 and 443, then restart Apache.
515 +
516 4. If you didn't run `configure` with the `--with-websockets-port=443` option,
517    edit `<PREFIX>/javascript/opensrf_ws.js` and `<PREFIX>/javascript/opensrf_ws_shared.js`
518    and change
519 +
520 [source, javascript]
521 ---------------------------------------------------------------------------
522 var WEBSOCKET_PORT_SSL = 7682;
523 ---------------------------------------------------------------------------
524 +
525 to
526 +
527 [source, javascript]
528 ---------------------------------------------------------------------------
529 var WEBSOCKET_PORT_SSL = 443;
530 ---------------------------------------------------------------------------
531
532
533 Optional: Using NGINX as a proxy
534 --------------------------------
535 NGINX can be used to proxy HTTP, HTTPS, and WebSockets traffic. Among other
536 reasons, this can be useful for Evergreen setups that want to have both
537 HTTPS and secure WebSockets traffic both go through port 443 while using
538 two Apache instances (one for the WebSockets gateway and one for the more
539 memory-intensive TPAC pages).
540
541 The following instructions are a guide for setting this up on Debian
542 and Ubuntu systems, but expect general familiarity with various system
543 administration and network tasks.  The steps should be run as the *root*
544 Linux account, and assume that you already followed the instructions
545 for installing WebSockets support.
546
547 1. Install NGINX if not already present:
548 +
549 [source, bash]
550 ---------------------------------------------------------------------------
551 apt-get install nginx
552 ---------------------------------------------------------------------------
553 +
554 2. Copy the example NGINX configuration file into place and remove default.
555 +
556 [source, bash]
557 ---------------------------------------------------------------------------
558 cd /path/to/opensrf-OSRFVERSION
559 cp examples/nginx/osrf-ws-http-proxy /etc/nginx/sites-available/
560 ln -s /etc/nginx/sites-available/osrf-ws-http-proxy /etc/nginx/sites-enabled/osrf-ws-http-proxy
561 rm /etc/nginx/sites-enabled/default
562 ---------------------------------------------------------------------------
563 +
564 3. Edit `/etc/nginx/sites-available/osrf-ws-http-proxy` to set the location
565    of the SSL certificate and private key.
566 4. Generate a dhparam file in the directory specified in the nginx config.
567 +
568 [source, bash]
569 ---------------------------------------------------------------------------
570 # Default config stores dhparam.pem in the Apache2 ssl directory.
571 openssl dhparam -out /etc/apache2/ssl/dhparam.pem 2048
572 ---------------------------------------------------------------------------
573 +
574 5. Start NGINX
575 +
576 [source, bash]
577 ---------------------------------------------------------------------------
578 /etc/init.d/nginx start
579 ---------------------------------------------------------------------------
580
581 Optional: Using HAProxy as a proxy
582 ----------------------------------
583 HAProxy can also be used to proxy HTTP, HTTPS, and WebSockets traffic
584 as an alternative to NGINX.
585
586 The following instructions are a guide for setting this up on Debian
587 and Ubuntu systems, but expect general familiarity with various system
588 administration and network tasks.  The steps should be run as the *root*
589 Linux account, and assume that you already followed the instructions
590 for installing WebSockets support.
591
592 1. Install HAProxy if not already present:
593 +
594 [source, bash]
595 ---------------------------------------------------------------------------
596 apt-get install haproxy
597 ---------------------------------------------------------------------------
598 +
599 2. Append the example HAProxy to `haproxy.cfg`.
600 +
601 [source, bash]
602 ---------------------------------------------------------------------------
603 cd /path/to/opensrf-OSRFVERSION
604 cat examples/haproxy/osrf-ws-http-proxy >> /etc/haproxy/haproxy.cfg
605 ---------------------------------------------------------------------------
606 +
607 3. Edit `/etc/haproxy/haproxy.cfg` to set the location
608    of the PEM file containing the SSL certificate and private key.
609 4. Start HAProxy.
610 +
611 [source, bash]
612 ---------------------------------------------------------------------------
613 /etc/init.d/haproxy start
614 ---------------------------------------------------------------------------
615
616 Getting help
617 ------------
618
619 Need help installing or using OpenSRF? Join the mailing lists at
620 http://evergreen-ils.org/communicate/mailing-lists/ or contact us 
621 on the Freenode IRC network on the #evergreen channel.