LP1830642 Remove variable args from md5sum()
[OpenSRF.git] / README
1 Installing OpenSRF
2 ==================
3
4 Preamble: referenced user accounts
5 ----------------------------------
6
7 In subsequent sections, we will refer to a number of different accounts, as
8 follows:
9
10   * Linux user accounts:
11     ** The *user* Linux account is the account that you use to log onto the
12        Linux system as a regular user.
13     ** The *root* Linux account is an account that has system administrator
14        privileges. On Debian you can switch to this account from
15        your *user* account by issuing the `su -` command and entering the
16        password for the *root* account when prompted. On Ubuntu you can switch
17        to this account from your *user* account using the `sudo su -` command
18        and entering the password for your *user* account when prompted.
19     ** The *opensrf* Linux account is an account that you will create as part
20        of installing OpenSRF. You can switch to this account from the *root*
21        account by issuing the `su - opensrf` command.
22
23 Download and unpack the code
24 ----------------------------
25
26 Issue the following commands as the *user* Linux account.
27
28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
29 +
30 [source, bash]
31 ------------------------------------------------------------------------------
32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
33 ------------------------------------------------------------------------------
34 +
35 [NOTE]
36 Developers can find the full source code at the OpenSRF Git repository:
37 http://git.evergreen-ils.org/?p=OpenSRF.git
38 +
39 2. Unpack the tarball, and move into that directory:
40 +
41 [source, bash]
42 ------------------------------------------------------------------------------
43 tar -xvf opensrf-OSRFVERSION.tar.gz
44 cd opensrf-OSRFVERSION/
45 ------------------------------------------------------------------------------
46
47 Installing prerequisites
48 ------------------------
49
50 OpenSRF has a number of prerequisite packages that must be installed
51 before you can successfully configure, compile, and install OpenSRF.
52 On Debian and Ubuntu, the easiest way to install these prerequisites
53 is to use the Makefile.install prerequisite installer.
54
55 Issue the following commands as the *root* Linux account to install 
56 prerequisites using the Makefile.install prerequisite installer, substituting 
57 your operating system identifier for <osname> below:
58
59 [source, bash]
60 ---------------------------------------------------------------------------
61 apt-get install make
62 make -f src/extras/Makefile.install <osname>
63 ---------------------------------------------------------------------------
64
65 Well-tested values for <osname> include:
66
67   * `debian-buster` for Debian 10
68   * `debian-stretch` for Debian 9
69   * `debian-jessie` for Debian 8
70   * `ubuntu-xenial` for Ubuntu 16.04
71   * `ubuntu-bionic` for Ubuntu 18.04
72
73 Patches and suggestions for improvement from users of these distributions,
74 or others, are welcome!
75
76 When the prerequisite installer reaches the Perl module stage, you may 
77 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
78 on your server. You can generally accept the defaults by pressing <return>
79 for all of the prompts, except for the country configuration.
80
81 Preamble: Developer instructions
82 --------------------------------
83
84 [NOTE]
85 Skip this section if you are using an official release tarball downloaded
86 from https://evergreen-ils.org/opensrf-downloads/
87
88 Developers working directly with the source code from the Git repository,
89 rather than an official release tarball, must install some extra packages
90 and perform one step before they can proceed with the `./configure` step.
91
92 As the *root* Linux account, install the following packages:
93
94   * autoconf
95   * automake
96   * libtool
97
98 As the *user* Linux account, issue the following command in the OpenSRF
99 source directory to generate the configure script and Makefiles:
100
101 [source, bash]
102 ------------------------------------------------------------------------------
103 autoreconf -i
104 ------------------------------------------------------------------------------
105
106 Configuration and compilation instructions
107 ------------------------------------------
108
109 Use the `configure` command to configure OpenSRF, and the `make` command to
110 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
111 `/opensrf/`.
112
113 If you are building OpenSRF for Evergreen, issue the following commands as
114 the *user* Linux account to configure and build OpenSRF:
115
116 [source, bash]
117 ---------------------------------------------------------------------------
118 ./configure --prefix=/openils --sysconfdir=/openils/conf
119 make
120 ---------------------------------------------------------------------------
121
122 By default, OpenSRF includes C, Perl, and JavaScript support.
123 You can add the `--enable-python` option to the configure command
124 to build Python support and `--enable-java` for Java support.
125
126 If you are planning on proxying WebSockets traffic (see below), you
127 can add `--with-websockets-port=443` to specify that WebSockets traffic
128 will be going through port 443. Without that option, the default port
129 is 7682.
130
131 Installation instructions
132 -------------------------
133
134 1. Once you have configured and compiled OpenSRF, issue the following
135    command as the *root* Linux account to install OpenSRF:
136 +
137 [source, bash]
138 ---------------------------------------------------------------------------
139 make install
140 ---------------------------------------------------------------------------
141
142 Create and set up the opensrf Unix user environment
143 ---------------------------------------------------
144
145 This user is used to start and stop all OpenSRF processes, and must own all
146 files contained in the PREFIX directory hierarchy. Issue the following
147 commands as the *root* Linux account to create the `opensrf` user and set up
148 its environment, substituting <PREFIX> with the value you passed to `--prefix`
149 in your configure command:
150
151 .Creating the `opensrf` user
152 [source, bash]
153 ---------------------------------------------------------------------------
154 useradd -m -s /bin/bash opensrf
155 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
156 passwd opensrf
157 chown -R opensrf:opensrf /<PREFIX>
158 ---------------------------------------------------------------------------
159
160 Define your public and private OpenSRF domains
161 ----------------------------------------------
162
163 For security purposes, OpenSRF uses Jabber domains to separate services
164 into public and private realms. Throughout these instructions, we will use
165 the example domains `public.localhost` and `private.localhost`. 
166
167 On a single-server system, the easiest way to define public and private
168 domains is to define separate hostnames by adding entries to the `/etc/hosts`
169 file. Here are entries that you could add to a stock `/etc/hosts` file for our
170 example domains:
171
172 .Example added entries for `/etc/hosts`
173 [source, bash]
174 ---------------------------------------------------------------------------
175 127.0.1.2       public.localhost        public
176 127.0.1.3       private.localhost       private
177 ---------------------------------------------------------------------------
178
179 Adjust the system dynamic library path
180 --------------------------------------
181
182 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
183 `ldconfig` as the *root* Linux account.
184
185 On Debian and Ubuntu systems, run the following commands as the *root*
186 Linux account:
187
188 .Adjusting the system dynamic library path
189 [source, bash]
190 ---------------------------------------------------------------------------
191 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
192 ldconfig
193 ---------------------------------------------------------------------------
194
195 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
196 create a file within the `/etc/ld.so.conf.d/` directory, and then run
197 `ldconfig` as the *root* Linux account.
198
199 Configure the ejabberd server
200 -----------------------------
201
202 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
203 the Jabber server of choice for the OpenSRF project. In most cases, you only
204 have to make a few changes to the default configuration file to make ejabberd
205 work for OpenSRF. 
206
207 1. Stop ejabberd before making any changes to its configuration by issuing the
208    following command as the *root* Linux account:
209 +
210 .(Debian / Ubuntu Xenial / Ubuntu Bionic) Stopping ejabberd
211 [source, bash]
212 ---------------------------------------------------------------------------
213 systemctl stop ejabberd.service
214 ---------------------------------------------------------------------------
215 +
216 2. Edit the ejabberd config file.
217 +
218 (Debian Jessie) Ejabberd 13.x and 14.x::
219 Open `/etc/ejabberd/ejabberd.yml` and make the following
220 changes:
221   a. Define your public and private domains in the `hosts` directive. For
222    example:
223 +
224 [source, bash]
225 ---------------------------------------------------------------------------
226 hosts:
227   - "localhost"
228   - "private.localhost"
229   - "public.localhost"
230 ---------------------------------------------------------------------------
231 +
232   b. Change `shaper:` `normal` and `fast` values to 500000
233   c. Increase the `max_user_sessions:` `all:` value to 10000
234   d. Comment out the `mod_offline` directive
235 +
236 -----------------------
237 ##mod_offline:
238     ##access_max_user_messages: max_user_offline_messages
239 -----------------------
240 +
241 (Debian Stretch / Ubuntu Xenial) Ejabberd 16.x::
242 Open `/etc/ejabberd/ejabberd.yml` and make the following
243 changes:
244   a. Define your public and private domains in the `hosts` directive. For
245    example:
246 +
247 [source, bash]
248 ---------------------------------------------------------------------------
249 hosts:
250   - "localhost"
251   - "private.localhost"
252   - "public.localhost"
253 ---------------------------------------------------------------------------
254 +
255   b. Change `auth_password_format` to plain
256   c. Change `shaper:` `normal` and `fast` values to 500000
257   d. Increase the `max_user_sessions:` `all:` value to 10000
258   e. Comment out the `mod_offline` directive
259 +
260 -----------------------
261 ##mod_offline:
262     ##access_max_user_messages: max_user_offline_messages
263 -----------------------
264 +
265 (Debian Buster / Ubuntu Bionic) Ejabberd 18.x::
266 Open `/etc/ejabberd/ejabberd.yml` and make the following
267 changes:
268   a. Define your public and private domains in the `hosts` directive. For
269    example:
270 +
271 [source, bash]
272 ---------------------------------------------------------------------------
273 hosts:
274   - "localhost"
275   - "private.localhost"
276   - "public.localhost"
277 ---------------------------------------------------------------------------
278 +
279   b. Change `starttls_required` to false
280   c. Change `auth_password_format` to plain
281   d. Change `shaper:` `normal` and `fast` values to 500000
282   e. Increase the `max_user_sessions:` `all:` value to 10000
283   f. Comment out the `mod_offline` directive
284 +
285 -----------------------
286 ##mod_offline:
287     ##access_max_user_messages: max_user_offline_messages
288 -----------------------
289 +
290   g. Uncomment or add the `mod_legacy_auth` directive
291 +
292 -----------------------
293 mod_legacy_auth: {}
294 -----------------------
295 +
296 3. Restart the ejabberd server to make the changes take effect:
297 +
298 .(Debian / Ubuntu Xenial / Ubuntu Bionic) Starting ejabberd
299 [source, bash]
300 ---------------------------------------------------------------------------
301 systemctl start ejabberd.service
302 ---------------------------------------------------------------------------
303
304 Create the OpenSRF Jabber users
305 -------------------------------
306
307 On each domain, you need two Jabber users to manage the OpenSRF communications:
308
309   * a `router` user, to whom all requests to connect to an OpenSRF service
310     will be routed; this Jabber user must be named `router`
311   * an `opensrf` user, which clients use to connect to OpenSRF services; this
312     user can be named anything you like
313
314 Create the Jabber users by issuing the following commands as the *root* Linux
315 account. Substitute `<password>` for your chosen passwords for each user
316 respectively:
317
318 .Creating the OpenSRF Jabber users
319 [source, bash]
320 ---------------------------------------------------------------------------
321 ejabberdctl register router private.localhost <password>
322 ejabberdctl register opensrf private.localhost <password>
323 ejabberdctl register router public.localhost <password>
324 ejabberdctl register opensrf public.localhost <password>
325 ---------------------------------------------------------------------------
326
327 Update the OpenSRF configuration files
328 --------------------------------------
329
330 About the OpenSRF configuration files
331 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
332 There are several configuration files that you must update to make OpenSRF
333 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
334 `--sysconfdir` during the configuration phase.
335
336   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
337     OpenSRF installation supports; if you create a new OpenSRF service,
338     you need to add it to this file.
339       ** The `<hosts>` element at the bottom of the file lists the services
340          that should be started for each hostname. You can force the system
341          to use `localhost`, so in most cases you will leave this section
342          as-is.
343     
344   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
345     information that will be used for the system, as well as determining
346     logging verbosity and defining which services will be exposed on the
347     HTTP gateway.
348
349   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
350     the `srfsh` interpreter to communicate with OpenSRF services.
351
352 Updating the OpenSRF configuration files
353 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
354   1. As the *opensrf* Linux account, copy the example configuration files
355      to create your locally customizable OpenSRF configuration files:
356 +
357 .Copying the example OpenSRF configuration files
358 [source, bash]
359 ---------------------------------------------------------------------------
360 cd SYSCONFDIR
361 cp opensrf_core.xml.example opensrf_core.xml
362 cp opensrf.xml.example opensrf.xml
363 ---------------------------------------------------------------------------
364 +
365   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
366      / password pairs to match the Jabber user accounts you just created:
367
368     a. `<config><opensrf>` = use the private Jabber `opensrf` user
369     b. `<config><gateway>` = use the public Jabber `opensrf` user
370     c. `<config><routers><router>` = use the public Jabber `router` user
371     d. `<config><routers><router>` = use the private Jabber `router` user
372   3. Create a `.srfsh.xml` file in the home directory of each user
373      that you want to use `srfsh` to communicate with OpenSRF services. For
374      example, to enable the *opensrf* Linux account to use `srfsh`:
375     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
376     b. Open `~/.srfsh.xml` in your text editor of choice and update the
377        password to match the password you set for the Jabber `opensrf` user
378        at the `private.localhost` domain.
379
380 Starting and stopping OpenSRF services
381 --------------------------------------
382
383 To start all OpenSRF services with a hostname of `localhost`, issue the
384 following command as the *opensrf* Linux account:
385
386 [source, bash]
387 ---------------------------------------------------------------------------
388 osrf_control --localhost --start-all
389 ---------------------------------------------------------------------------
390
391 To stop all OpenSRF services with a hostname of `localhost`, issue the
392 following command as the *opensrf* Linux account:
393
394 [source, bash]
395 ---------------------------------------------------------------------------
396 osrf_control --localhost --stop-all
397 ---------------------------------------------------------------------------
398
399 Testing the default OpenSRF services
400 ------------------------------------
401
402 By default, OpenSRF ships with an `opensrf.math` service that performs basic
403 calculations involving two integers. Once you have started the OpenSRF
404 services, test the services as follows:
405
406 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
407    command as the *opensrf* Linux account:
408 +
409 .Starting the `srfsh` interactive OpenSRF shell
410 [source, bash]
411 ---------------------------------------------------------------------------
412 srfsh
413 ---------------------------------------------------------------------------
414 +
415 2. Issue the following request to test the `opensrf.math` service:
416 +
417 [source, bash]
418 ---------------------------------------------------------------------------
419 srfsh# request opensrf.math add 2,2
420 ---------------------------------------------------------------------------
421 +
422 You should receive the value `4`.
423
424 Websockets installation instructions
425 ------------------------------------
426
427 1. Install websocketd (latest stable release from http://websocketd.com/)
428 +
429 .(Debian, Ubuntu)
430 [source,bash]
431 ---------------------------------------------------------------------------
432 cd /tmp
433 wget 'https://github.com/joewalnes/websocketd/releases/download/v0.3.0/websocketd-0.3.0-linux_amd64.zip'
434 unzip websocketd-0.3.0-linux_amd64.zip
435 sudo cp websocketd /usr/local/bin/
436 ---------------------------------------------------------------------------
437 +
438 2. Run websocketd
439 +
440 Choose option a or b, below.
441 +
442 [NOTE]
443 ===========================================================================
444 websocketd does not offer a configurable inactivity timeout, meaning
445 websocket client connections will persist until each client disconnects
446 or the service is restarted.  However, a timeout can be achieved with
447 the use of a proxy (option 'a' below).  A proxy also allows websocketd
448 to be exposed to web clients on port 443 instead of its internal port, 
449 which may simplify firewall configuration.
450 ===========================================================================
451 +
452 a. Run websocketd as 'opensrf'
453 +
454 [NOTE]
455 ===========================================================================
456 This choice requires one of the proxy configurations mentioned below.
457 ===========================================================================
458 +
459 .(Debian, Ubuntu)
460 [source,bash]
461 ---------------------------------------------------------------------------
462 /usr/local/bin/websocketd --port 7682 /openils/bin/osrf-websocket-stdio &
463
464 # Other useful command line parameters include:
465 # --loglevel debug|trace|access|info|error|fatal
466 # --maxforks <n>
467 # --sameorigin=true
468 # --origin=host[:port][,host[:port]...]
469
470 # See https://github.com/joewalnes/websocketd/blob/master/help.go
471 ---------------------------------------------------------------------------
472 +
473 b. Run websocketd without a proxy
474 +
475 .(Debian, Ubuntu)
476 [source,bash]
477 ---------------------------------------------------------------------------
478 sudo -b /usr/local/bin/websocketd --port 7682 --ssl --sslcert=/etc/apache2/ssl/server.crt \
479      --sslkey=/etc/apache2/ssl/server.key /openils/bin/osrf-websocket-stdio
480 ---------------------------------------------------------------------------
481
482 Optional: Using a web proxy (Apache 2.4 and above)
483 --------------------------------------------------
484 When the OpenSRF HTTP Translator runs behind a proxy, Apache must be 
485 configured to read the IP address of the originating client instead
486 of the proxy IP address.  
487
488 1. Enable mod_remoteip
489 +
490 [source,bash]
491 ---------------------------------------------------------------------------
492 sudo a2enmod remoteip
493 ---------------------------------------------------------------------------
494 +
495 2. Enable remote IP settings by uncommenting and modifying as needed the 
496    Apache configuration variables starting with RemoteIP* in the sample Apache
497    configuration file opensrf.conf.
498 +
499 3. Configure Apache to listen on port 7080 for HTTP and port 7443 for HTTPS
500    and ensure that it is not listening on ports 80 and 443, then restart Apache.
501 +
502 4. If you didn't run `configure` with the `--with-websockets-port=443` option,
503    edit `<PREFIX>/javascript/opensrf_ws.js` and `<PREFIX>/javascript/opensrf_ws_shared.js`
504    and change
505 +
506 [source, javascript]
507 ---------------------------------------------------------------------------
508 var WEBSOCKET_PORT_SSL = 7682;
509 ---------------------------------------------------------------------------
510 +
511 to
512 +
513 [source, javascript]
514 ---------------------------------------------------------------------------
515 var WEBSOCKET_PORT_SSL = 443;
516 ---------------------------------------------------------------------------
517
518
519 Optional: Using NGINX as a proxy
520 --------------------------------
521 NGINX can be used to proxy HTTP, HTTPS, and WebSockets traffic. Among other
522 reasons, this can be useful for Evergreen setups that want to have both
523 HTTPS and secure WebSockets traffic both go through port 443 while using
524 two Apache instances (one for the WebSockets gateway and one for the more
525 memory-intensive TPAC pages).
526
527 The following instructions are a guide for setting this up on Debian
528 and Ubuntu systems, but expect general familiarity with various system
529 administration and network tasks.  The steps should be run as the *root*
530 Linux account, and assume that you already followed the instructions
531 for installing WebSockets support.
532
533 1. Install NGINX if not already present:
534 +
535 [source, bash]
536 ---------------------------------------------------------------------------
537 apt-get install nginx
538 ---------------------------------------------------------------------------
539 +
540 2. Copy the example NGINX configuration file into place and remove default.
541 +
542 [source, bash]
543 ---------------------------------------------------------------------------
544 cd /path/to/opensrf-OSRFVERSION
545 cp examples/nginx/osrf-ws-http-proxy /etc/nginx/sites-available/
546 ln -s /etc/nginx/sites-available/osrf-ws-http-proxy /etc/nginx/sites-enabled/osrf-ws-http-proxy
547 rm /etc/nginx/sites-enabled/default
548 ---------------------------------------------------------------------------
549 +
550 3. Edit `/etc/nginx/sites-available/osrf-ws-http-proxy` to set the location
551    of the SSL certificate and private key.
552 4. Generate a dhparam file in the directory specified in the nginx config.
553 +
554 [source, bash]
555 ---------------------------------------------------------------------------
556 # Default config stores dhparam.pem in the Apache2 ssl directory.
557 openssl dhparam -out /etc/apache2/ssl/dhparam.pem 2048
558 ---------------------------------------------------------------------------
559 +
560 5. Start NGINX
561 +
562 [source, bash]
563 ---------------------------------------------------------------------------
564 /etc/init.d/nginx start
565 ---------------------------------------------------------------------------
566
567 Optional: Using HAProxy as a proxy
568 ----------------------------------
569 HAProxy can also be used to proxy HTTP, HTTPS, and WebSockets traffic
570 as an alternative to NGINX.
571
572 The following instructions are a guide for setting this up on Debian
573 and Ubuntu systems, but expect general familiarity with various system
574 administration and network tasks.  The steps should be run as the *root*
575 Linux account, and assume that you already followed the instructions
576 for installing WebSockets support.
577
578 1. Install HAProxy if not already present:
579 +
580 [source, bash]
581 ---------------------------------------------------------------------------
582 apt-get install haproxy
583 ---------------------------------------------------------------------------
584 +
585 2. Append the example HAProxy to `haproxy.cfg`.
586 +
587 [source, bash]
588 ---------------------------------------------------------------------------
589 cd /path/to/opensrf-OSRFVERSION
590 cat examples/haproxy/osrf-ws-http-proxy >> /etc/haproxy/haproxy.cfg
591 ---------------------------------------------------------------------------
592 +
593 3. Edit `/etc/haproxy/haproxy.cfg` to set the location
594    of the PEM file containing the SSL certificate and private key.
595 4. Start HAProxy.
596 +
597 [source, bash]
598 ---------------------------------------------------------------------------
599 /etc/init.d/haproxy start
600 ---------------------------------------------------------------------------
601
602 Troubleshooting note for Python users
603 -------------------------------------
604
605 If you are running a Python client and trying to connect to OpenSRF running on
606 localhost rather than a hostname that can be resolved via DNS, you will
607 probably receive exceptions about `dns.resolver.NXDOMAIN`. If this happens,
608 you need to install the `dnsmasq` package, configure it to serve up a DNS
609 entry for localhost, and point your local DNS resolver to `dnsmasq`. For example,
610 on Ubuntu you can issue the following commands as the *root* Linux account:
611
612 .Installing and starting `dnsmasq`
613 [source, bash]
614 ---------------------------------------------------------------------------
615 aptitude install dnsmasq
616 /etc/init.d/dnsmasq restart
617 ---------------------------------------------------------------------------
618
619 Then edit `/etc/resolv.conf` and ensure that `nameserver 127.0.0.1` is the
620 first entry in the file.
621
622 Getting help
623 ------------
624
625 Need help installing or using OpenSRF? Join the mailing lists at
626 http://evergreen-ils.org/communicate/mailing-lists/ or contact us 
627 on the Freenode IRC network on the #evergreen channel.