0d8b82065adab6eaa06e1dddf469bdb42176e7a9
[OpenSRF.git] / README
1 Installing OpenSRF
2 ==================
3
4 Preamble: referenced user accounts
5 ----------------------------------
6
7 In subsequent sections, we will refer to a number of different accounts, as
8 follows:
9
10   * Linux user accounts:
11     ** The *user* Linux account is the account that you use to log onto the
12        Linux system as a regular user.
13     ** The *root* Linux account is an account that has system administrator
14        privileges. On Debian you can switch to this account from
15        your *user* account by issuing the `su -` command and entering the
16        password for the *root* account when prompted. On Ubuntu you can switch
17        to this account from your *user* account using the `sudo su -` command
18        and entering the password for your *user* account when prompted.
19     ** The *opensrf* Linux account is an account that you will create as part
20        of installing OpenSRF. You can switch to this account from the *root*
21        account by issuing the `su - opensrf` command.
22
23 Download and unpack the code
24 ----------------------------
25
26 Issue the following commands as the *user* Linux account.
27
28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
29 +
30 [source, bash]
31 ------------------------------------------------------------------------------
32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
33 ------------------------------------------------------------------------------
34 +
35 [NOTE]
36 Developers can find the full source code at the OpenSRF Git repository:
37 http://git.evergreen-ils.org/?p=OpenSRF.git
38 +
39 2. Unpack the tarball, and move into that directory:
40 +
41 [source, bash]
42 ------------------------------------------------------------------------------
43 tar -xvf opensrf-OSRFVERSION.tar.gz
44 cd opensrf-OSRFVERSION/
45 ------------------------------------------------------------------------------
46
47 Installing prerequisites
48 ------------------------
49
50 OpenSRF has a number of prerequisite packages that must be installed
51 before you can successfully configure, compile, and install OpenSRF.
52 On Debian and Ubuntu, the easiest way to install these prerequisites
53 is to use the Makefile.install prerequisite installer.
54
55 Issue the following commands as the *root* Linux account to install 
56 prerequisites using the Makefile.install prerequisite installer, substituting 
57 your operating system identifier for <osname> below:
58
59 [source, bash]
60 ---------------------------------------------------------------------------
61 apt-get install make
62 make -f src/extras/Makefile.install <osname>
63 ---------------------------------------------------------------------------
64
65 Well-tested values for <osname> include:
66
67   * `debian-buster` for Debian 10
68   * `debian-stretch` for Debian 9
69   * `debian-jessie` for Debian 8
70   * `ubuntu-xenial` for Ubuntu 16.04
71   * `ubuntu-bionic` for Ubuntu 18.04
72   * `ubuntu-focal` for Ubuntu 20.04
73
74 Patches and suggestions for improvement from users of these distributions,
75 or others, are welcome!
76
77 When the prerequisite installer reaches the Perl module stage, you may 
78 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
79 on your server. You can generally accept the defaults by pressing <return>
80 for all of the prompts, except for the country configuration.
81
82 Preamble: Developer instructions
83 --------------------------------
84
85 [NOTE]
86 Skip this section if you are using an official release tarball downloaded
87 from https://evergreen-ils.org/opensrf-downloads/
88
89 Developers working directly with the source code from the Git repository,
90 rather than an official release tarball, must install some extra packages
91 and perform one step before they can proceed with the `./configure` step.
92
93 As the *root* Linux account, install the following packages:
94
95   * autoconf
96   * automake
97   * libtool
98
99 As the *user* Linux account, issue the following command in the OpenSRF
100 source directory to generate the configure script and Makefiles:
101
102 [source, bash]
103 ------------------------------------------------------------------------------
104 autoreconf -i
105 ------------------------------------------------------------------------------
106
107 Configuration and compilation instructions
108 ------------------------------------------
109
110 Use the `configure` command to configure OpenSRF, and the `make` command to
111 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
112 `/opensrf/`.
113
114 If you are building OpenSRF for Evergreen, issue the following commands as
115 the *user* Linux account to configure and build OpenSRF:
116
117 [source, bash]
118 ---------------------------------------------------------------------------
119 ./configure --prefix=/openils --sysconfdir=/openils/conf
120 make
121 ---------------------------------------------------------------------------
122
123 By default, OpenSRF includes C, Perl, and JavaScript support.
124
125 If you are planning on proxying WebSockets traffic (see below), you
126 can add `--with-websockets-port=443` to specify that WebSockets traffic
127 will be going through port 443. Without that option, the default port
128 is 7682.
129
130 Installation instructions
131 -------------------------
132
133 1. Once you have configured and compiled OpenSRF, issue the following
134    command as the *root* Linux account to install OpenSRF:
135 +
136 [source, bash]
137 ---------------------------------------------------------------------------
138 make install
139 ---------------------------------------------------------------------------
140
141 Create and set up the opensrf Unix user environment
142 ---------------------------------------------------
143
144 This user is used to start and stop all OpenSRF processes, and must own all
145 files contained in the PREFIX directory hierarchy. Issue the following
146 commands as the *root* Linux account to create the `opensrf` user and set up
147 its environment, substituting <PREFIX> with the value you passed to `--prefix`
148 in your configure command:
149
150 .Creating the `opensrf` user
151 [source, bash]
152 ---------------------------------------------------------------------------
153 useradd -m -s /bin/bash opensrf
154 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
155 passwd opensrf
156 chown -R opensrf:opensrf /<PREFIX>
157 ---------------------------------------------------------------------------
158
159 Define your public and private OpenSRF domains
160 ----------------------------------------------
161
162 For security purposes, OpenSRF uses Jabber domains to separate services
163 into public and private realms. Throughout these instructions, we will use
164 the example domains `public.localhost` and `private.localhost`. 
165
166 On a single-server system, the easiest way to define public and private
167 domains is to define separate hostnames by adding entries to the `/etc/hosts`
168 file. Here are entries that you could add to a stock `/etc/hosts` file for our
169 example domains:
170
171 .Example added entries for `/etc/hosts`
172 [source, bash]
173 ---------------------------------------------------------------------------
174 127.0.1.2       public.localhost        public
175 127.0.1.3       private.localhost       private
176 ---------------------------------------------------------------------------
177
178 Adjust the system dynamic library path
179 --------------------------------------
180
181 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
182 `ldconfig` as the *root* Linux account.
183
184 On Debian and Ubuntu systems, run the following commands as the *root*
185 Linux account:
186
187 .Adjusting the system dynamic library path
188 [source, bash]
189 ---------------------------------------------------------------------------
190 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
191 ldconfig
192 ---------------------------------------------------------------------------
193
194 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
195 create a file within the `/etc/ld.so.conf.d/` directory, and then run
196 `ldconfig` as the *root* Linux account.
197
198 Configure the ejabberd server
199 -----------------------------
200
201 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
202 the Jabber server of choice for the OpenSRF project. In most cases, you only
203 have to make a few changes to the default configuration file to make ejabberd
204 work for OpenSRF. 
205
206 1. Stop ejabberd before making any changes to its configuration by issuing the
207    following command as the *root* Linux account:
208 +
209 .(Debian / Ubuntu Xenial / Ubuntu Bionic / Ubuntu Focal) Stopping ejabberd
210 [source, bash]
211 ---------------------------------------------------------------------------
212 systemctl stop ejabberd.service
213 ---------------------------------------------------------------------------
214 +
215 2. Edit the ejabberd config file.
216 +
217 (Debian Jessie) Ejabberd 13.x and 14.x::
218 Open `/etc/ejabberd/ejabberd.yml` and make the following
219 changes:
220   a. Define your public and private domains in the `hosts` directive. For
221    example:
222 +
223 [source, bash]
224 ---------------------------------------------------------------------------
225 hosts:
226   - "localhost"
227   - "private.localhost"
228   - "public.localhost"
229 ---------------------------------------------------------------------------
230 +
231   b. Change `shaper:` `normal` and `fast` values to 500000
232   c. Increase the `max_user_sessions:` `all:` value to 10000
233   d. Comment out the `mod_offline` directive
234 +
235 -----------------------
236 ##mod_offline:
237     ##access_max_user_messages: max_user_offline_messages
238 -----------------------
239 +
240 (Debian Stretch / Ubuntu Xenial) Ejabberd 16.x::
241 Open `/etc/ejabberd/ejabberd.yml` and make the following
242 changes:
243   a. Define your public and private domains in the `hosts` directive. For
244    example:
245 +
246 [source, bash]
247 ---------------------------------------------------------------------------
248 hosts:
249   - "localhost"
250   - "private.localhost"
251   - "public.localhost"
252 ---------------------------------------------------------------------------
253 +
254   b. Change `auth_password_format` to plain
255   c. Change `shaper:` `normal` and `fast` values to 500000
256   d. Increase the `max_user_sessions:` `all:` value to 10000
257   e. Comment out the `mod_offline` directive
258 +
259 -----------------------
260 ##mod_offline:
261     ##access_max_user_messages: max_user_offline_messages
262 -----------------------
263 +
264 (Debian Buster / Ubuntu Bionic / Ubuntu Focal) Ejabberd 18.x::
265 Open `/etc/ejabberd/ejabberd.yml` and make the following
266 changes:
267   a. Define your public and private domains in the `hosts` directive. For
268    example:
269 +
270 [source, bash]
271 ---------------------------------------------------------------------------
272 hosts:
273   - "localhost"
274   - "private.localhost"
275   - "public.localhost"
276 ---------------------------------------------------------------------------
277 +
278   b. Change `starttls_required` to false
279   c. Change `auth_password_format` to plain
280   d. Change `shaper:` `normal` and `fast` values to 500000
281   e. Increase the `max_user_sessions:` `all:` value to 10000
282   f. Comment out the `mod_offline` directive
283 +
284 -----------------------
285 ##mod_offline:
286     ##access_max_user_messages: max_user_offline_messages
287 -----------------------
288 +
289   g. Uncomment or add the `mod_legacy_auth` directive under the `modules:` section
290 +
291 -----------------------
292 mod_legacy_auth: {}
293 -----------------------
294 +
295 3. Restart the ejabberd server to make the changes take effect:
296 +
297 .(Debian / Ubuntu Xenial / Ubuntu Bionic / Ubuntu Focal) Starting ejabberd
298 [source, bash]
299 ---------------------------------------------------------------------------
300 systemctl start ejabberd.service
301 ---------------------------------------------------------------------------
302
303 Create the OpenSRF Jabber users
304 -------------------------------
305
306 On each domain, you need two Jabber users to manage the OpenSRF communications:
307
308   * a `router` user, to whom all requests to connect to an OpenSRF service
309     will be routed; this Jabber user must be named `router`
310   * an `opensrf` user, which clients use to connect to OpenSRF services; this
311     user can be named anything you like
312
313 Create the Jabber users by issuing the following commands as the *root* Linux
314 account. Substitute `<password>` for your chosen passwords for each user
315 respectively:
316
317 .Creating the OpenSRF Jabber users
318 [source, bash]
319 ---------------------------------------------------------------------------
320 ejabberdctl register router private.localhost <password>
321 ejabberdctl register opensrf private.localhost <password>
322 ejabberdctl register router public.localhost <password>
323 ejabberdctl register opensrf public.localhost <password>
324 ---------------------------------------------------------------------------
325
326 Update the OpenSRF configuration files
327 --------------------------------------
328
329 About the OpenSRF configuration files
330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
331 There are several configuration files that you must update to make OpenSRF
332 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
333 `--sysconfdir` during the configuration phase.
334
335   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
336     OpenSRF installation supports; if you create a new OpenSRF service,
337     you need to add it to this file.
338       ** The `<hosts>` element at the bottom of the file lists the services
339          that should be started for each hostname. You can force the system
340          to use `localhost`, so in most cases you will leave this section
341          as-is.
342     
343   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
344     information that will be used for the system, as well as determining
345     logging verbosity and defining which services will be exposed on the
346     HTTP gateway.
347
348   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
349     the `srfsh` interpreter to communicate with OpenSRF services.
350
351 Updating the OpenSRF configuration files
352 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
353   1. As the *opensrf* Linux account, copy the example configuration files
354      to create your locally customizable OpenSRF configuration files:
355 +
356 .Copying the example OpenSRF configuration files
357 [source, bash]
358 ---------------------------------------------------------------------------
359 cd SYSCONFDIR
360 cp opensrf_core.xml.example opensrf_core.xml
361 cp opensrf.xml.example opensrf.xml
362 ---------------------------------------------------------------------------
363 +
364   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
365      / password pairs to match the Jabber user accounts you just created:
366
367     a. `<config><opensrf>` = use the private Jabber `opensrf` user
368     b. `<config><gateway>` = use the public Jabber `opensrf` user
369     c. `<config><routers><router>` = use the public Jabber `router` user
370     d. `<config><routers><router>` = use the private Jabber `router` user
371   3. Create a `.srfsh.xml` file in the home directory of each user
372      that you want to use `srfsh` to communicate with OpenSRF services. For
373      example, to enable the *opensrf* Linux account to use `srfsh`:
374     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
375     b. Open `~/.srfsh.xml` in your text editor of choice and update the
376        password to match the password you set for the Jabber `opensrf` user
377        at the `private.localhost` domain.
378
379 Starting and stopping OpenSRF services
380 --------------------------------------
381
382 To start all OpenSRF services with a hostname of `localhost`, issue the
383 following command as the *opensrf* Linux account:
384
385 [source, bash]
386 ---------------------------------------------------------------------------
387 osrf_control --localhost --start-all
388 ---------------------------------------------------------------------------
389
390 To stop all OpenSRF services with a hostname of `localhost`, issue the
391 following command as the *opensrf* Linux account:
392
393 [source, bash]
394 ---------------------------------------------------------------------------
395 osrf_control --localhost --stop-all
396 ---------------------------------------------------------------------------
397
398 Testing the default OpenSRF services
399 ------------------------------------
400
401 By default, OpenSRF ships with an `opensrf.math` service that performs basic
402 calculations involving two integers. Once you have started the OpenSRF
403 services, test the services as follows:
404
405 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
406    command as the *opensrf* Linux account:
407 +
408 .Starting the `srfsh` interactive OpenSRF shell
409 [source, bash]
410 ---------------------------------------------------------------------------
411 srfsh
412 ---------------------------------------------------------------------------
413 +
414 2. Issue the following request to test the `opensrf.math` service:
415 +
416 [source, bash]
417 ---------------------------------------------------------------------------
418 srfsh# request opensrf.math add 2,2
419 ---------------------------------------------------------------------------
420 +
421 You should receive the value `4`.
422
423 Websockets installation instructions
424 ------------------------------------
425
426 1. Install websocketd (latest stable release from http://websocketd.com/)
427 +
428 .(Debian, Ubuntu)
429 [source,bash]
430 ---------------------------------------------------------------------------
431 cd /tmp
432 wget 'https://github.com/joewalnes/websocketd/releases/download/v0.3.0/websocketd-0.3.0-linux_amd64.zip'
433 unzip websocketd-0.3.0-linux_amd64.zip
434 sudo cp websocketd /usr/local/bin/
435 ---------------------------------------------------------------------------
436 +
437 2. Run websocketd
438 +
439 Choose option a or b, below.
440 +
441 [NOTE]
442 ===========================================================================
443 websocketd does not offer a configurable inactivity timeout, meaning
444 websocket client connections will persist until each client disconnects
445 or the service is restarted.  However, a timeout can be achieved with
446 the use of a proxy (option 'a' below).  A proxy also allows websocketd
447 to be exposed to web clients on port 443 instead of its internal port, 
448 which may simplify firewall configuration.
449 ===========================================================================
450 +
451 a. Run websocketd as 'opensrf'
452 +
453 [NOTE]
454 ===========================================================================
455 This choice requires one of the proxy configurations mentioned below.
456 ===========================================================================
457 +
458 .(Debian, Ubuntu)
459 [source,bash]
460 ---------------------------------------------------------------------------
461 /usr/local/bin/websocketd --port 7682 /openils/bin/osrf-websocket-stdio &
462
463 # Other useful command line parameters include:
464 # --loglevel debug|trace|access|info|error|fatal
465 # --maxforks <n>
466 # --sameorigin=true
467 # --origin=host[:port][,host[:port]...]
468
469 # See https://github.com/joewalnes/websocketd/blob/master/help.go
470 ---------------------------------------------------------------------------
471 +
472 b. Run websocketd without a proxy
473 +
474 .(Debian, Ubuntu)
475 [source,bash]
476 ---------------------------------------------------------------------------
477 sudo -b /usr/local/bin/websocketd --port 7682 --ssl --sslcert=/etc/apache2/ssl/server.crt \
478      --sslkey=/etc/apache2/ssl/server.key /openils/bin/osrf-websocket-stdio
479 ---------------------------------------------------------------------------
480
481 Optional: Using a web proxy (Apache 2.4 and above)
482 --------------------------------------------------
483 When the OpenSRF HTTP Translator runs behind a proxy, Apache must be 
484 configured to read the IP address of the originating client instead
485 of the proxy IP address.  
486
487 1. Enable mod_remoteip
488 +
489 [source,bash]
490 ---------------------------------------------------------------------------
491 sudo a2enmod remoteip
492 ---------------------------------------------------------------------------
493 +
494 2. Enable remote IP settings by uncommenting and modifying as needed the 
495    Apache configuration variables starting with RemoteIP* in the sample Apache
496    configuration file opensrf.conf.
497 +
498 3. Configure Apache to listen on port 7080 for HTTP and port 7443 for HTTPS
499    and ensure that it is not listening on ports 80 and 443, then restart Apache.
500 +
501 4. If you didn't run `configure` with the `--with-websockets-port=443` option,
502    edit `<PREFIX>/javascript/opensrf_ws.js` and `<PREFIX>/javascript/opensrf_ws_shared.js`
503    and change
504 +
505 [source, javascript]
506 ---------------------------------------------------------------------------
507 var WEBSOCKET_PORT_SSL = 7682;
508 ---------------------------------------------------------------------------
509 +
510 to
511 +
512 [source, javascript]
513 ---------------------------------------------------------------------------
514 var WEBSOCKET_PORT_SSL = 443;
515 ---------------------------------------------------------------------------
516
517
518 Optional: Using NGINX as a proxy
519 --------------------------------
520 NGINX can be used to proxy HTTP, HTTPS, and WebSockets traffic. Among other
521 reasons, this can be useful for Evergreen setups that want to have both
522 HTTPS and secure WebSockets traffic both go through port 443 while using
523 two Apache instances (one for the WebSockets gateway and one for the more
524 memory-intensive TPAC pages).
525
526 The following instructions are a guide for setting this up on Debian
527 and Ubuntu systems, but expect general familiarity with various system
528 administration and network tasks.  The steps should be run as the *root*
529 Linux account, and assume that you already followed the instructions
530 for installing WebSockets support.
531
532 1. Install NGINX if not already present:
533 +
534 [source, bash]
535 ---------------------------------------------------------------------------
536 apt-get install nginx
537 ---------------------------------------------------------------------------
538 +
539 2. Copy the example NGINX configuration file into place and remove default.
540 +
541 [source, bash]
542 ---------------------------------------------------------------------------
543 cd /path/to/opensrf-OSRFVERSION
544 cp examples/nginx/osrf-ws-http-proxy /etc/nginx/sites-available/
545 ln -s /etc/nginx/sites-available/osrf-ws-http-proxy /etc/nginx/sites-enabled/osrf-ws-http-proxy
546 rm /etc/nginx/sites-enabled/default
547 ---------------------------------------------------------------------------
548 +
549 3. Edit `/etc/nginx/sites-available/osrf-ws-http-proxy` to set the location
550    of the SSL certificate and private key.
551 4. Generate a dhparam file in the directory specified in the nginx config.
552 +
553 [source, bash]
554 ---------------------------------------------------------------------------
555 # Default config stores dhparam.pem in the Apache2 ssl directory.
556 openssl dhparam -out /etc/apache2/ssl/dhparam.pem 2048
557 ---------------------------------------------------------------------------
558 +
559 5. Start NGINX
560 +
561 [source, bash]
562 ---------------------------------------------------------------------------
563 /etc/init.d/nginx start
564 ---------------------------------------------------------------------------
565
566 Optional: Using HAProxy as a proxy
567 ----------------------------------
568 HAProxy can also be used to proxy HTTP, HTTPS, and WebSockets traffic
569 as an alternative to NGINX.
570
571 The following instructions are a guide for setting this up on Debian
572 and Ubuntu systems, but expect general familiarity with various system
573 administration and network tasks.  The steps should be run as the *root*
574 Linux account, and assume that you already followed the instructions
575 for installing WebSockets support.
576
577 1. Install HAProxy if not already present:
578 +
579 [source, bash]
580 ---------------------------------------------------------------------------
581 apt-get install haproxy
582 ---------------------------------------------------------------------------
583 +
584 2. Append the example HAProxy to `haproxy.cfg`.
585 +
586 [source, bash]
587 ---------------------------------------------------------------------------
588 cd /path/to/opensrf-OSRFVERSION
589 cat examples/haproxy/osrf-ws-http-proxy >> /etc/haproxy/haproxy.cfg
590 ---------------------------------------------------------------------------
591 +
592 3. Edit `/etc/haproxy/haproxy.cfg` to set the location
593    of the PEM file containing the SSL certificate and private key.
594 4. Start HAProxy.
595 +
596 [source, bash]
597 ---------------------------------------------------------------------------
598 /etc/init.d/haproxy start
599 ---------------------------------------------------------------------------
600
601 Getting help
602 ------------
603
604 Need help installing or using OpenSRF? Join the mailing lists at
605 http://evergreen-ils.org/communicate/mailing-lists/ or contact us 
606 on the Freenode IRC network on the #evergreen channel.