LP#1382038: adjustments to download instructions
[OpenSRF.git] / README
1 Installing OpenSRF
2 ==================
3
4 Preamble: referenced user accounts
5 ----------------------------------
6
7 In subsequent sections, we will refer to a number of different accounts, as
8 follows:
9
10   * Linux user accounts:
11     ** The *user* Linux account is the account that you use to log onto the
12        Linux system as a regular user.
13     ** The *root* Linux account is an account that has system administrator
14        privileges. On Debian and Fedora you can switch to this account from
15        your *user* account by issuing the `su -` command and entering the
16        password for the *root* account when prompted. On Ubuntu you can switch
17        to this account from your *user* account using the `sudo su -` command
18        and entering the password for your *user* account when prompted.
19     ** The *opensrf* Linux account is an account that you will create as part
20        of installing OpenSRF. You can switch to this account from the *root*
21        account by issuing the `su - opensrf` command.
22
23 Download and unpack the code
24 ----------------------------
25
26 Issue the following commands as the *user* Linux account.
27
28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
29 +
30 [source, bash]
31 ------------------------------------------------------------------------------
32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
33 ------------------------------------------------------------------------------
34 +
35 [NOTE]
36 Developers can find the full source code at the OpenSRF Git repository:
37 http://git.evergreen-ils.org/?p=OpenSRF.git
38 +
39 2. Unpack the tarball, and move into that directory:
40 +
41 [source, bash]
42 ------------------------------------------------------------------------------
43 tar -xvf opensrf-OSRFVERSION.tar.gz
44 cd opensrf-OSRFVERSION/
45 ------------------------------------------------------------------------------
46
47 Installing prerequisites
48 ------------------------
49
50 OpenSRF has a number of prerequisite packages that must be installed
51 before you can successfully configure, compile, and install OpenSRF.
52 On Debian and Ubuntu, the easiest way to install these prerequisites
53 is to use the Makefile.install prerequisite installer.
54
55 Issue the following commands as the *root* Linux account to install 
56 prerequisites using the Makefile.install prerequisite installer, substituting 
57 your operating system identifier for <osname> below:
58
59 [source, bash]
60 ---------------------------------------------------------------------------
61 apt-get install make
62 make -f src/extras/Makefile.install <osname>
63 ---------------------------------------------------------------------------
64
65 Well-tested values for <osname> include:
66
67   * `debian-jessie` for Debian 8.0
68   * `debian-wheezy` for Debian 7.0
69   * `ubuntu-trusty` for Ubuntu 14.04
70   * `ubuntu-xenial` for Ubuntu 16.04
71   * `fedora` for Fedora 17 and later
72
73 Patches and suggestions for improvement from users of these distributions,
74 or others, are welcome!
75
76 When the prerequisite installer reaches the Perl module stage, you may 
77 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
78 on your server. You can generally accept the defaults by pressing <return>
79 for all of the prompts, except for the country configuration.
80
81 Preamble: Developer instructions
82 --------------------------------
83
84 [NOTE]
85 Skip this section if you are using an official release tarball downloaded
86 from https://evergreen-ils.org/opensrf-downloads/
87
88 Developers working directly with the source code from the Git repository,
89 rather than an official release tarball, must install some extra packages
90 and perform one step before they can proceed with the `./configure` step.
91
92 As the *root* Linux account, install the following packages:
93
94   * autoconf
95   * automake
96   * libtool
97
98 As the *user* Linux account, issue the following command in the OpenSRF
99 source directory to generate the configure script and Makefiles:
100
101 [source, bash]
102 ------------------------------------------------------------------------------
103 autoreconf -i
104 ------------------------------------------------------------------------------
105
106 Configuration and compilation instructions
107 ------------------------------------------
108
109 Use the `configure` command to configure OpenSRF, and the `make` command to
110 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
111 `/opensrf/`.
112
113 If you are building OpenSRF for Evergreen, issue the following commands as
114 the *user* Linux account to configure and build OpenSRF:
115
116 [source, bash]
117 ---------------------------------------------------------------------------
118 ./configure --prefix=/openils --sysconfdir=/openils/conf
119 make
120 ---------------------------------------------------------------------------
121
122 By default, OpenSRF includes C, Perl, and JavaScript support.
123 You can add the `--enable-python` option to the configure command
124 to build Python support and `--enable-java` for Java support.
125
126 Installation instructions
127 -------------------------
128
129 1. Once you have configured and compiled OpenSRF, issue the following
130    command as the *root* Linux account to install OpenSRF:
131 +
132 [source, bash]
133 ---------------------------------------------------------------------------
134 make install
135 ---------------------------------------------------------------------------
136
137 Create and set up the opensrf Unix user environment
138 ---------------------------------------------------
139
140 This user is used to start and stop all OpenSRF processes, and must own all
141 files contained in the PREFIX directory hierarchy. Issue the following
142 commands as the *root* Linux account to create the `opensrf` user and set up
143 its environment, substituting <PREFIX> with the value you passed to `--prefix`
144 in your configure command:
145
146 .Creating the `opensrf` user
147 [source, bash]
148 ---------------------------------------------------------------------------
149 useradd -m -s /bin/bash opensrf
150 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
151 passwd opensrf
152 chown -R opensrf:opensrf /<PREFIX>
153 ---------------------------------------------------------------------------
154
155 Define your public and private OpenSRF domains
156 ----------------------------------------------
157
158 For security purposes, OpenSRF uses Jabber domains to separate services
159 into public and private realms. Throughout these instructions, we will use
160 the example domains `public.localhost` and `private.localhost`. 
161
162 On a single-server system, the easiest way to define public and private
163 domains is to define separate hostnames by adding entries to the `/etc/hosts`
164 file. Here are entries that you could add to a stock `/etc/hosts` file for our
165 example domains:
166
167 .Example added entries for `/etc/hosts`
168 [source, bash]
169 ---------------------------------------------------------------------------
170 127.0.1.2       public.localhost        public
171 127.0.1.3       private.localhost       private
172 ---------------------------------------------------------------------------
173
174 Adjust the system dynamic library path
175 --------------------------------------
176
177 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
178 `ldconfig` as the *root* Linux account.
179
180 On Debian, Ubuntu, and Fedora systems, run the following commands as the *root*
181 Linux account:
182
183 .Adjusting the system dynamic library path
184 [source, bash]
185 ---------------------------------------------------------------------------
186 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
187 ldconfig
188 ---------------------------------------------------------------------------
189
190 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
191 create a file within the `/etc/ld.so.conf.d/` directory, and then run
192 `ldconfig` as the *root* Linux account.
193
194 Configure the ejabberd server
195 -----------------------------
196
197 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
198 the Jabber server of choice for the OpenSRF project. In most cases, you only
199 have to make a few changes to the default configuration file to make ejabberd
200 work for OpenSRF. 
201
202 1. Stop ejabberd before making any changes to its configuration by issuing the
203    following command as the *root* Linux account:
204 +
205 .(Debian / Ubuntu Trusty) Stopping ejabberd
206 [source, bash]
207 ---------------------------------------------------------------------------
208 /etc/init.d/ejabberd stop
209 ---------------------------------------------------------------------------
210 +
211 .(Fedora / Ubuntu Xenial) Stopping ejabberd
212 [source, bash]
213 ---------------------------------------------------------------------------
214 systemctl stop ejabberd.service
215 ---------------------------------------------------------------------------
216 +
217 2. Edit the ejabberd config file.
218 +
219 (Debian Wheezy / Ubuntu Trusty) Ejabberd 2.x.x::
220 Open `/etc/ejabberd/ejabberd.cfg` and make the following
221 changes:
222   a. Define your public and private domains in the `hosts` directive. For
223    example:
224 +
225 [source, bash]
226 ---------------------------------------------------------------------------
227 {hosts, ["localhost", "private.localhost", "public.localhost"]}.
228 ---------------------------------------------------------------------------
229 +
230   b. Change all `maxrate` values to 500000
231   c. Increase the `max_user_sessions` value to 10000
232   d. Comment out the `mod_offline` directive
233 +
234 (Debian Jessie) Ejabberd 13.x and 14.x::
235 Open `/etc/ejabberd/ejabberd.yml` and make the following
236 changes:
237   a. Define your public and private domains in the `hosts` directive. For
238    example:
239 +
240 [source, bash]
241 ---------------------------------------------------------------------------
242 hosts:
243   - "localhost"
244   - "private.localhost"
245   - "public.localhost"
246 ---------------------------------------------------------------------------
247 +
248   b. Change `shaper:` `normal` and `fast` values to 500000
249   c. Increase the `max_user_sessions:` `all:` value to 10000
250   d. Comment out the `mod_offline` directive
251 +
252 -----------------------
253 ##mod_offline:
254     ##access_max_user_messages: max_user_offline_messages
255 -----------------------
256 +
257 (Ubuntu Xenial) Ejabberd 16.x::
258 Open `/etc/ejabberd/ejabberd.yml` and make the following
259 changes:
260   a. Define your public and private domains in the `hosts` directive. For
261    example:
262 +
263 [source, bash]
264 ---------------------------------------------------------------------------
265 hosts:
266   - "localhost"
267   - "private.localhost"
268   - "public.localhost"
269 ---------------------------------------------------------------------------
270 +
271   b. Change `auth_password_format` to plain
272   c. Change `shaper:` `normal` and `fast` values to 500000
273   d. Increase the `max_user_sessions:` `all:` value to 10000
274   e. Comment out the `mod_offline` directive
275 +
276 -----------------------
277 ##mod_offline:
278     ##access_max_user_messages: max_user_offline_messages
279 -----------------------
280 +
281 3. Restart the ejabberd server to make the changes take effect:
282 +
283 .(Debian / Ubuntu Trusty) Starting ejabberd
284 [source, bash]
285 ---------------------------------------------------------------------------
286 /etc/init.d/ejabberd start
287 ---------------------------------------------------------------------------
288 +
289 .(Fedora / Ubuntu Xenial) Starting ejabberd
290 [source, bash]
291 ---------------------------------------------------------------------------
292 systemctl start ejabberd.service
293 ---------------------------------------------------------------------------
294
295 Create the OpenSRF Jabber users
296 -------------------------------
297
298 On each domain, you need two Jabber users to manage the OpenSRF communications:
299
300   * a `router` user, to whom all requests to connect to an OpenSRF service
301     will be routed; this Jabber user must be named `router`
302   * an `opensrf` user, which clients use to connect to OpenSRF services; this
303     user can be named anything you like
304
305 Create the Jabber users by issuing the following commands as the *root* Linux
306 account. Substitute `<password>` for your chosen passwords for each user
307 respectively:
308
309 .Creating the OpenSRF Jabber users
310 [source, bash]
311 ---------------------------------------------------------------------------
312 ejabberdctl register router private.localhost <password>
313 ejabberdctl register opensrf private.localhost <password>
314 ejabberdctl register router public.localhost <password>
315 ejabberdctl register opensrf public.localhost <password>
316 ---------------------------------------------------------------------------
317
318 Update the OpenSRF configuration files
319 --------------------------------------
320
321 About the OpenSRF configuration files
322 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
323 There are several configuration files that you must update to make OpenSRF
324 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
325 `--sysconfdir` during the configuration phase.
326
327   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
328     OpenSRF installation supports; if you create a new OpenSRF service,
329     you need to add it to this file.
330       ** The `<hosts>` element at the bottom of the file lists the services
331          that should be started for each hostname. You can force the system
332          to use `localhost`, so in most cases you will leave this section
333          as-is.
334     
335   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
336     information that will be used for the system, as well as determining
337     logging verbosity and defining which services will be exposed on the
338     HTTP gateway.
339
340   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
341     the `srfsh` interpreter to communicate with OpenSRF services.
342
343 Updating the OpenSRF configuration files
344 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
345   1. As the *opensrf* Linux account, copy the example configuration files
346      to create your locally customizable OpenSRF configuration files:
347 +
348 .Copying the example OpenSRF configuration files
349 [source, bash]
350 ---------------------------------------------------------------------------
351 cd SYSCONFDIR
352 cp opensrf_core.xml.example opensrf_core.xml
353 cp opensrf.xml.example opensrf.xml
354 ---------------------------------------------------------------------------
355 +
356   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
357      / password pairs to match the Jabber user accounts you just created:
358
359     a. `<config><opensrf>` = use the private Jabber `opensrf` user
360     b. `<config><gateway>` = use the public Jabber `opensrf` user
361     c. `<config><routers><router>` = use the public Jabber `router` user
362     d. `<config><routers><router>` = use the private Jabber `router` user
363   3. Create a `.srfsh.xml` file in the home directory of each user
364      that you want to use `srfsh` to communicate with OpenSRF services. For
365      example, to enable the *opensrf* Linux account to use `srfsh`:
366     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
367     b. Open `~/.srfsh.xml` in your text editor of choice and update the
368        password to match the password you set for the Jabber `opensrf` user
369        at the `private.localhost` domain.
370
371 Starting and stopping OpenSRF services
372 --------------------------------------
373
374 To start all OpenSRF services with a hostname of `localhost`, issue the
375 following command as the *opensrf* Linux account:
376
377 [source, bash]
378 ---------------------------------------------------------------------------
379 osrf_control --localhost --start-all
380 ---------------------------------------------------------------------------
381
382 To stop all OpenSRF services with a hostname of `localhost`, issue the
383 following command as the *opensrf* Linux account:
384
385 [source, bash]
386 ---------------------------------------------------------------------------
387 osrf_control --localhost --stop-all
388 ---------------------------------------------------------------------------
389
390 Testing the default OpenSRF services
391 ------------------------------------
392
393 By default, OpenSRF ships with an `opensrf.math` service that performs basic
394 calculations involving two integers. Once you have started the OpenSRF
395 services, test the services as follows:
396
397 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
398    command as the *opensrf* Linux account:
399 +
400 .Starting the `srfsh` interactive OpenSRF shell
401 [source, bash]
402 ---------------------------------------------------------------------------
403 srfsh
404 ---------------------------------------------------------------------------
405 +
406 2. Issue the following request to test the `opensrf.math` service:
407 +
408 [source, bash]
409 ---------------------------------------------------------------------------
410 srfsh# request opensrf.math add 2,2
411 ---------------------------------------------------------------------------
412 +
413 You should receive the value `4`.
414
415 Optional: Websockets installation instructions
416 ----------------------------------------------
417 Websockets are new to OpenSRF 2.4+ and are required for operating the new web-based
418 staff client for Evergreen.  Complete the following steps as the *root* Linux 
419 account:
420
421 1. Install git if not already present:
422 +
423 [source, bash]
424 ---------------------------------------------------------------------------
425 apt-get install git-core
426 ---------------------------------------------------------------------------
427 +
428 2. Install the apache-websocket module:
429 +
430 [source, bash]
431 ---------------------------------------------------------------------------
432 # Use a temporary directory
433 cd /tmp
434 git clone https://github.com/disconnect/apache-websocket
435 cd apache-websocket
436 apxs2 -i -a -c mod_websocket.c
437 ---------------------------------------------------------------------------
438 +
439 3. Create the websocket Apache instance (more information about this in 
440    `/usr/share/doc/apache2/README.multiple-instances`)
441 +
442 .(Debian)
443 [source, bash]
444 ---------------------------------------------------------------------------
445 sh /usr/share/doc/apache2.2-common/examples/setup-instance websockets
446 ---------------------------------------------------------------------------
447 +
448 .(Ubuntu Trusty / Xenial)
449 [source, bash]
450 ---------------------------------------------------------------------------
451 sh /usr/share/doc/apache2/examples/setup-instance websockets
452 ---------------------------------------------------------------------------
453 +
454 4. Remove from the main apache instance
455 +
456 [source, bash]
457 ---------------------------------------------------------------------------
458 a2dismod websocket
459 ---------------------------------------------------------------------------
460 +
461 5. Copy into place the config files
462 +
463 .(Debian)
464 [source, bash]
465 ---------------------------------------------------------------------------
466 cp examples/apache2/websockets/apache2.conf /etc/apache2-websockets/
467 ---------------------------------------------------------------------------
468 +
469 .(Ubuntu Trusty / Xenial)
470 [source, bash]
471 ---------------------------------------------------------------------------
472 cp examples/apache_24/websockets/apache2.conf /etc/apache2-websockets/
473 ---------------------------------------------------------------------------
474 +
475 6. OPTIONAL: add these configuration variables to `/etc/apache2-websockets/envvars`
476    and adjust as needed.
477 +
478 [source, bash]
479 ---------------------------------------------------------------------------
480 export OSRF_WEBSOCKET_IDLE_TIMEOUT=120
481 export OSRF_WEBSOCKET_IDLE_CHECK_INTERVAL=5
482 export OSRF_WEBSOCKET_CONFIG_FILE=/openils/conf/opensrf_core.xml
483 export OSRF_WEBSOCKET_CONFIG_CTXT=gateway
484 export OSRF_WEBSOCKET_MAX_REQUEST_WAIT_TIME=600
485 ---------------------------------------------------------------------------
486 +
487   * `IDLE_TIMEOUT` specifies how long we will allow a client to stay connected
488     while idle.  A longer timeout means less network traffic (from fewer
489     websocket CONNECT calls), but it also means more Apache processes are
490     tied up doing nothing.
491   * `IDLE_CHECK_INTERVAL` specifies how often we wake to check the idle status
492     of the connected client.
493   * `MAX_REQUEST_WAIT_TIME` is the maximum amount of time the gateway will
494     wait before declaring a client as idle when there is a long-running
495     outstanding request, yet no other activity is occurring.  This is
496     primarily a fail-safe to allow idle timeouts when one or more requests
497     died on the server, and thus no response was ever delivered to the gateway.
498   * `CONFIG_FILE / CTXT` are the standard opensrf core config options.
499
500 7. Before you can start websockets, you must install a valid SSL certificate 
501    in `/etc/apache2/ssl/`.  It is possible, but not recommended, to generate a 
502    self-signed SSL certificate.  For example, if you need to test with a self-signed 
503    certicate on Chrome or Chromimum browsers, one workaround is to start the browser 
504    with `--ignore-certificate-errors`.
505
506 8. After OpenSRF is up and running (or after any re-install),
507    fire up the secondary Apache instance. Errors will appear in
508    `/var/log/apache2-websockets/error.log`. Start apache2-websockets with:
509 +
510 [source, bash]
511 ---------------------------------------------------------------------------
512 /etc/init.d/apache2-websockets start
513 ---------------------------------------------------------------------------
514
515 Troubleshooting note for Python users
516 -------------------------------------
517
518 If you are running a Python client and trying to connect to OpenSRF running on
519 localhost rather than a hostname that can be resolved via DNS, you will
520 probably receive exceptions about `dns.resolver.NXDOMAIN`. If this happens,
521 you need to install the `dnsmasq` package, configure it to serve up a DNS
522 entry for localhost, and point your local DNS resolver to `dnsmasq`. For example,
523 on Ubuntu you can issue the following commands as the *root* Linux account:
524
525 .(Debian / Ubuntu) Installing and starting `dnsmasq`
526 [source, bash]
527 ---------------------------------------------------------------------------
528 aptitude install dnsmasq
529 /etc/init.d/dnsmasq restart
530 ---------------------------------------------------------------------------
531
532 Then edit `/etc/resolv.conf` and ensure that `nameserver 127.0.0.1` is the
533 first entry in the file.
534
535 Getting help
536 ------------
537
538 Need help installing or using OpenSRF? Join the mailing lists at
539 http://evergreen-ils.org/communicate/mailing-lists/ or contact us 
540 on the Freenode IRC network on the #evergreen channel.