README

   1 Installing OpenSRF
   2 ==================
   3
   4 Preamble: referenced user accounts
   5 ----------------------------------
   6
   7 In subsequent sections, we will refer to a number of different accounts, as
   8 follows:
   9
  10   * Linux user accounts:
  11     ** The *user* Linux account is the account that you use to log onto the
  12        Linux system as a regular user.
  13     ** The *root* Linux account is an account that has system administrator
  14        privileges. On Debian and Fedora you can switch to this account from
  15        your *user* account by issuing the `su -` command and entering the
  16        password for the *root* account when prompted. On Ubuntu you can switch
  17        to this account from your *user* account using the `sudo su -` command
  18        and entering the password for your *user* account when prompted.
  19     ** The *opensrf* Linux account is an account that you will create as part
  20        of installing OpenSRF. You can switch to this account from the *root*
  21        account by issuing the `su - opensrf` command.
  22
  23 Installing prerequisites
  24 ------------------------
  25
  26 OpenSRF has a number of prerequisite packages that must be installed
  27 before you can successfully configure, compile, and install OpenSRF.
  28 On Debian and Ubuntu, the easiest way to install these prerequisites
  29 is to use the Makefile.install prerequisite installer.
  30
  31 Issue the following commands as the *root* Linux account to install
  32 prerequisites using the Makefile.install prerequisite installer, substituting
  33 your operating system identifier for <osname> below:
  34
  35 [source, bash]
  36 ---------------------------------------------------------------------------
  37 apt-get install make
  38 make -f src/extras/Makefile.install <osname>
  39 ---------------------------------------------------------------------------
  40
  41 Well-tested values for <osname> include:
  42
  43   * `debian-jessie` for Debian 8.0
  44   * `debian-wheezy` for Debian 7.0
  45   * `debian-squeeze` for Debian 6.0
  46   * `ubuntu-precise` for Ubuntu 12.04
  47   * `ubuntu-trusty` for Ubuntu 14.04
  48   * `fedora` for Fedora 17 and later
  49
  50 Patches and suggestions for improvement from users of these distributions,
  51 or others, are welcome!
  52
  53 When the prerequisite installer reaches the Perl module stage, you may
  54 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
  55 on your server. You can generally accept the defaults by pressing <return>
  56 for all of the prompts, except for the country configuration.
  57
  58 Preamble: Developer instructions
  59 --------------------------------
  60
  61 [NOTE]
  62 Skip this section if you are using an official release tarball downloaded
  63 from http://evergreen-ils.org/downloads
  64
  65 Developers working directly with the source code from the Git repository,
  66 rather than an official release tarball, must install some extra packages
  67 and perform one step before they can proceed with the `./configure` step.
  68
  69 As the *root* Linux account, install the following packages:
  70
  71   * autoconf
  72   * automake
  73   * libtool
  74
  75 As the *user* Linux account, issue the following command in the OpenSRF
  76 source directory to generate the configure script and Makefiles:
  77
  78 [source, bash]
  79 ------------------------------------------------------------------------------
  80 autoreconf -i
  81 ------------------------------------------------------------------------------
  82
  83 Configuration and compilation instructions
  84 ------------------------------------------
  85
  86 Use the `configure` command to configure OpenSRF, and the `make` command to
  87 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
  88 `/opensrf/`.
  89
  90 If you are building OpenSRF for Evergreen, issue the following commands as
  91 the *user* Linux account to configure and build OpenSRF:
  92
  93 [source, bash]
  94 ---------------------------------------------------------------------------
  95 ./configure --prefix=/openils --sysconfdir=/openils/conf
  96 make
  97 ---------------------------------------------------------------------------
  98
  99 By default, OpenSRF includes C, Perl, and JavaScript support.
 100 You can add the `--enable-python` option to the configure command
 101 to build Python support and `--enable-java` for Java support.
 102
 103 Installation instructions
 104 -------------------------
 105
 106 1. Once you have configured and compiled OpenSRF, issue the following
 107    command as the *root* Linux account to install OpenSRF:
 108 +
 109 [source, bash]
 110 ---------------------------------------------------------------------------
 111 make install
 112 ---------------------------------------------------------------------------
 113
 114 Create and set up the opensrf Unix user environment
 115 ---------------------------------------------------
 116
 117 This user is used to start and stop all OpenSRF processes, and must own all
 118 files contained in the PREFIX directory hierarchy. Issue the following
 119 commands as the *root* Linux account to create the `opensrf` user and set up
 120 its environment, substituting <PREFIX> with the value you passed to `--prefix`
 121 in your configure command:
 122
 123 .Creating the `opensrf` user
 124 [source, bash]
 125 ---------------------------------------------------------------------------
 126 useradd -m -s /bin/bash opensrf
 127 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
 128 passwd opensrf
 129 chown -R opensrf:opensrf /<PREFIX>
 130 ---------------------------------------------------------------------------
 131
 132 Define your public and private OpenSRF domains
 133 ----------------------------------------------
 134
 135 For security purposes, OpenSRF uses Jabber domains to separate services
 136 into public and private realms. Throughout these instructions, we will use
 137 the example domains `public.localhost` and `private.localhost`.
 138
 139 On a single-server system, the easiest way to define public and private
 140 domains is to define separate hostnames by adding entries to the `/etc/hosts`
 141 file. Here are entries that you could add to a stock `/etc/hosts` file for our
 142 example domains:
 143
 144 .Example added entries for `/etc/hosts`
 145 [source, bash]
 146 ---------------------------------------------------------------------------
 147 127.0.1.2       public.localhost        public
 148 127.0.1.3       private.localhost       private
 149 ---------------------------------------------------------------------------
 150
 151 Adjust the system dynamic library path
 152 --------------------------------------
 153
 154 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
 155 `ldconfig` as the *root* Linux account.
 156
 157 On Debian, Ubuntu, and Fedora systems, run the following commands as the *root*
 158 Linux account:
 159
 160 .Adjusting the system dynamic library path
 161 [source, bash]
 162 ---------------------------------------------------------------------------
 163 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
 164 ldconfig
 165 ---------------------------------------------------------------------------
 166
 167 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
 168 create a file within the `/etc/ld.so.conf.d/` directory, and then run
 169 `ldconfig` as the *root* Linux account.
 170
 171 Configure the ejabberd server
 172 -----------------------------
 173
 174 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
 175 the Jabber server of choice for the OpenSRF project. In most cases, you only
 176 have to make a few changes to the default configuration file to make ejabberd
 177 work for OpenSRF.
 178
 179 1. Stop ejabberd before making any changes to its configuration by issuing the
 180    following command as the *root* Linux account:
 181 +
 182 .(Debian / Ubuntu) Stopping ejabberd
 183 [source, bash]
 184 ---------------------------------------------------------------------------
 185 /etc/init.d/ejabberd stop
 186 ---------------------------------------------------------------------------
 187 +
 188 .(Fedora) Stopping ejabberd
 189 [source, bash]
 190 ---------------------------------------------------------------------------
 191 systemctl stop ejabberd.service
 192 ---------------------------------------------------------------------------
 193 +
 194 2. Edit the ejabberd config file.
 195 +
 196 (Debian Wheezy / Ubuntu) Ejabberd 2.x.x::
 197 Open `/etc/ejabberd/ejabberd.cfg` and make the following
 198 changes:
 199   a. Define your public and private domains in the `hosts` directive. For
 200    example:
 201 +
 202 [source, bash]
 203 ---------------------------------------------------------------------------
 204 {hosts, ["localhost", "private.localhost", "public.localhost"]}.
 205 ---------------------------------------------------------------------------
 206 +
 207   b. Change all `max_stanza_size` values to 2000000
 208   c. Change all `maxrate` values to 500000
 209   d. Increase the `max_user_sessions` value to 10000
 210   e. Comment out the `mod_offline` directive
 211 +
 212 (Debian Jessie) Ejabberd 13.x and 14.x::
 213 Open `/etc/ejabberd/ejabberd.yml` and make the following
 214 changes:
 215   a. Define your public and private domains in the `hosts` directive. For
 216    example:
 217 +
 218 [source, bash]
 219 ---------------------------------------------------------------------------
 220 hosts:
 221   - "localhost"
 222   - "private.localhost"
 223   - "public.localhost"
 224 ---------------------------------------------------------------------------
 225 +
 226   b. Change all `max_stanza_size` values to 2000000
 227   c. Change `shaper:` `normal` and `fast` values to 500000
 228   d. Increase the `max_user_sessions:` `all:` value to 10000
 229   e. Comment out the `mod_offline` directive
 230 +
 231 -----------------------
 232 ##mod_offline:
 233     ##access_max_user_messages: max_user_offline_messages
 234 -----------------------
 235 +
 236 3. Restart the ejabberd server to make the changes take effect:
 237 +
 238 .(Debian / Ubuntu) Starting ejabberd
 239 [source, bash]
 240 ---------------------------------------------------------------------------
 241 /etc/init.d/ejabberd start
 242 ---------------------------------------------------------------------------
 243 +
 244 .(Fedora) Starting ejabberd
 245 [source, bash]
 246 ---------------------------------------------------------------------------
 247 systemctl start ejabberd.service
 248 ---------------------------------------------------------------------------
 249
 250 Create the OpenSRF Jabber users
 251 -------------------------------
 252
 253 On each domain, you need two Jabber users to manage the OpenSRF communications:
 254
 255   * a `router` user, to whom all requests to connect to an OpenSRF service
 256     will be routed; this Jabber user must be named `router`
 257   * an `opensrf` user, which clients use to connect to OpenSRF services; this
 258     user can be named anything you like
 259
 260 Create the Jabber users by issuing the following commands as the *root* Linux
 261 account. Substitute `<password>` for your chosen passwords for each user
 262 respectively:
 263
 264 .Creating the OpenSRF Jabber users
 265 [source, bash]
 266 ---------------------------------------------------------------------------
 267 ejabberdctl register router private.localhost <password>
 268 ejabberdctl register opensrf private.localhost <password>
 269 ejabberdctl register router public.localhost <password>
 270 ejabberdctl register opensrf public.localhost <password>
 271 ---------------------------------------------------------------------------
 272
 273 Update the OpenSRF configuration files
 274 --------------------------------------
 275
 276 About the OpenSRF configuration files
 277 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 278 There are several configuration files that you must update to make OpenSRF
 279 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
 280 `--sysconfdir` during the configuration phase.
 281
 282   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
 283     OpenSRF installation supports; if you create a new OpenSRF service,
 284     you need to add it to this file.
 285       ** The `<hosts>` element at the bottom of the file lists the services
 286          that should be started for each hostname. You can force the system
 287          to use `localhost`, so in most cases you will leave this section
 288          as-is.
 289
 290   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
 291     information that will be used for the system, as well as determining
 292     logging verbosity and defining which services will be exposed on the
 293     HTTP gateway.
 294
 295   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
 296     the `srfsh` interpreter to communicate with OpenSRF services.
 297
 298 Updating the OpenSRF configuration files
 299 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 300   1. As the *opensrf* Linux account, copy the example configuration files
 301      to create your locally customizable OpenSRF configuration files:
 302 +
 303 .Copying the example OpenSRF configuration files
 304 [source, bash]
 305 ---------------------------------------------------------------------------
 306 cd SYSCONFDIR
 307 cp opensrf_core.xml.example opensrf_core.xml
 308 cp opensrf.xml.example opensrf.xml
 309 ---------------------------------------------------------------------------
 310 +
 311   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
 312      / password pairs to match the Jabber user accounts you just created:
 313
 314     a. `<config><opensrf>` = use the private Jabber `opensrf` user
 315     b. `<config><gateway>` = use the public Jabber `opensrf` user
 316     c. `<config><routers><router>` = use the public Jabber `router` user
 317     d. `<config><routers><router>` = use the private Jabber `router` user
 318   3. Create a `.srfsh.xml` file in the home directory of each user
 319      that you want to use `srfsh` to communicate with OpenSRF services. For
 320      example, to enable the *opensrf* Linux account to use `srfsh`:
 321     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
 322     b. Open `~/.srfsh.xml` in your text editor of choice and update the
 323        password to match the password you set for the Jabber `opensrf` user
 324        at the `private.localhost` domain.
 325
 326 Starting and stopping OpenSRF services
 327 --------------------------------------
 328
 329 To start all OpenSRF services with a hostname of `localhost`, issue the
 330 following command as the *opensrf* Linux account:
 331
 332 [source, bash]
 333 ---------------------------------------------------------------------------
 334 osrf_control --localhost --start-all
 335 ---------------------------------------------------------------------------
 336
 337 To stop all OpenSRF services with a hostname of `localhost`, issue the
 338 following command as the *opensrf* Linux account:
 339
 340 [source, bash]
 341 ---------------------------------------------------------------------------
 342 osrf_control --localhost --stop-all
 343 ---------------------------------------------------------------------------
 344
 345 Testing the default OpenSRF services
 346 ------------------------------------
 347
 348 By default, OpenSRF ships with an `opensrf.math` service that performs basic
 349 calculations involving two integers. Once you have started the OpenSRF
 350 services, test the services as follows:
 351
 352 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
 353    command as the *opensrf* Linux account:
 354 +
 355 .Starting the `srfsh` interactive OpenSRF shell
 356 [source, bash]
 357 ---------------------------------------------------------------------------
 358 srfsh
 359 ---------------------------------------------------------------------------
 360 +
 361 2. Issue the following request to test the `opensrf.math` service:
 362 +
 363 [source, bash]
 364 ---------------------------------------------------------------------------
 365 srfsh# request opensrf.math add 2,2
 366 ---------------------------------------------------------------------------
 367 +
 368 You should receive the value `4`.
 369
 370 Optional: Websockets installation instructions
 371 ----------------------------------------------
 372 Websockets are new to OpenSRF 2.4+ and are required for operating the new web-based
 373 staff client for Evergreen.  Complete the following steps as the *root* Linux
 374 account:
 375
 376 1. Install git if not already present:
 377 +
 378 [source, bash]
 379 ---------------------------------------------------------------------------
 380 apt-get install git-core
 381 ---------------------------------------------------------------------------
 382 +
 383 2. Install the apache-websocket module:
 384 +
 385 [source, bash]
 386 ---------------------------------------------------------------------------
 387 # Use a temporary directory
 388 cd /tmp
 389 git clone https://github.com/disconnect/apache-websocket
 390 cd apache-websocket
 391 apxs2 -i -a -c mod_websocket.c
 392 ---------------------------------------------------------------------------
 393 +
 394 3. Create the websocket Apache instance (more information about this in
 395    `/usr/share/doc/apache2/README.multiple-instances`)
 396 +
 397 .(Debian / Ubuntu Precise)
 398 [source, bash]
 399 ---------------------------------------------------------------------------
 400 sh /usr/share/doc/apache2.2-common/examples/setup-instance websockets
 401 ---------------------------------------------------------------------------
 402 +
 403 .(Ubuntu Trusty)
 404 [source, bash]
 405 ---------------------------------------------------------------------------
 406 sh /usr/share/doc/apache2/examples/setup-instance websockets
 407 ---------------------------------------------------------------------------
 408 +
 409 4. Remove from the main apache instance
 410 +
 411 [source, bash]
 412 ---------------------------------------------------------------------------
 413 a2dismod websocket
 414 ---------------------------------------------------------------------------
 415 +
 416 5. Copy into place the config files
 417 +
 418 .(Debian / Ubuntu Precise)
 419 [source, bash]
 420 ---------------------------------------------------------------------------
 421 cp examples/apache2/websockets/apache2.conf /etc/apache2-websockets/
 422 ---------------------------------------------------------------------------
 423 +
 424 .(Ubuntu Trusty)
 425 [source, bash]
 426 ---------------------------------------------------------------------------
 427 cp examples/apache_24/websockets/apache2.conf /etc/apache2-websockets/
 428 ---------------------------------------------------------------------------
 429 +
 430 6. OPTIONAL: add these configuration variables to `/etc/apache2-websockets/envvars`
 431    and adjust as needed.
 432 +
 433 [source, bash]
 434 ---------------------------------------------------------------------------
 435 export OSRF_WEBSOCKET_IDLE_TIMEOUT=120
 436 export OSRF_WEBSOCKET_IDLE_CHECK_INTERVAL=5
 437 export OSRF_WEBSOCKET_CONFIG_FILE=/openils/conf/opensrf_core.xml
 438 export OSRF_WEBSOCKET_CONFIG_CTXT=gateway
 439 export OSRF_WEBSOCKET_MAX_REQUEST_WAIT_TIME=600
 440 ---------------------------------------------------------------------------
 441 +
 442   * `IDLE_TIMEOUT` specifies how long we will allow a client to stay connected
 443     while idle.  A longer timeout means less network traffic (from fewer
 444     websocket CONNECT calls), but it also means more Apache processes are
 445     tied up doing nothing.
 446   * `IDLE_CHECK_INTERVAL` specifies how often we wake to check the idle status
 447     of the connected client.
 448   * `MAX_REQUEST_WAIT_TIME` is the maximum amount of time the gateway will
 449     wait before declaring a client as idle when there is a long-running
 450     outstanding request, yet no other activity is occurring.  This is
 451     primarily a fail-safe to allow idle timeouts when one or more requests
 452     died on the server, and thus no response was ever delivered to the gateway.
 453   * `CONFIG_FILE / CTXT` are the standard opensrf core config options.
 454
 455 7. Before you can start websockets, you must install a valid SSL certificate
 456    in `/etc/apache2/ssl/`.  It is possible, but not recommended, to generate a
 457    self-signed SSL certificate.  For example, if you need to test with a self-signed
 458    certicate on Chrome or Chromimum browsers, one workaround is to start the browser
 459    with `--ignore-certificate-errors`.
 460
 461 8. After OpenSRF is up and running (or after any re-install),
 462    fire up the secondary Apache instance. Errors will appear in
 463    `/var/log/apache2-websockets/error.log`. Start apache2-websockets with:
 464 +
 465 [source, bash]
 466 ---------------------------------------------------------------------------
 467 /etc/init.d/apache2-websockets start
 468 ---------------------------------------------------------------------------
 469
 470 Troubleshooting note for Python users
 471 -------------------------------------
 472
 473 If you are running a Python client and trying to connect to OpenSRF running on
 474 localhost rather than a hostname that can be resolved via DNS, you will
 475 probably receive exceptions about `dns.resolver.NXDOMAIN`. If this happens,
 476 you need to install the `dnsmasq` package, configure it to serve up a DNS
 477 entry for localhost, and point your local DNS resolver to `dnsmasq`. For example,
 478 on Ubuntu you can issue the following commands as the *root* Linux account:
 479
 480 .(Debian / Ubuntu) Installing and starting `dnsmasq`
 481 [source, bash]
 482 ---------------------------------------------------------------------------
 483 aptitude install dnsmasq
 484 /etc/init.d/dnsmasq restart
 485 ---------------------------------------------------------------------------
 486
 487 Then edit `/etc/resolv.conf` and ensure that `nameserver 127.0.0.1` is the
 488 first entry in the file.
 489
 490 Getting help
 491 ------------
 492
 493 Need help installing or using OpenSRF? Join the mailing lists at
 494 http://evergreen-ils.org/communicate/mailing-lists/ or contact us
 495 on the Freenode IRC network on the #evergreen channel.