README

   1 Installing OpenSRF
   2 ==================
   3
   4 Preamble: referenced user accounts
   5 ----------------------------------
   6
   7 In subsequent sections, we will refer to a number of different accounts, as
   8 follows:
   9
  10   * Linux user accounts:
  11     ** The *user* Linux account is the account that you use to log onto the
  12        Linux system as a regular user.
  13     ** The *root* Linux account is an account that has system administrator
  14        privileges. On Debian and Fedora you can switch to this account from
  15        your *user* account by issuing the `su -` command and entering the
  16        password for the *root* account when prompted. On Ubuntu you can switch
  17        to this account from your *user* account using the `sudo su -` command
  18        and entering the password for your *user* account when prompted.
  19     ** The *opensrf* Linux account is an account that you will create as part
  20        of installing OpenSRF. You can switch to this account from the *root*
  21        account by issuing the `su - opensrf` command.
  22
  23 Installing prerequisites
  24 ------------------------
  25
  26 OpenSRF has a number of prerequisite packages that must be installed
  27 before you can successfully configure, compile, and install OpenSRF.
  28 On Debian and Ubuntu, the easiest way to install these prerequisites
  29 is to use the Makefile.install prerequisite installer.
  30
  31 Issue the following commands as the *root* Linux account to install
  32 prerequisites using the Makefile.install prerequisite installer, substituting
  33 your operating system identifier for <osname> below:
  34
  35 [source, bash]
  36 ---------------------------------------------------------------------------
  37 apt-get install make
  38 make -f src/extras/Makefile.install <osname>
  39 ---------------------------------------------------------------------------
  40
  41 Well-tested values for <osname> include:
  42
  43   * `debian-jessie` for Debian 8.0
  44   * `debian-wheezy` for Debian 7.0
  45   * `ubuntu-trusty` for Ubuntu 14.04
  46   * `ubuntu-xenial` for Ubuntu 16.04
  47   * `fedora` for Fedora 17 and later
  48
  49 Patches and suggestions for improvement from users of these distributions,
  50 or others, are welcome!
  51
  52 When the prerequisite installer reaches the Perl module stage, you may
  53 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
  54 on your server. You can generally accept the defaults by pressing <return>
  55 for all of the prompts, except for the country configuration.
  56
  57 Preamble: Developer instructions
  58 --------------------------------
  59
  60 [NOTE]
  61 Skip this section if you are using an official release tarball downloaded
  62 from http://evergreen-ils.org/downloads
  63
  64 Developers working directly with the source code from the Git repository,
  65 rather than an official release tarball, must install some extra packages
  66 and perform one step before they can proceed with the `./configure` step.
  67
  68 As the *root* Linux account, install the following packages:
  69
  70   * autoconf
  71   * automake
  72   * libtool
  73
  74 As the *user* Linux account, issue the following command in the OpenSRF
  75 source directory to generate the configure script and Makefiles:
  76
  77 [source, bash]
  78 ------------------------------------------------------------------------------
  79 autoreconf -i
  80 ------------------------------------------------------------------------------
  81
  82 Configuration and compilation instructions
  83 ------------------------------------------
  84
  85 Use the `configure` command to configure OpenSRF, and the `make` command to
  86 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
  87 `/opensrf/`.
  88
  89 If you are building OpenSRF for Evergreen, issue the following commands as
  90 the *user* Linux account to configure and build OpenSRF:
  91
  92 [source, bash]
  93 ---------------------------------------------------------------------------
  94 ./configure --prefix=/openils --sysconfdir=/openils/conf
  95 make
  96 ---------------------------------------------------------------------------
  97
  98 By default, OpenSRF includes C, Perl, and JavaScript support.
  99 You can add the `--enable-python` option to the configure command
 100 to build Python support and `--enable-java` for Java support.
 101
 102 Installation instructions
 103 -------------------------
 104
 105 1. Once you have configured and compiled OpenSRF, issue the following
 106    command as the *root* Linux account to install OpenSRF:
 107 +
 108 [source, bash]
 109 ---------------------------------------------------------------------------
 110 make install
 111 ---------------------------------------------------------------------------
 112
 113 Create and set up the opensrf Unix user environment
 114 ---------------------------------------------------
 115
 116 This user is used to start and stop all OpenSRF processes, and must own all
 117 files contained in the PREFIX directory hierarchy. Issue the following
 118 commands as the *root* Linux account to create the `opensrf` user and set up
 119 its environment, substituting <PREFIX> with the value you passed to `--prefix`
 120 in your configure command:
 121
 122 .Creating the `opensrf` user
 123 [source, bash]
 124 ---------------------------------------------------------------------------
 125 useradd -m -s /bin/bash opensrf
 126 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
 127 passwd opensrf
 128 chown -R opensrf:opensrf /<PREFIX>
 129 ---------------------------------------------------------------------------
 130
 131 Define your public and private OpenSRF domains
 132 ----------------------------------------------
 133
 134 For security purposes, OpenSRF uses Jabber domains to separate services
 135 into public and private realms. Throughout these instructions, we will use
 136 the example domains `public.localhost` and `private.localhost`.
 137
 138 On a single-server system, the easiest way to define public and private
 139 domains is to define separate hostnames by adding entries to the `/etc/hosts`
 140 file. Here are entries that you could add to a stock `/etc/hosts` file for our
 141 example domains:
 142
 143 .Example added entries for `/etc/hosts`
 144 [source, bash]
 145 ---------------------------------------------------------------------------
 146 127.0.1.2       public.localhost        public
 147 127.0.1.3       private.localhost       private
 148 ---------------------------------------------------------------------------
 149
 150 Adjust the system dynamic library path
 151 --------------------------------------
 152
 153 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
 154 `ldconfig` as the *root* Linux account.
 155
 156 On Debian, Ubuntu, and Fedora systems, run the following commands as the *root*
 157 Linux account:
 158
 159 .Adjusting the system dynamic library path
 160 [source, bash]
 161 ---------------------------------------------------------------------------
 162 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
 163 ldconfig
 164 ---------------------------------------------------------------------------
 165
 166 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
 167 create a file within the `/etc/ld.so.conf.d/` directory, and then run
 168 `ldconfig` as the *root* Linux account.
 169
 170 Configure the ejabberd server
 171 -----------------------------
 172
 173 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
 174 the Jabber server of choice for the OpenSRF project. In most cases, you only
 175 have to make a few changes to the default configuration file to make ejabberd
 176 work for OpenSRF.
 177
 178 1. Stop ejabberd before making any changes to its configuration by issuing the
 179    following command as the *root* Linux account:
 180 +
 181 .(Debian / Ubuntu Trusty) Stopping ejabberd
 182 [source, bash]
 183 ---------------------------------------------------------------------------
 184 /etc/init.d/ejabberd stop
 185 ---------------------------------------------------------------------------
 186 +
 187 .(Fedora / Ubuntu Xenial) Stopping ejabberd
 188 [source, bash]
 189 ---------------------------------------------------------------------------
 190 systemctl stop ejabberd.service
 191 ---------------------------------------------------------------------------
 192 +
 193 2. Edit the ejabberd config file.
 194 +
 195 (Debian Wheezy / Ubuntu Trusty) Ejabberd 2.x.x::
 196 Open `/etc/ejabberd/ejabberd.cfg` and make the following
 197 changes:
 198   a. Define your public and private domains in the `hosts` directive. For
 199    example:
 200 +
 201 [source, bash]
 202 ---------------------------------------------------------------------------
 203 {hosts, ["localhost", "private.localhost", "public.localhost"]}.
 204 ---------------------------------------------------------------------------
 205 +
 206   b. Change all `maxrate` values to 500000
 207   c. Increase the `max_user_sessions` value to 10000
 208   d. Comment out the `mod_offline` directive
 209 +
 210 (Debian Jessie) Ejabberd 13.x and 14.x::
 211 Open `/etc/ejabberd/ejabberd.yml` and make the following
 212 changes:
 213   a. Define your public and private domains in the `hosts` directive. For
 214    example:
 215 +
 216 [source, bash]
 217 ---------------------------------------------------------------------------
 218 hosts:
 219   - "localhost"
 220   - "private.localhost"
 221   - "public.localhost"
 222 ---------------------------------------------------------------------------
 223 +
 224   b. Change `shaper:` `normal` and `fast` values to 500000
 225   c. Increase the `max_user_sessions:` `all:` value to 10000
 226   d. Comment out the `mod_offline` directive
 227 +
 228 -----------------------
 229 ##mod_offline:
 230     ##access_max_user_messages: max_user_offline_messages
 231 -----------------------
 232 +
 233 (Ubuntu Xenial) Ejabberd 16.x::
 234 Open `/etc/ejabberd/ejabberd.yml` and make the following
 235 changes:
 236   a. Define your public and private domains in the `hosts` directive. For
 237    example:
 238 +
 239 [source, bash]
 240 ---------------------------------------------------------------------------
 241 hosts:
 242   - "localhost"
 243   - "private.localhost"
 244   - "public.localhost"
 245 ---------------------------------------------------------------------------
 246 +
 247   b. Change `auth_password_format` to plain
 248   c. Change `shaper:` `normal` and `fast` values to 500000
 249   d. Increase the `max_user_sessions:` `all:` value to 10000
 250   e. Comment out the `mod_offline` directive
 251 +
 252 -----------------------
 253 ##mod_offline:
 254     ##access_max_user_messages: max_user_offline_messages
 255 -----------------------
 256 +
 257 3. Restart the ejabberd server to make the changes take effect:
 258 +
 259 .(Debian / Ubuntu Trusty) Starting ejabberd
 260 [source, bash]
 261 ---------------------------------------------------------------------------
 262 /etc/init.d/ejabberd start
 263 ---------------------------------------------------------------------------
 264 +
 265 .(Fedora / Ubuntu Xenial) Starting ejabberd
 266 [source, bash]
 267 ---------------------------------------------------------------------------
 268 systemctl start ejabberd.service
 269 ---------------------------------------------------------------------------
 270
 271 Create the OpenSRF Jabber users
 272 -------------------------------
 273
 274 On each domain, you need two Jabber users to manage the OpenSRF communications:
 275
 276   * a `router` user, to whom all requests to connect to an OpenSRF service
 277     will be routed; this Jabber user must be named `router`
 278   * an `opensrf` user, which clients use to connect to OpenSRF services; this
 279     user can be named anything you like
 280
 281 Create the Jabber users by issuing the following commands as the *root* Linux
 282 account. Substitute `<password>` for your chosen passwords for each user
 283 respectively:
 284
 285 .Creating the OpenSRF Jabber users
 286 [source, bash]
 287 ---------------------------------------------------------------------------
 288 ejabberdctl register router private.localhost <password>
 289 ejabberdctl register opensrf private.localhost <password>
 290 ejabberdctl register router public.localhost <password>
 291 ejabberdctl register opensrf public.localhost <password>
 292 ---------------------------------------------------------------------------
 293
 294 Update the OpenSRF configuration files
 295 --------------------------------------
 296
 297 About the OpenSRF configuration files
 298 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 299 There are several configuration files that you must update to make OpenSRF
 300 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
 301 `--sysconfdir` during the configuration phase.
 302
 303   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
 304     OpenSRF installation supports; if you create a new OpenSRF service,
 305     you need to add it to this file.
 306       ** The `<hosts>` element at the bottom of the file lists the services
 307          that should be started for each hostname. You can force the system
 308          to use `localhost`, so in most cases you will leave this section
 309          as-is.
 310
 311   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
 312     information that will be used for the system, as well as determining
 313     logging verbosity and defining which services will be exposed on the
 314     HTTP gateway.
 315
 316   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
 317     the `srfsh` interpreter to communicate with OpenSRF services.
 318
 319 Updating the OpenSRF configuration files
 320 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 321   1. As the *opensrf* Linux account, copy the example configuration files
 322      to create your locally customizable OpenSRF configuration files:
 323 +
 324 .Copying the example OpenSRF configuration files
 325 [source, bash]
 326 ---------------------------------------------------------------------------
 327 cd SYSCONFDIR
 328 cp opensrf_core.xml.example opensrf_core.xml
 329 cp opensrf.xml.example opensrf.xml
 330 ---------------------------------------------------------------------------
 331 +
 332   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
 333      / password pairs to match the Jabber user accounts you just created:
 334
 335     a. `<config><opensrf>` = use the private Jabber `opensrf` user
 336     b. `<config><gateway>` = use the public Jabber `opensrf` user
 337     c. `<config><routers><router>` = use the public Jabber `router` user
 338     d. `<config><routers><router>` = use the private Jabber `router` user
 339   3. Create a `.srfsh.xml` file in the home directory of each user
 340      that you want to use `srfsh` to communicate with OpenSRF services. For
 341      example, to enable the *opensrf* Linux account to use `srfsh`:
 342     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
 343     b. Open `~/.srfsh.xml` in your text editor of choice and update the
 344        password to match the password you set for the Jabber `opensrf` user
 345        at the `private.localhost` domain.
 346
 347 Starting and stopping OpenSRF services
 348 --------------------------------------
 349
 350 To start all OpenSRF services with a hostname of `localhost`, issue the
 351 following command as the *opensrf* Linux account:
 352
 353 [source, bash]
 354 ---------------------------------------------------------------------------
 355 osrf_control --localhost --start-all
 356 ---------------------------------------------------------------------------
 357
 358 To stop all OpenSRF services with a hostname of `localhost`, issue the
 359 following command as the *opensrf* Linux account:
 360
 361 [source, bash]
 362 ---------------------------------------------------------------------------
 363 osrf_control --localhost --stop-all
 364 ---------------------------------------------------------------------------
 365
 366 Testing the default OpenSRF services
 367 ------------------------------------
 368
 369 By default, OpenSRF ships with an `opensrf.math` service that performs basic
 370 calculations involving two integers. Once you have started the OpenSRF
 371 services, test the services as follows:
 372
 373 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
 374    command as the *opensrf* Linux account:
 375 +
 376 .Starting the `srfsh` interactive OpenSRF shell
 377 [source, bash]
 378 ---------------------------------------------------------------------------
 379 srfsh
 380 ---------------------------------------------------------------------------
 381 +
 382 2. Issue the following request to test the `opensrf.math` service:
 383 +
 384 [source, bash]
 385 ---------------------------------------------------------------------------
 386 srfsh# request opensrf.math add 2,2
 387 ---------------------------------------------------------------------------
 388 +
 389 You should receive the value `4`.
 390
 391 Optional: Websockets installation instructions
 392 ----------------------------------------------
 393 Websockets are new to OpenSRF 2.4+ and are required for operating the new web-based
 394 staff client for Evergreen.  Complete the following steps as the *root* Linux
 395 account:
 396
 397 1. Install git if not already present:
 398 +
 399 [source, bash]
 400 ---------------------------------------------------------------------------
 401 apt-get install git-core
 402 ---------------------------------------------------------------------------
 403 +
 404 2. Install the apache-websocket module:
 405 +
 406 [source, bash]
 407 ---------------------------------------------------------------------------
 408 # Use a temporary directory
 409 cd /tmp
 410 git clone https://github.com/disconnect/apache-websocket
 411 cd apache-websocket
 412 apxs2 -i -a -c mod_websocket.c
 413 ---------------------------------------------------------------------------
 414 +
 415 3. Create the websocket Apache instance (more information about this in
 416    `/usr/share/doc/apache2/README.multiple-instances`)
 417 +
 418 .(Debian)
 419 [source, bash]
 420 ---------------------------------------------------------------------------
 421 sh /usr/share/doc/apache2.2-common/examples/setup-instance websockets
 422 ---------------------------------------------------------------------------
 423 +
 424 .(Ubuntu Trusty / Xenial)
 425 [source, bash]
 426 ---------------------------------------------------------------------------
 427 sh /usr/share/doc/apache2/examples/setup-instance websockets
 428 ---------------------------------------------------------------------------
 429 +
 430 4. Remove from the main apache instance
 431 +
 432 [source, bash]
 433 ---------------------------------------------------------------------------
 434 a2dismod websocket
 435 ---------------------------------------------------------------------------
 436 +
 437 5. Copy into place the config files
 438 +
 439 .(Debian)
 440 [source, bash]
 441 ---------------------------------------------------------------------------
 442 cp examples/apache2/websockets/apache2.conf /etc/apache2-websockets/
 443 ---------------------------------------------------------------------------
 444 +
 445 .(Ubuntu Trusty / Xenial)
 446 [source, bash]
 447 ---------------------------------------------------------------------------
 448 cp examples/apache_24/websockets/apache2.conf /etc/apache2-websockets/
 449 ---------------------------------------------------------------------------
 450 +
 451 6. OPTIONAL: add these configuration variables to `/etc/apache2-websockets/envvars`
 452    and adjust as needed.
 453 +
 454 [source, bash]
 455 ---------------------------------------------------------------------------
 456 export OSRF_WEBSOCKET_IDLE_TIMEOUT=120
 457 export OSRF_WEBSOCKET_IDLE_CHECK_INTERVAL=5
 458 export OSRF_WEBSOCKET_CONFIG_FILE=/openils/conf/opensrf_core.xml
 459 export OSRF_WEBSOCKET_CONFIG_CTXT=gateway
 460 export OSRF_WEBSOCKET_MAX_REQUEST_WAIT_TIME=600
 461 ---------------------------------------------------------------------------
 462 +
 463   * `IDLE_TIMEOUT` specifies how long we will allow a client to stay connected
 464     while idle.  A longer timeout means less network traffic (from fewer
 465     websocket CONNECT calls), but it also means more Apache processes are
 466     tied up doing nothing.
 467   * `IDLE_CHECK_INTERVAL` specifies how often we wake to check the idle status
 468     of the connected client.
 469   * `MAX_REQUEST_WAIT_TIME` is the maximum amount of time the gateway will
 470     wait before declaring a client as idle when there is a long-running
 471     outstanding request, yet no other activity is occurring.  This is
 472     primarily a fail-safe to allow idle timeouts when one or more requests
 473     died on the server, and thus no response was ever delivered to the gateway.
 474   * `CONFIG_FILE / CTXT` are the standard opensrf core config options.
 475
 476 7. Before you can start websockets, you must install a valid SSL certificate
 477    in `/etc/apache2/ssl/`.  It is possible, but not recommended, to generate a
 478    self-signed SSL certificate.  For example, if you need to test with a self-signed
 479    certicate on Chrome or Chromimum browsers, one workaround is to start the browser
 480    with `--ignore-certificate-errors`.
 481
 482 8. After OpenSRF is up and running (or after any re-install),
 483    fire up the secondary Apache instance. Errors will appear in
 484    `/var/log/apache2-websockets/error.log`. Start apache2-websockets with:
 485 +
 486 [source, bash]
 487 ---------------------------------------------------------------------------
 488 /etc/init.d/apache2-websockets start
 489 ---------------------------------------------------------------------------
 490
 491 Troubleshooting note for Python users
 492 -------------------------------------
 493
 494 If you are running a Python client and trying to connect to OpenSRF running on
 495 localhost rather than a hostname that can be resolved via DNS, you will
 496 probably receive exceptions about `dns.resolver.NXDOMAIN`. If this happens,
 497 you need to install the `dnsmasq` package, configure it to serve up a DNS
 498 entry for localhost, and point your local DNS resolver to `dnsmasq`. For example,
 499 on Ubuntu you can issue the following commands as the *root* Linux account:
 500
 501 .(Debian / Ubuntu) Installing and starting `dnsmasq`
 502 [source, bash]
 503 ---------------------------------------------------------------------------
 504 aptitude install dnsmasq
 505 /etc/init.d/dnsmasq restart
 506 ---------------------------------------------------------------------------
 507
 508 Then edit `/etc/resolv.conf` and ensure that `nameserver 127.0.0.1` is the
 509 first entry in the file.
 510
 511 Getting help
 512 ------------
 513
 514 Need help installing or using OpenSRF? Join the mailing lists at
 515 http://evergreen-ils.org/communicate/mailing-lists/ or contact us
 516 on the Freenode IRC network on the #evergreen channel.