README

   1 Installing OpenSRF
   2 ==================
   3
   4 Preamble: referenced user accounts
   5 ----------------------------------
   6
   7 In subsequent sections, we will refer to a number of different accounts, as
   8 follows:
   9
  10   * Linux user accounts:
  11     ** The *user* Linux account is the account that you use to log onto the
  12        Linux system as a regular user.
  13     ** The *root* Linux account is an account that has system administrator
  14        privileges. On Debian you can switch to this account from
  15        your *user* account by issuing the `su -` command and entering the
  16        password for the *root* account when prompted. On Ubuntu you can switch
  17        to this account from your *user* account using the `sudo su -` command
  18        and entering the password for your *user* account when prompted.
  19     ** The *opensrf* Linux account is an account that you will create as part
  20        of installing OpenSRF. You can switch to this account from the *root*
  21        account by issuing the `su - opensrf` command.
  22
  23 Download and unpack the code
  24 ----------------------------
  25
  26 Issue the following commands as the *user* Linux account.
  27
  28 1. Acquire a stable release tarball from https://evergreen-ils.org/opensrf-downloads/
  29 +
  30 [source, bash]
  31 ------------------------------------------------------------------------------
  32 wget https://evergreen-ils.org/downloads/opensrf-OSRFVERSION.tar.gz
  33 ------------------------------------------------------------------------------
  34 +
  35 [NOTE]
  36 Developers can find the full source code at the OpenSRF Git repository:
  37 http://git.evergreen-ils.org/?p=OpenSRF.git
  38 +
  39 2. Unpack the tarball, and move into that directory:
  40 +
  41 [source, bash]
  42 ------------------------------------------------------------------------------
  43 tar -xvf opensrf-OSRFVERSION.tar.gz
  44 cd opensrf-OSRFVERSION/
  45 ------------------------------------------------------------------------------
  46
  47 Installing prerequisites
  48 ------------------------
  49
  50 OpenSRF has a number of prerequisite packages that must be installed
  51 before you can successfully configure, compile, and install OpenSRF.
  52 On Debian and Ubuntu, the easiest way to install these prerequisites
  53 is to use the Makefile.install prerequisite installer.
  54
  55 Issue the following commands as the *root* Linux account to install
  56 prerequisites using the Makefile.install prerequisite installer, substituting
  57 your operating system identifier for <osname> below:
  58
  59 [source, bash]
  60 ---------------------------------------------------------------------------
  61 apt-get install make
  62 make -f src/extras/Makefile.install <osname>
  63 ---------------------------------------------------------------------------
  64
  65 Well-tested values for <osname> include:
  66
  67   * `debian-buster` for Debian 10
  68   * `debian-stretch` for Debian 9
  69   * `debian-jessie` for Debian 8
  70   * `ubuntu-xenial` for Ubuntu 16.04
  71   * `ubuntu-bionic` for Ubuntu 18.04
  72
  73 Patches and suggestions for improvement from users of these distributions,
  74 or others, are welcome!
  75
  76 When the prerequisite installer reaches the Perl module stage, you may
  77 be prompted for configuration of Comprehensive Perl Archive Network (CPAN)
  78 on your server. You can generally accept the defaults by pressing <return>
  79 for all of the prompts, except for the country configuration.
  80
  81 Preamble: Developer instructions
  82 --------------------------------
  83
  84 [NOTE]
  85 Skip this section if you are using an official release tarball downloaded
  86 from https://evergreen-ils.org/opensrf-downloads/
  87
  88 Developers working directly with the source code from the Git repository,
  89 rather than an official release tarball, must install some extra packages
  90 and perform one step before they can proceed with the `./configure` step.
  91
  92 As the *root* Linux account, install the following packages:
  93
  94   * autoconf
  95   * automake
  96   * libtool
  97
  98 As the *user* Linux account, issue the following command in the OpenSRF
  99 source directory to generate the configure script and Makefiles:
 100
 101 [source, bash]
 102 ------------------------------------------------------------------------------
 103 autoreconf -i
 104 ------------------------------------------------------------------------------
 105
 106 Configuration and compilation instructions
 107 ------------------------------------------
 108
 109 Use the `configure` command to configure OpenSRF, and the `make` command to
 110 build OpenSRF. The default installation prefix (PREFIX) for OpenSRF is
 111 `/opensrf/`.
 112
 113 If you are building OpenSRF for Evergreen, issue the following commands as
 114 the *user* Linux account to configure and build OpenSRF:
 115
 116 [source, bash]
 117 ---------------------------------------------------------------------------
 118 ./configure --prefix=/openils --sysconfdir=/openils/conf
 119 make
 120 ---------------------------------------------------------------------------
 121
 122 By default, OpenSRF includes C, Perl, and JavaScript support.
 123 You can add the `--enable-java` for Java support.
 124
 125 If you are planning on proxying WebSockets traffic (see below), you
 126 can add `--with-websockets-port=443` to specify that WebSockets traffic
 127 will be going through port 443. Without that option, the default port
 128 is 7682.
 129
 130 Installation instructions
 131 -------------------------
 132
 133 1. Once you have configured and compiled OpenSRF, issue the following
 134    command as the *root* Linux account to install OpenSRF:
 135 +
 136 [source, bash]
 137 ---------------------------------------------------------------------------
 138 make install
 139 ---------------------------------------------------------------------------
 140
 141 Create and set up the opensrf Unix user environment
 142 ---------------------------------------------------
 143
 144 This user is used to start and stop all OpenSRF processes, and must own all
 145 files contained in the PREFIX directory hierarchy. Issue the following
 146 commands as the *root* Linux account to create the `opensrf` user and set up
 147 its environment, substituting <PREFIX> with the value you passed to `--prefix`
 148 in your configure command:
 149
 150 .Creating the `opensrf` user
 151 [source, bash]
 152 ---------------------------------------------------------------------------
 153 useradd -m -s /bin/bash opensrf
 154 echo "export PATH=\$PATH:/<PREFIX>/bin" >> /home/opensrf/.bashrc
 155 passwd opensrf
 156 chown -R opensrf:opensrf /<PREFIX>
 157 ---------------------------------------------------------------------------
 158
 159 Define your public and private OpenSRF domains
 160 ----------------------------------------------
 161
 162 For security purposes, OpenSRF uses Jabber domains to separate services
 163 into public and private realms. Throughout these instructions, we will use
 164 the example domains `public.localhost` and `private.localhost`.
 165
 166 On a single-server system, the easiest way to define public and private
 167 domains is to define separate hostnames by adding entries to the `/etc/hosts`
 168 file. Here are entries that you could add to a stock `/etc/hosts` file for our
 169 example domains:
 170
 171 .Example added entries for `/etc/hosts`
 172 [source, bash]
 173 ---------------------------------------------------------------------------
 174 127.0.1.2       public.localhost        public
 175 127.0.1.3       private.localhost       private
 176 ---------------------------------------------------------------------------
 177
 178 Adjust the system dynamic library path
 179 --------------------------------------
 180
 181 Add `<PREFIX>/lib/` to the system's dynamic library path, and then run
 182 `ldconfig` as the *root* Linux account.
 183
 184 On Debian and Ubuntu systems, run the following commands as the *root*
 185 Linux account:
 186
 187 .Adjusting the system dynamic library path
 188 [source, bash]
 189 ---------------------------------------------------------------------------
 190 echo <PREFIX>/lib > /etc/ld.so.conf.d/opensrf.conf
 191 ldconfig
 192 ---------------------------------------------------------------------------
 193
 194 On most other systems, you can add these entries to `/etc/ld.so.conf`, or
 195 create a file within the `/etc/ld.so.conf.d/` directory, and then run
 196 `ldconfig` as the *root* Linux account.
 197
 198 Configure the ejabberd server
 199 -----------------------------
 200
 201 OpenSRF requires an XMPP (Jabber) server. For performance reasons, ejabberd is
 202 the Jabber server of choice for the OpenSRF project. In most cases, you only
 203 have to make a few changes to the default configuration file to make ejabberd
 204 work for OpenSRF.
 205
 206 1. Stop ejabberd before making any changes to its configuration by issuing the
 207    following command as the *root* Linux account:
 208 +
 209 .(Debian / Ubuntu Xenial / Ubuntu Bionic) Stopping ejabberd
 210 [source, bash]
 211 ---------------------------------------------------------------------------
 212 systemctl stop ejabberd.service
 213 ---------------------------------------------------------------------------
 214 +
 215 2. Edit the ejabberd config file.
 216 +
 217 (Debian Jessie) Ejabberd 13.x and 14.x::
 218 Open `/etc/ejabberd/ejabberd.yml` and make the following
 219 changes:
 220   a. Define your public and private domains in the `hosts` directive. For
 221    example:
 222 +
 223 [source, bash]
 224 ---------------------------------------------------------------------------
 225 hosts:
 226   - "localhost"
 227   - "private.localhost"
 228   - "public.localhost"
 229 ---------------------------------------------------------------------------
 230 +
 231   b. Change `shaper:` `normal` and `fast` values to 500000
 232   c. Increase the `max_user_sessions:` `all:` value to 10000
 233   d. Comment out the `mod_offline` directive
 234 +
 235 -----------------------
 236 ##mod_offline:
 237     ##access_max_user_messages: max_user_offline_messages
 238 -----------------------
 239 +
 240 (Debian Stretch / Ubuntu Xenial) Ejabberd 16.x::
 241 Open `/etc/ejabberd/ejabberd.yml` and make the following
 242 changes:
 243   a. Define your public and private domains in the `hosts` directive. For
 244    example:
 245 +
 246 [source, bash]
 247 ---------------------------------------------------------------------------
 248 hosts:
 249   - "localhost"
 250   - "private.localhost"
 251   - "public.localhost"
 252 ---------------------------------------------------------------------------
 253 +
 254   b. Change `auth_password_format` to plain
 255   c. Change `shaper:` `normal` and `fast` values to 500000
 256   d. Increase the `max_user_sessions:` `all:` value to 10000
 257   e. Comment out the `mod_offline` directive
 258 +
 259 -----------------------
 260 ##mod_offline:
 261     ##access_max_user_messages: max_user_offline_messages
 262 -----------------------
 263 +
 264 (Debian Buster / Ubuntu Bionic) Ejabberd 18.x::
 265 Open `/etc/ejabberd/ejabberd.yml` and make the following
 266 changes:
 267   a. Define your public and private domains in the `hosts` directive. For
 268    example:
 269 +
 270 [source, bash]
 271 ---------------------------------------------------------------------------
 272 hosts:
 273   - "localhost"
 274   - "private.localhost"
 275   - "public.localhost"
 276 ---------------------------------------------------------------------------
 277 +
 278   b. Change `starttls_required` to false
 279   c. Change `auth_password_format` to plain
 280   d. Change `shaper:` `normal` and `fast` values to 500000
 281   e. Increase the `max_user_sessions:` `all:` value to 10000
 282   f. Comment out the `mod_offline` directive
 283 +
 284 -----------------------
 285 ##mod_offline:
 286     ##access_max_user_messages: max_user_offline_messages
 287 -----------------------
 288 +
 289   g. Uncomment or add the `mod_legacy_auth` directive under the `modules:` section
 290 +
 291 -----------------------
 292 mod_legacy_auth: {}
 293 -----------------------
 294 +
 295 3. Restart the ejabberd server to make the changes take effect:
 296 +
 297 .(Debian / Ubuntu Xenial / Ubuntu Bionic) Starting ejabberd
 298 [source, bash]
 299 ---------------------------------------------------------------------------
 300 systemctl start ejabberd.service
 301 ---------------------------------------------------------------------------
 302
 303 Create the OpenSRF Jabber users
 304 -------------------------------
 305
 306 On each domain, you need two Jabber users to manage the OpenSRF communications:
 307
 308   * a `router` user, to whom all requests to connect to an OpenSRF service
 309     will be routed; this Jabber user must be named `router`
 310   * an `opensrf` user, which clients use to connect to OpenSRF services; this
 311     user can be named anything you like
 312
 313 Create the Jabber users by issuing the following commands as the *root* Linux
 314 account. Substitute `<password>` for your chosen passwords for each user
 315 respectively:
 316
 317 .Creating the OpenSRF Jabber users
 318 [source, bash]
 319 ---------------------------------------------------------------------------
 320 ejabberdctl register router private.localhost <password>
 321 ejabberdctl register opensrf private.localhost <password>
 322 ejabberdctl register router public.localhost <password>
 323 ejabberdctl register opensrf public.localhost <password>
 324 ---------------------------------------------------------------------------
 325
 326 Update the OpenSRF configuration files
 327 --------------------------------------
 328
 329 About the OpenSRF configuration files
 330 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 331 There are several configuration files that you must update to make OpenSRF
 332 work. SYSCONFDIR is `/opensrf/etc` by default, or the value that you passed to
 333 `--sysconfdir` during the configuration phase.
 334
 335   * `SYSCONFDIR/opensrf.xml` - this file lists the services that this
 336     OpenSRF installation supports; if you create a new OpenSRF service,
 337     you need to add it to this file.
 338       ** The `<hosts>` element at the bottom of the file lists the services
 339          that should be started for each hostname. You can force the system
 340          to use `localhost`, so in most cases you will leave this section
 341          as-is.
 342
 343   * `SYSCONFDIR/opensrf_core.xml` - this file lists the Jabber connection
 344     information that will be used for the system, as well as determining
 345     logging verbosity and defining which services will be exposed on the
 346     HTTP gateway.
 347
 348   * `~/.srfsh.xml` - this file gives a Linux account the ability to use
 349     the `srfsh` interpreter to communicate with OpenSRF services.
 350
 351 Updating the OpenSRF configuration files
 352 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
 353   1. As the *opensrf* Linux account, copy the example configuration files
 354      to create your locally customizable OpenSRF configuration files:
 355 +
 356 .Copying the example OpenSRF configuration files
 357 [source, bash]
 358 ---------------------------------------------------------------------------
 359 cd SYSCONFDIR
 360 cp opensrf_core.xml.example opensrf_core.xml
 361 cp opensrf.xml.example opensrf.xml
 362 ---------------------------------------------------------------------------
 363 +
 364   2. Edit the `SYSCONFDIR/opensrf_core.xml` file to update the four username
 365      / password pairs to match the Jabber user accounts you just created:
 366
 367     a. `<config><opensrf>` = use the private Jabber `opensrf` user
 368     b. `<config><gateway>` = use the public Jabber `opensrf` user
 369     c. `<config><routers><router>` = use the public Jabber `router` user
 370     d. `<config><routers><router>` = use the private Jabber `router` user
 371   3. Create a `.srfsh.xml` file in the home directory of each user
 372      that you want to use `srfsh` to communicate with OpenSRF services. For
 373      example, to enable the *opensrf* Linux account to use `srfsh`:
 374     a. `cp SYSCONFDIR/srfsh.xml.example ~/.srfsh.xml`
 375     b. Open `~/.srfsh.xml` in your text editor of choice and update the
 376        password to match the password you set for the Jabber `opensrf` user
 377        at the `private.localhost` domain.
 378
 379 Starting and stopping OpenSRF services
 380 --------------------------------------
 381
 382 To start all OpenSRF services with a hostname of `localhost`, issue the
 383 following command as the *opensrf* Linux account:
 384
 385 [source, bash]
 386 ---------------------------------------------------------------------------
 387 osrf_control --localhost --start-all
 388 ---------------------------------------------------------------------------
 389
 390 To stop all OpenSRF services with a hostname of `localhost`, issue the
 391 following command as the *opensrf* Linux account:
 392
 393 [source, bash]
 394 ---------------------------------------------------------------------------
 395 osrf_control --localhost --stop-all
 396 ---------------------------------------------------------------------------
 397
 398 Testing the default OpenSRF services
 399 ------------------------------------
 400
 401 By default, OpenSRF ships with an `opensrf.math` service that performs basic
 402 calculations involving two integers. Once you have started the OpenSRF
 403 services, test the services as follows:
 404
 405 1. Start the `srfsh` interactive OpenSRF shell by issuing the following
 406    command as the *opensrf* Linux account:
 407 +
 408 .Starting the `srfsh` interactive OpenSRF shell
 409 [source, bash]
 410 ---------------------------------------------------------------------------
 411 srfsh
 412 ---------------------------------------------------------------------------
 413 +
 414 2. Issue the following request to test the `opensrf.math` service:
 415 +
 416 [source, bash]
 417 ---------------------------------------------------------------------------
 418 srfsh# request opensrf.math add 2,2
 419 ---------------------------------------------------------------------------
 420 +
 421 You should receive the value `4`.
 422
 423 Websockets installation instructions
 424 ------------------------------------
 425
 426 1. Install websocketd (latest stable release from http://websocketd.com/)
 427 +
 428 .(Debian, Ubuntu)
 429 [source,bash]
 430 ---------------------------------------------------------------------------
 431 cd /tmp
 432 wget 'https://github.com/joewalnes/websocketd/releases/download/v0.3.0/websocketd-0.3.0-linux_amd64.zip'
 433 unzip websocketd-0.3.0-linux_amd64.zip
 434 sudo cp websocketd /usr/local/bin/
 435 ---------------------------------------------------------------------------
 436 +
 437 2. Run websocketd
 438 +
 439 Choose option a or b, below.
 440 +
 441 [NOTE]
 442 ===========================================================================
 443 websocketd does not offer a configurable inactivity timeout, meaning
 444 websocket client connections will persist until each client disconnects
 445 or the service is restarted.  However, a timeout can be achieved with
 446 the use of a proxy (option 'a' below).  A proxy also allows websocketd
 447 to be exposed to web clients on port 443 instead of its internal port,
 448 which may simplify firewall configuration.
 449 ===========================================================================
 450 +
 451 a. Run websocketd as 'opensrf'
 452 +
 453 [NOTE]
 454 ===========================================================================
 455 This choice requires one of the proxy configurations mentioned below.
 456 ===========================================================================
 457 +
 458 .(Debian, Ubuntu)
 459 [source,bash]
 460 ---------------------------------------------------------------------------
 461 /usr/local/bin/websocketd --port 7682 /openils/bin/osrf-websocket-stdio &
 462
 463 # Other useful command line parameters include:
 464 # --loglevel debug|trace|access|info|error|fatal
 465 # --maxforks <n>
 466 # --sameorigin=true
 467 # --origin=host[:port][,host[:port]...]
 468
 469 # See https://github.com/joewalnes/websocketd/blob/master/help.go
 470 ---------------------------------------------------------------------------
 471 +
 472 b. Run websocketd without a proxy
 473 +
 474 .(Debian, Ubuntu)
 475 [source,bash]
 476 ---------------------------------------------------------------------------
 477 sudo -b /usr/local/bin/websocketd --port 7682 --ssl --sslcert=/etc/apache2/ssl/server.crt \
 478      --sslkey=/etc/apache2/ssl/server.key /openils/bin/osrf-websocket-stdio
 479 ---------------------------------------------------------------------------
 480
 481 Optional: Using a web proxy (Apache 2.4 and above)
 482 --------------------------------------------------
 483 When the OpenSRF HTTP Translator runs behind a proxy, Apache must be
 484 configured to read the IP address of the originating client instead
 485 of the proxy IP address.
 486
 487 1. Enable mod_remoteip
 488 +
 489 [source,bash]
 490 ---------------------------------------------------------------------------
 491 sudo a2enmod remoteip
 492 ---------------------------------------------------------------------------
 493 +
 494 2. Enable remote IP settings by uncommenting and modifying as needed the
 495    Apache configuration variables starting with RemoteIP* in the sample Apache
 496    configuration file opensrf.conf.
 497 +
 498 3. Configure Apache to listen on port 7080 for HTTP and port 7443 for HTTPS
 499    and ensure that it is not listening on ports 80 and 443, then restart Apache.
 500 +
 501 4. If you didn't run `configure` with the `--with-websockets-port=443` option,
 502    edit `<PREFIX>/javascript/opensrf_ws.js` and `<PREFIX>/javascript/opensrf_ws_shared.js`
 503    and change
 504 +
 505 [source, javascript]
 506 ---------------------------------------------------------------------------
 507 var WEBSOCKET_PORT_SSL = 7682;
 508 ---------------------------------------------------------------------------
 509 +
 510 to
 511 +
 512 [source, javascript]
 513 ---------------------------------------------------------------------------
 514 var WEBSOCKET_PORT_SSL = 443;
 515 ---------------------------------------------------------------------------
 516
 517
 518 Optional: Using NGINX as a proxy
 519 --------------------------------
 520 NGINX can be used to proxy HTTP, HTTPS, and WebSockets traffic. Among other
 521 reasons, this can be useful for Evergreen setups that want to have both
 522 HTTPS and secure WebSockets traffic both go through port 443 while using
 523 two Apache instances (one for the WebSockets gateway and one for the more
 524 memory-intensive TPAC pages).
 525
 526 The following instructions are a guide for setting this up on Debian
 527 and Ubuntu systems, but expect general familiarity with various system
 528 administration and network tasks.  The steps should be run as the *root*
 529 Linux account, and assume that you already followed the instructions
 530 for installing WebSockets support.
 531
 532 1. Install NGINX if not already present:
 533 +
 534 [source, bash]
 535 ---------------------------------------------------------------------------
 536 apt-get install nginx
 537 ---------------------------------------------------------------------------
 538 +
 539 2. Copy the example NGINX configuration file into place and remove default.
 540 +
 541 [source, bash]
 542 ---------------------------------------------------------------------------
 543 cd /path/to/opensrf-OSRFVERSION
 544 cp examples/nginx/osrf-ws-http-proxy /etc/nginx/sites-available/
 545 ln -s /etc/nginx/sites-available/osrf-ws-http-proxy /etc/nginx/sites-enabled/osrf-ws-http-proxy
 546 rm /etc/nginx/sites-enabled/default
 547 ---------------------------------------------------------------------------
 548 +
 549 3. Edit `/etc/nginx/sites-available/osrf-ws-http-proxy` to set the location
 550    of the SSL certificate and private key.
 551 4. Generate a dhparam file in the directory specified in the nginx config.
 552 +
 553 [source, bash]
 554 ---------------------------------------------------------------------------
 555 # Default config stores dhparam.pem in the Apache2 ssl directory.
 556 openssl dhparam -out /etc/apache2/ssl/dhparam.pem 2048
 557 ---------------------------------------------------------------------------
 558 +
 559 5. Start NGINX
 560 +
 561 [source, bash]
 562 ---------------------------------------------------------------------------
 563 /etc/init.d/nginx start
 564 ---------------------------------------------------------------------------
 565
 566 Optional: Using HAProxy as a proxy
 567 ----------------------------------
 568 HAProxy can also be used to proxy HTTP, HTTPS, and WebSockets traffic
 569 as an alternative to NGINX.
 570
 571 The following instructions are a guide for setting this up on Debian
 572 and Ubuntu systems, but expect general familiarity with various system
 573 administration and network tasks.  The steps should be run as the *root*
 574 Linux account, and assume that you already followed the instructions
 575 for installing WebSockets support.
 576
 577 1. Install HAProxy if not already present:
 578 +
 579 [source, bash]
 580 ---------------------------------------------------------------------------
 581 apt-get install haproxy
 582 ---------------------------------------------------------------------------
 583 +
 584 2. Append the example HAProxy to `haproxy.cfg`.
 585 +
 586 [source, bash]
 587 ---------------------------------------------------------------------------
 588 cd /path/to/opensrf-OSRFVERSION
 589 cat examples/haproxy/osrf-ws-http-proxy >> /etc/haproxy/haproxy.cfg
 590 ---------------------------------------------------------------------------
 591 +
 592 3. Edit `/etc/haproxy/haproxy.cfg` to set the location
 593    of the PEM file containing the SSL certificate and private key.
 594 4. Start HAProxy.
 595 +
 596 [source, bash]
 597 ---------------------------------------------------------------------------
 598 /etc/init.d/haproxy start
 599 ---------------------------------------------------------------------------
 600
 601 Getting help
 602 ------------
 603
 604 Need help installing or using OpenSRF? Join the mailing lists at
 605 http://evergreen-ils.org/communicate/mailing-lists/ or contact us
 606 on the Freenode IRC network on the #evergreen channel.