nbd-server.c

   1 /*
   2  * Network Block Device - server
   3  *
   4  * Copyright 1996-1998 Pavel Machek, distribute under GPL
   5  *  <pavel@atrey.karlin.mff.cuni.cz>
   6  * Copyright 2001-2004 Wouter Verhelst <wouter@debian.org>
   7  * Copyright 2002 Anton Altaparmakov <aia21@cam.ac.uk>
   8  *
   9  * Version 1.0 - hopefully 64-bit-clean
  10  * Version 1.1 - merging enhancements from Josh Parsons, <josh@coombs.anu.edu.au>
  11  * Version 1.2 - autodetect size of block devices, thanx to Peter T. Breuer" <ptb@it.uc3m.es>
  12  * Version 1.5 - can compile on Unix systems that don't have 64 bit integer
  13  *      type, or don't have 64 bit file offsets by defining FS_32BIT
  14  *      in compile options for nbd-server *only*. This can be done
  15  *      with make FSCHOICE=-DFS_32BIT nbd-server. (I don't have the
  16  *      original autoconf input file, or I would make it a configure
  17  *      option.) Ken Yap <ken@nlc.net.au>.
  18  * Version 1.6 - fix autodetection of block device size and really make 64 bit
  19  *      clean on 32 bit machines. Anton Altaparmakov <aia21@cam.ac.uk>
  20  * Version 2.0 - Version synchronised with client
  21  * Version 2.1 - Reap zombie client processes when they exit. Removed
  22  *      (uncommented) the _IO magic, it's no longer necessary. Wouter
  23  *      Verhelst <wouter@debian.org>
  24  * Version 2.2 - Auto switch to read-only mode (usefull for floppies).
  25  * Version 2.3 - Fixed code so that Large File Support works. This
  26  *      removes the FS_32BIT compile-time directive; define
  27  *      _FILE_OFFSET_BITS=64 and _LARGEFILE_SOURCE if you used to be
  28  *      using FS_32BIT. This will allow you to use files >2GB instead of
  29  *      having to use the -m option. Wouter Verhelst <wouter@debian.org>
  30  * Version 2.4 - Added code to keep track of children, so that we can
  31  *      properly kill them from initscripts. Add a call to daemon(),
  32  *      so that processes don't think they have to wait for us, which is
  33  *      interesting for initscripts as well. Wouter Verhelst
  34  *      <wouter@debian.org>
  35  * Version 2.5 - Bugfix release: forgot to reset child_arraysize to
  36  *      zero after fork()ing, resulting in nbd-server going berserk
  37  *      when it receives a signal with at least one child open. Wouter
  38  *      Verhelst <wouter@debian.org>
  39  * 10/10/2003 - Added socket option SO_KEEPALIVE (sf.net bug 819235);
  40  *      rectified type of mainloop::size_host (sf.net bugs 814435 and
  41  *      817385); close the PID file after writing to it, so that the
  42  *      daemon can actually be found. Wouter Verhelst
  43  *      <wouter@debian.org>
  44  * 10/10/2003 - Size of the data "size_host" was wrong and so was not
  45  *      correctly put in network endianness. Many types were corrected
  46  *      (size_t and off_t instead of int).  <vspaceg@sourceforge.net>
  47  * Version 2.6 - Some code cleanup.
  48  * Version 2.7 - Better build system.
  49  * 11/02/2004 - Doxygenified the source, modularized it a bit. Needs a
  50  *      lot more work, but this is a start. Wouter Verhelst
  51  *      <wouter@debian.org>
  52  */
  53
  54 /* Includes LFS defines, which defines behaviours of some of the following
  55  * headers, so must come before those */
  56 #include "lfs.h"
  57
  58 #include <sys/types.h>
  59 #include <sys/socket.h>
  60 #include <sys/stat.h>
  61 #include <sys/select.h>         /* select */
  62 #include <sys/wait.h>           /* wait */
  63 #ifdef HAVE_SYS_IOCTL_H
  64 #include <sys/ioctl.h>
  65 #endif
  66 #include <sys/param.h>
  67 #ifdef HAVE_SYS_MOUNT_H
  68 #include <sys/mount.h>          /* For BLKGETSIZE */
  69 #endif
  70 #include <signal.h>             /* sigaction */
  71 #include <errno.h>
  72 #include <netinet/tcp.h>
  73 #include <netinet/in.h>         /* sockaddr_in, htons, in_addr */
  74 #include <netdb.h>              /* hostent, gethostby*, getservby* */
  75 #include <syslog.h>
  76 #include <unistd.h>
  77 #include <stdio.h>
  78 #include <stdlib.h>
  79 #include <string.h>
  80 #include <fcntl.h>
  81 #include <arpa/inet.h>
  82 #include <strings.h>
  83 #include <dirent.h>
  84 #include <unistd.h>
  85 #include <getopt.h>
  86 #include <pwd.h>
  87 #include <grp.h>
  88
  89 #include <glib.h>
  90
  91 /* used in cliserv.h, so must come first */
  92 #define MY_NAME "nbd_server"
  93 #include "cliserv.h"
  94
  95 /** Default position of the config file */
  96 #ifndef SYSCONFDIR
  97 #define SYSCONFDIR "/etc"
  98 #endif
  99 #define CFILE SYSCONFDIR "/nbd-server/config"
 100
 101 /** Where our config file actually is */
 102 gchar* config_file_pos;
 103
 104 /** What user we're running as */
 105 gchar* runuser=NULL;
 106 /** What group we're running as */
 107 gchar* rungroup=NULL;
 108
 109 /** Logging macros, now nothing goes to syslog unless you say ISSERVER */
 110 #ifdef ISSERVER
 111 #define msg2(a,b) syslog(a,b)
 112 #define msg3(a,b,c) syslog(a,b,c)
 113 #define msg4(a,b,c,d) syslog(a,b,c,d)
 114 #else
 115 #define msg2(a,b) g_message(b)
 116 #define msg3(a,b,c) g_message(b,c)
 117 #define msg4(a,b,c,d) g_message(b,c,d)
 118 #endif
 119
 120 /* Debugging macros */
 121 //#define DODBG
 122 #ifdef DODBG
 123 #define DEBUG( a ) printf( a )
 124 #define DEBUG2( a,b ) printf( a,b )
 125 #define DEBUG3( a,b,c ) printf( a,b,c )
 126 #define DEBUG4( a,b,c,d ) printf( a,b,c,d )
 127 #else
 128 #define DEBUG( a )
 129 #define DEBUG2( a,b )
 130 #define DEBUG3( a,b,c )
 131 #define DEBUG4( a,b,c,d )
 132 #endif
 133 #ifndef PACKAGE_VERSION
 134 #define PACKAGE_VERSION ""
 135 #endif
 136 /**
 137  * The highest value a variable of type off_t can reach. This is a signed
 138  * integer, so set all bits except for the leftmost one.
 139  **/
 140 #define OFFT_MAX ~((off_t)1<<(sizeof(off_t)*8-1))
 141 #define LINELEN 256       /**< Size of static buffer used to read the
 142                                authorization file (yuck) */
 143 #define BUFSIZE (1024*1024) /**< Size of buffer that can hold requests */
 144 #define DIFFPAGESIZE 4096 /**< diff file uses those chunks */
 145 #define F_READONLY 1      /**< flag to tell us a file is readonly */
 146 #define F_MULTIFILE 2     /**< flag to tell us a file is exported using -m */
 147 #define F_COPYONWRITE 4   /**< flag to tell us a file is exported using
 148                             copyonwrite */
 149 #define F_AUTOREADONLY 8  /**< flag to tell us a file is set to autoreadonly */
 150 #define F_SPARSE 16       /**< flag to tell us copyronwrite should use a sparse file */
 151 #define F_SDP 32          /**< flag to tell us the export should be done using the Socket Direct Protocol for RDMA */
 152 GHashTable *children;
 153 char pidfname[256]; /**< name of our PID file */
 154 char pidftemplate[256]; /**< template to be used for the filename of the PID file */
 155 char default_authname[] = SYSCONFDIR "/nbd-server/allow"; /**< default name of allow file */
 156
 157 /**
 158  * Types of virtuatlization
 159  **/
 160 typedef enum {
 161         VIRT_NONE=0,    /**< No virtualization */
 162         VIRT_IPLIT,     /**< Literal IP address as part of the filename */
 163         VIRT_IPHASH,    /**< Replacing all dots in an ip address by a / before
 164                              doing the same as in IPLIT */
 165         VIRT_CIDR,      /**< Every subnet in its own directory */
 166 } VIRT_STYLE;
 167
 168 /**
 169  * Variables associated with a server.
 170  **/
 171 typedef struct {
 172         gchar* exportname;    /**< (unprocessed) filename of the file we're exporting */
 173         off_t expected_size; /**< size of the exported file as it was told to
 174                                us through configuration */
 175         gchar* listenaddr;   /**< The IP address we're listening on */
 176         unsigned int port;   /**< port we're exporting this file at */
 177         char* authname;      /**< filename of the authorization file */
 178         int flags;           /**< flags associated with this exported file */
 179         unsigned int timeout;/**< how long a connection may be idle
 180                                (0=forever) */
 181         int socket;          /**< The socket of this server. */
 182         VIRT_STYLE virtstyle;/**< The style of virtualization, if any */
 183         uint8_t cidrlen;     /**< The length of the mask when we use
 184                                   CIDR-style virtualization */
 185         gchar* prerun;       /**< command to be ran after connecting a client,
 186                                   but before starting to serve */
 187         gchar* postrun;      /**< command that will be ran after the client
 188                                   disconnects */
 189 } SERVER;
 190
 191 /**
 192  * Variables associated with a client socket.
 193  **/
 194 typedef struct {
 195         int fhandle;      /**< file descriptor */
 196         off_t startoff;   /**< starting offset of this file */
 197 } FILE_INFO;
 198
 199 typedef struct {
 200         off_t exportsize;    /**< size of the file we're exporting */
 201         char *clientname;    /**< peer */
 202         char *exportname;    /**< (processed) filename of the file we're exporting */
 203         GArray *export;    /**< array of FILE_INFO of exported files;
 204                                array size is always 1 unless we're
 205                                doing the multiple file option */
 206         int net;             /**< The actual client socket */
 207         SERVER *server;      /**< The server this client is getting data from */
 208         char* difffilename;  /**< filename of the copy-on-write file, if any */
 209         int difffile;        /**< filedescriptor of copyonwrite file. @todo
 210                                shouldn't this be an array too? (cfr export) Or
 211                                make -m and -c mutually exclusive */
 212         u32 difffilelen;     /**< number of pages in difffile */
 213         u32 *difmap;         /**< see comment on the global difmap for this one */
 214 } CLIENT;
 215
 216 /**
 217  * Type of configuration file values
 218  **/
 219 typedef enum {
 220         PARAM_INT,              /**< This parameter is an integer */
 221         PARAM_STRING,           /**< This parameter is a string */
 222         PARAM_BOOL,             /**< This parameter is a boolean */
 223 } PARAM_TYPE;
 224
 225 /**
 226  * Configuration file values
 227  **/
 228 typedef struct {
 229         gchar *paramname;       /**< Name of the parameter, as it appears in
 230                                   the config file */
 231         gboolean required;      /**< Whether this is a required (as opposed to
 232                                   optional) parameter */
 233         PARAM_TYPE ptype;       /**< Type of the parameter. */
 234         gpointer target;        /**< Pointer to where the data of this
 235                                   parameter should be written. If ptype is
 236                                   PARAM_BOOL, the data is or'ed rather than
 237                                   overwritten. */
 238         gint flagval;           /**< Flag mask for this parameter in case ptype
 239                                   is PARAM_BOOL. */
 240 } PARAM;
 241
 242 /**
 243  * Check whether a client is allowed to connect. Works with an authorization
 244  * file which contains one line per machine, no wildcards.
 245  *
 246  * @param opts The client who's trying to connect.
 247  * @return 0 - authorization refused, 1 - OK
 248  **/
 249 int authorized_client(CLIENT *opts) {
 250         const char *ERRMSG="Invalid entry '%s' in authfile '%s', so, refusing all connections.";
 251         FILE *f ;
 252         char line[LINELEN];
 253         char *tmp;
 254         struct in_addr addr;
 255         struct in_addr client;
 256         struct in_addr cltemp;
 257         int len;
 258
 259         if ((f=fopen(opts->server->authname,"r"))==NULL) {
 260                 msg4(LOG_INFO,"Can't open authorization file %s (%s).",
 261                      opts->server->authname,strerror(errno)) ;
 262                 return 1 ;
 263         }
 264
 265         inet_aton(opts->clientname, &client);
 266         while (fgets(line,LINELEN,f)!=NULL) {
 267                 if((tmp=index(line, '/'))) {
 268                         if(strlen(line)<=tmp-line) {
 269                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 270                                 return 0;
 271                         }
 272                         *(tmp++)=0;
 273                         if(inet_aton(line,&addr)) {
 274                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 275                                 return 0;
 276                         }
 277                         len=strtol(tmp, NULL, 0);
 278                         addr.s_addr>>=32-len;
 279                         addr.s_addr<<=32-len;
 280                         memcpy(&cltemp,&client,sizeof(client));
 281                         cltemp.s_addr>>=32-len;
 282                         cltemp.s_addr<<=32-len;
 283                         if(addr.s_addr == cltemp.s_addr) {
 284                                 return 1;
 285                         }
 286                 }
 287                 if (strncmp(line,opts->clientname,strlen(opts->clientname))==0) {
 288                         fclose(f);
 289                         return 1;
 290                 }
 291         }
 292         fclose(f);
 293         return 0;
 294 }
 295
 296 /**
 297  * Read data from a file descriptor into a buffer
 298  *
 299  * @param f a file descriptor
 300  * @param buf a buffer
 301  * @param len the number of bytes to be read
 302  **/
 303 inline void readit(int f, void *buf, size_t len) {
 304         ssize_t res;
 305         while (len > 0) {
 306                 DEBUG("*");
 307                 if ((res = read(f, buf, len)) <= 0)
 308                         err("Read failed: %m");
 309                 len -= res;
 310                 buf += res;
 311         }
 312 }
 313
 314 /**
 315  * Write data from a buffer into a filedescriptor
 316  *
 317  * @param f a file descriptor
 318  * @param buf a buffer containing data
 319  * @param len the number of bytes to be written
 320  **/
 321 inline void writeit(int f, void *buf, size_t len) {
 322         ssize_t res;
 323         while (len > 0) {
 324                 DEBUG("+");
 325                 if ((res = write(f, buf, len)) <= 0)
 326                         err("Send failed: %m");
 327                 len -= res;
 328                 buf += res;
 329         }
 330 }
 331
 332 /**
 333  * Print out a message about how to use nbd-server. Split out to a separate
 334  * function so that we can call it from multiple places
 335  */
 336 void usage() {
 337         printf("This is nbd-server version " VERSION "\n");
 338         printf("Usage: [ip:]port file_to_export [size][kKmM] [-l authorize_file] [-r] [-m] [-c] [-a timeout_sec] [-C configuration file] [-p PID file name] [-o section name]\n"
 339                "\t-r|--read-only\t\tread only\n"
 340                "\t-m|--multi-file\t\tmultiple file\n"
 341                "\t-c|--copy-on-write\tcopy on write\n"
 342                "\t-C|--config-file\tspecify an alternate configuration file\n"
 343                "\t-l|--authorize-file\tfile with list of hosts that are allowed to\n\t\t\t\tconnect.\n"
 344                "\t-a|--idle-time\t\tmaximum idle seconds; server terminates when\n\t\t\t\tidle time exceeded\n"
 345                "\t-p|--pid-file\t\tspecify a filename to write our PID to\n"
 346                "\t-o|--output-config\toutput a config file section for what you\n\t\t\t\tspecified on the command line, with the\n\t\t\t\tspecified section name\n\n"
 347                "\tif port is set to 0, stdin is used (for running from inetd)\n"
 348                "\tif file_to_export contains '%%s', it is substituted with the IP\n"
 349                "\t\taddress of the machine trying to connect\n"
 350                "\tif ip is set, it contains the local IP address on which we're listening.\n\tif not, the server will listen on all local IP addresses\n");
 351         printf("Using configuration file %s\n", CFILE);
 352 }
 353
 354 /* Dumps a config file section of the given SERVER*, and exits. */
 355 void dump_section(SERVER* serve, gchar* section_header) {
 356         printf("[%s]\n", section_header);
 357         printf("\texportname = %s\n", serve->exportname);
 358         printf("\tlistenaddr = %s\n", serve->listenaddr);
 359         printf("\tport = %d\n", serve->port);
 360         if(serve->flags & F_READONLY) {
 361                 printf("\treadonly = true\n");
 362         }
 363         if(serve->flags & F_MULTIFILE) {
 364                 printf("\tmultifile = true\n");
 365         }
 366         if(serve->flags & F_COPYONWRITE) {
 367                 printf("\tcopyonwrite = true\n");
 368         }
 369         if(serve->expected_size) {
 370                 printf("\tfilesize = %lld\n", (long long int)serve->expected_size);
 371         }
 372         if(serve->authname) {
 373                 printf("\tauthfile = %s\n", serve->authname);
 374         }
 375         if(serve->timeout) {
 376                 printf("\ttimeout = %d\n", serve->timeout);
 377         }
 378         exit(EXIT_SUCCESS);
 379 }
 380
 381 /**
 382  * Parse the command line.
 383  *
 384  * @param argc the argc argument to main()
 385  * @param argv the argv argument to main()
 386  **/
 387 SERVER* cmdline(int argc, char *argv[]) {
 388         int i=0;
 389         int nonspecial=0;
 390         int c;
 391         struct option long_options[] = {
 392                 {"read-only", no_argument, NULL, 'r'},
 393                 {"multi-file", no_argument, NULL, 'm'},
 394                 {"copy-on-write", no_argument, NULL, 'c'},
 395                 {"authorize-file", required_argument, NULL, 'l'},
 396                 {"idle-time", required_argument, NULL, 'a'},
 397                 {"config-file", required_argument, NULL, 'C'},
 398                 {"pid-file", required_argument, NULL, 'p'},
 399                 {"output-config", required_argument, NULL, 'o'},
 400                 {0,0,0,0}
 401         };
 402         SERVER *serve;
 403         off_t es;
 404         size_t last;
 405         char suffix;
 406         gboolean do_output=FALSE;
 407         gchar* section_header="";
 408         gchar** addr_port;
 409
 410         if(argc==1) {
 411                 return NULL;
 412         }
 413         serve=g_new0(SERVER, 1);
 414         serve->authname = g_strdup(default_authname);
 415         serve->virtstyle=VIRT_IPLIT;
 416         while((c=getopt_long(argc, argv, "-a:C:cl:mo:rp:", long_options, &i))>=0) {
 417                 switch (c) {
 418                 case 1:
 419                         /* non-option argument */
 420                         switch(nonspecial++) {
 421                         case 0:
 422                                 addr_port=g_strsplit(optarg, ":", 2);
 423                                 if(addr_port[1]) {
 424                                         serve->port=strtol(addr_port[1], NULL, 0);
 425                                         serve->listenaddr=g_strdup(addr_port[0]);
 426                                 } else {
 427                                         serve->listenaddr=g_strdup("0.0.0.0");
 428                                         serve->port=strtol(addr_port[0], NULL, 0);
 429                                 }
 430                                 g_strfreev(addr_port);
 431                                 break;
 432                         case 1:
 433                                 serve->exportname = g_strdup(optarg);
 434                                 if(serve->exportname[0] != '/') {
 435                                         fprintf(stderr, "E: The to be exported file needs to be an absolute filename!\n");
 436                                         exit(EXIT_FAILURE);
 437                                 }
 438                                 break;
 439                         case 2:
 440                                 last=strlen(optarg)-1;
 441                                 suffix=optarg[last];
 442                                 if (suffix == 'k' || suffix == 'K' ||
 443                                     suffix == 'm' || suffix == 'M')
 444                                         optarg[last] = '\0';
 445                                 es = (off_t)atol(optarg);
 446                                 switch (suffix) {
 447                                         case 'm':
 448                                         case 'M':  es <<= 10;
 449                                         case 'k':
 450                                         case 'K':  es <<= 10;
 451                                         default :  break;
 452                                 }
 453                                 serve->expected_size = es;
 454                                 break;
 455                         }
 456                         break;
 457                 case 'r':
 458                         serve->flags |= F_READONLY;
 459                         break;
 460                 case 'm':
 461                         serve->flags |= F_MULTIFILE;
 462                         break;
 463                 case 'o':
 464                         do_output = TRUE;
 465                         section_header = g_strdup(optarg);
 466                         break;
 467                 case 'p':
 468                         strncpy(pidftemplate, optarg, 256);
 469                         break;
 470                 case 'c':
 471                         serve->flags |=F_COPYONWRITE;
 472                         break;
 473                 case 'C':
 474                         g_free(config_file_pos);
 475                         config_file_pos=g_strdup(optarg);
 476                         break;
 477                 case 'l':
 478                         g_free(serve->authname);
 479                         serve->authname=g_strdup(optarg);
 480                         break;
 481                 case 'a':
 482                         serve->timeout=strtol(optarg, NULL, 0);
 483                         break;
 484                 default:
 485                         usage();
 486                         exit(EXIT_FAILURE);
 487                         break;
 488                 }
 489         }
 490         /* What's left: the port to export, the name of the to be exported
 491          * file, and, optionally, the size of the file, in that order. */
 492         if(nonspecial<2) {
 493                 g_free(serve);
 494                 serve=NULL;
 495         }
 496         if(do_output) {
 497                 if(!serve) {
 498                         g_critical("Need a complete configuration on the command line to output a config file section!");
 499                         exit(EXIT_FAILURE);
 500                 }
 501                 dump_section(serve, section_header);
 502         }
 503         return serve;
 504 }
 505
 506 /**
 507  * Error codes for config file parsing
 508  **/
 509 typedef enum {
 510         CFILE_NOTFOUND,         /**< The configuration file is not found */
 511         CFILE_MISSING_GENERIC,  /**< The (required) group "generic" is missing */
 512         CFILE_KEY_MISSING,      /**< A (required) key is missing */
 513         CFILE_VALUE_INVALID,    /**< A value is syntactically invalid */
 514         CFILE_VALUE_UNSUPPORTED,/**< A value is not supported in this build */
 515         CFILE_PROGERR           /**< Programmer error */
 516 } CFILE_ERRORS;
 517
 518 /**
 519  * Remove a SERVER from memory. Used from the hash table
 520  **/
 521 void remove_server(gpointer s) {
 522         SERVER *server;
 523
 524         server=(SERVER*)s;
 525         g_free(server->exportname);
 526         if(server->authname)
 527                 g_free(server->authname);
 528         g_free(server);
 529 }
 530
 531 /**
 532  * Parse the config file.
 533  *
 534  * @param f the name of the config file
 535  * @param e a GError. @see CFILE_ERRORS for what error values this function can
 536  *      return.
 537  * @return a Array of SERVER* pointers, If the config file is empty or does not
 538  *      exist, returns an empty GHashTable; if the config file contains an
 539  *      error, returns NULL, and e is set appropriately
 540  **/
 541 GArray* parse_cfile(gchar* f, GError** e) {
 542         const char* DEFAULT_ERROR = "Could not parse %s in group %s: %s";
 543         const char* MISSING_REQUIRED_ERROR = "Could not find required value %s in group %s: %s";
 544         SERVER s;
 545         gchar *virtstyle=NULL;
 546         PARAM lp[] = {
 547                 { "exportname", TRUE,   PARAM_STRING,   NULL, 0 },
 548                 { "port",       TRUE,   PARAM_INT,      NULL, 0 },
 549                 { "authfile",   FALSE,  PARAM_STRING,   NULL, 0 },
 550                 { "timeout",    FALSE,  PARAM_INT,      NULL, 0 },
 551                 { "filesize",   FALSE,  PARAM_INT,      NULL, 0 },
 552                 { "virtstyle",  FALSE,  PARAM_STRING,   NULL, 0 },
 553                 { "prerun",     FALSE,  PARAM_STRING,   NULL, 0 },
 554                 { "postrun",    FALSE,  PARAM_STRING,   NULL, 0 },
 555                 { "readonly",   FALSE,  PARAM_BOOL,     NULL, F_READONLY },
 556                 { "multifile",  FALSE,  PARAM_BOOL,     NULL, F_MULTIFILE },
 557                 { "copyonwrite", FALSE, PARAM_BOOL,     NULL, F_COPYONWRITE },
 558                 { "sparse_cow", FALSE,  PARAM_BOOL,     NULL, F_SPARSE },
 559                 { "sdp",        FALSE,  PARAM_BOOL,     NULL, F_SDP },
 560                 { "listenaddr", FALSE,  PARAM_STRING,   NULL, 0 },
 561         };
 562         const int lp_size=sizeof(lp)/sizeof(PARAM);
 563         PARAM gp[] = {
 564                 { "user",       FALSE, PARAM_STRING,    &runuser,       0 },
 565                 { "group",      FALSE, PARAM_STRING,    &rungroup,      0 },
 566         };
 567         PARAM* p=gp;
 568         int p_size=sizeof(gp)/sizeof(PARAM);
 569         GKeyFile *cfile;
 570         GError *err = NULL;
 571         const char *err_msg=NULL;
 572         GQuark errdomain;
 573         GArray *retval=NULL;
 574         gchar **groups;
 575         gboolean value;
 576         gint i;
 577         gint j;
 578
 579         errdomain = g_quark_from_string("parse_cfile");
 580         cfile = g_key_file_new();
 581         retval = g_array_new(FALSE, TRUE, sizeof(SERVER));
 582         if(!g_key_file_load_from_file(cfile, f, G_KEY_FILE_KEEP_COMMENTS |
 583                         G_KEY_FILE_KEEP_TRANSLATIONS, &err)) {
 584                 g_set_error(e, errdomain, CFILE_NOTFOUND, "Could not open config file.");
 585                 g_key_file_free(cfile);
 586                 return retval;
 587         }
 588         if(strcmp(g_key_file_get_start_group(cfile), "generic")) {
 589                 g_set_error(e, errdomain, CFILE_MISSING_GENERIC, "Config file does not contain the [generic] group!");
 590                 g_key_file_free(cfile);
 591                 return NULL;
 592         }
 593         groups = g_key_file_get_groups(cfile, NULL);
 594         for(i=0;groups[i];i++) {
 595                 memset(&s, '\0', sizeof(SERVER));
 596                 lp[0].target=&(s.exportname);
 597                 lp[1].target=&(s.port);
 598                 lp[2].target=&(s.authname);
 599                 lp[3].target=&(s.timeout);
 600                 lp[4].target=&(s.expected_size);
 601                 lp[5].target=&(virtstyle);
 602                 lp[6].target=&(s.prerun);
 603                 lp[7].target=&(s.postrun);
 604                 lp[8].target=lp[9].target=lp[10].target=
 605                                 lp[11].target=lp[12].target=&(s.flags);
 606                 lp[13].target=&(s.listenaddr);
 607
 608                 /* After the [generic] group, start parsing exports */
 609                 if(i==1) {
 610                         p=lp;
 611                         p_size=lp_size;
 612                 }
 613                 for(j=0;j<p_size;j++) {
 614                         g_assert(p[j].target != NULL);
 615                         g_assert(p[j].ptype==PARAM_INT||p[j].ptype==PARAM_STRING||p[j].ptype==PARAM_BOOL);
 616                         switch(p[j].ptype) {
 617                                 case PARAM_INT:
 618                                         *((gint*)p[j].target) =
 619                                                 g_key_file_get_integer(cfile,
 620                                                                 groups[i],
 621                                                                 p[j].paramname,
 622                                                                 &err);
 623                                         break;
 624                                 case PARAM_STRING:
 625                                         *((gchar**)p[j].target) =
 626                                                 g_key_file_get_string(cfile,
 627                                                                 groups[i],
 628                                                                 p[j].paramname,
 629                                                                 &err);
 630                                         break;
 631                                 case PARAM_BOOL:
 632                                         value = g_key_file_get_boolean(cfile,
 633                                                         groups[i],
 634                                                         p[j].paramname, &err);
 635                                         if(!err) {
 636                                                 if(value) {
 637                                                         *((gint*)p[j].target) |= p[j].flagval;
 638                                                 } else {
 639                                                         *((gint*)p[j].target) &= ~(p[j].flagval);
 640                                                 }
 641                                         }
 642                                         break;
 643                         }
 644                         if(err) {
 645                                 if(err->code == G_KEY_FILE_ERROR_KEY_NOT_FOUND) {
 646                                         if(!p[j].required) {
 647                                                 /* Ignore not-found error for optional values */
 648                                                 g_clear_error(&err);
 649                                                 continue;
 650                                         } else {
 651                                                 err_msg = MISSING_REQUIRED_ERROR;
 652                                         }
 653                                 } else {
 654                                         err_msg = DEFAULT_ERROR;
 655                                 }
 656                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, err_msg, p[j].paramname, groups[i], err->message);
 657                                 g_array_free(retval, TRUE);
 658                                 g_error_free(err);
 659                                 g_key_file_free(cfile);
 660                                 return NULL;
 661                         }
 662                 }
 663                 if(virtstyle) {
 664                         if(!strncmp(virtstyle, "none", 4)) {
 665                                 s.virtstyle=VIRT_NONE;
 666                         } else if(!strncmp(virtstyle, "ipliteral", 9)) {
 667                                 s.virtstyle=VIRT_IPLIT;
 668                         } else if(!strncmp(virtstyle, "iphash", 6)) {
 669                                 s.virtstyle=VIRT_IPHASH;
 670                         } else if(!strncmp(virtstyle, "cidrhash", 8)) {
 671                                 s.virtstyle=VIRT_CIDR;
 672                                 if(strlen(virtstyle)<10) {
 673                                         g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s: missing length", virtstyle, groups[i]);
 674                                         g_array_free(retval, TRUE);
 675                                         g_key_file_free(cfile);
 676                                         return NULL;
 677                                 }
 678                                 s.cidrlen=strtol(virtstyle+8, NULL, 0);
 679                         } else {
 680                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s", virtstyle, groups[i]);
 681                                 g_array_free(retval, TRUE);
 682                                 g_key_file_free(cfile);
 683                                 return NULL;
 684                         }
 685                 } else {
 686                         s.virtstyle=VIRT_IPLIT;
 687                 }
 688                 /* Don't need to free this, it's not our string */
 689                 virtstyle=NULL;
 690                 /* Don't append values for the [generic] group */
 691                 if(i>0) {
 692                         if(!s.listenaddr) {
 693                                 s.listenaddr = g_strdup("0.0.0.0");
 694                         }
 695                         g_array_append_val(retval, s);
 696                 }
 697 #ifndef WITH_SDP
 698                 if(s.flags & F_SDP) {
 699                         g_set_error(e, errdomain, CFILE_VALUE_UNSUPPORTED, "This nbd-server was built without support for SDP, yet group %s uses it", groups[i]);
 700                         g_array_free(retval, TRUE);
 701                         g_key_file_free(cfile);
 702                         return NULL;
 703                 }
 704 #endif
 705         }
 706         return retval;
 707 }
 708
 709 /**
 710  * Signal handler for SIGCHLD
 711  * @param s the signal we're handling (must be SIGCHLD, or something
 712  * is severely wrong)
 713  **/
 714 void sigchld_handler(int s) {
 715         int status;
 716         int* i;
 717         pid_t pid;
 718
 719         while((pid=waitpid(-1, &status, WNOHANG)) > 0) {
 720                 if(WIFEXITED(status)) {
 721                         msg3(LOG_INFO, "Child exited with %d", WEXITSTATUS(status));
 722                 }
 723                 i=g_hash_table_lookup(children, &pid);
 724                 if(!i) {
 725                         msg3(LOG_INFO, "SIGCHLD received for an unknown child with PID %ld", (long)pid);
 726                 } else {
 727                         DEBUG2("Removing %d from the list of children", pid);
 728                         g_hash_table_remove(children, &pid);
 729                 }
 730         }
 731 }
 732
 733 /**
 734  * Kill a child. Called from sigterm_handler::g_hash_table_foreach.
 735  *
 736  * @param key the key
 737  * @param value the value corresponding to the above key
 738  * @param user_data a pointer which we always set to 1, so that we know what
 739  * will happen next.
 740  **/
 741 void killchild(gpointer key, gpointer value, gpointer user_data) {
 742         pid_t *pid=value;
 743         int *parent=user_data;
 744
 745         kill(*pid, SIGTERM);
 746         *parent=1;
 747 }
 748
 749 /**
 750  * Handle SIGTERM and dispatch it to our children
 751  * @param s the signal we're handling (must be SIGTERM, or something
 752  * is severely wrong).
 753  **/
 754 void sigterm_handler(int s) {
 755         int parent=0;
 756
 757         g_hash_table_foreach(children, killchild, &parent);
 758
 759         if(parent) {
 760                 unlink(pidfname);
 761         }
 762
 763         exit(EXIT_SUCCESS);
 764 }
 765
 766 /**
 767  * Detect the size of a file.
 768  *
 769  * @param fhandle An open filedescriptor
 770  * @return the size of the file, or OFFT_MAX if detection was
 771  * impossible.
 772  **/
 773 off_t size_autodetect(int fhandle) {
 774         off_t es;
 775         unsigned long sectors;
 776         struct stat stat_buf;
 777         int error;
 778
 779 #ifdef HAVE_SYS_MOUNT_H
 780 #ifdef HAVE_SYS_IOCTL_H
 781 #ifdef BLKGETSIZE
 782         DEBUG("looking for export size with ioctl BLKGETSIZE\n");
 783         if (!ioctl(fhandle, BLKGETSIZE, &sectors) && sectors) {
 784                 es = (off_t)sectors * (off_t)512;
 785                 return es;
 786         }
 787 #endif /* BLKGETSIZE */
 788 #endif /* HAVE_SYS_IOCTL_H */
 789 #endif /* HAVE_SYS_MOUNT_H */
 790
 791         DEBUG("looking for fhandle size with fstat\n");
 792         stat_buf.st_size = 0;
 793         error = fstat(fhandle, &stat_buf);
 794         if (!error) {
 795                 if(stat_buf.st_size > 0)
 796                         return (off_t)stat_buf.st_size;
 797         } else {
 798                 err("fstat failed: %m");
 799         }
 800
 801         DEBUG("looking for fhandle size with lseek SEEK_END\n");
 802         es = lseek(fhandle, (off_t)0, SEEK_END);
 803         if (es > ((off_t)0)) {
 804                 return es;
 805         } else {
 806                 DEBUG2("lseek failed: %d", errno==EBADF?1:(errno==ESPIPE?2:(errno==EINVAL?3:4)));
 807         }
 808
 809         err("Could not find size of exported block device: %m");
 810         return OFFT_MAX;
 811 }
 812
 813 /**
 814  * Get the file handle and offset, given an export offset.
 815  *
 816  * @param export An array of export files
 817  * @param a The offset to get corresponding file/offset for
 818  * @param fhandle [out] File descriptor
 819  * @param foffset [out] Offset into fhandle
 820  * @param maxbytes [out] Tells how many bytes can be read/written
 821  * from fhandle starting at foffset (0 if there is no limit)
 822  * @return 0 on success, -1 on failure
 823  **/
 824 int get_filepos(GArray* export, off_t a, int* fhandle, off_t* foffset, size_t* maxbytes ) {
 825         /* Negative offset not allowed */
 826         if(a < 0)
 827                 return -1;
 828
 829         /* Binary search for last file with starting offset <= a */
 830         FILE_INFO fi;
 831         int start = 0;
 832         int end = export->len - 1;
 833         while( start <= end ) {
 834                 int mid = (start + end) / 2;
 835                 fi = g_array_index(export, FILE_INFO, mid);
 836                 if( fi.startoff < a ) {
 837                         start = mid + 1;
 838                 } else if( fi.startoff > a ) {
 839                         end = mid - 1;
 840                 } else {
 841                         start = end = mid;
 842                         break;
 843                 }
 844         }
 845
 846         /* end should never go negative, since first startoff is 0 and a >= 0 */
 847         g_assert(end >= 0);
 848
 849         fi = g_array_index(export, FILE_INFO, end);
 850         *fhandle = fi.fhandle;
 851         *foffset = a - fi.startoff;
 852         *maxbytes = 0;
 853         if( end+1 < export->len ) {
 854                 FILE_INFO fi_next = g_array_index(export, FILE_INFO, end+1);
 855                 *maxbytes = fi_next.startoff - a;
 856         }
 857
 858         return 0;
 859 }
 860
 861 /**
 862  * seek to a position in a file, with error handling.
 863  * @param handle a filedescriptor
 864  * @param a position to seek to
 865  * @todo get rid of this; lastpoint is a global variable right now, but it
 866  * shouldn't be. If we pass it on as a parameter, that makes things a *lot*
 867  * easier.
 868  **/
 869 void myseek(int handle,off_t a) {
 870         if (lseek(handle, a, SEEK_SET) < 0) {
 871                 err("Can not seek locally!\n");
 872         }
 873 }
 874
 875 /**
 876  * Write an amount of bytes at a given offset to the right file. This
 877  * abstracts the write-side of the multiple file option.
 878  *
 879  * @param a The offset where the write should start
 880  * @param buf The buffer to write from
 881  * @param len The length of buf
 882  * @param client The client we're serving for
 883  * @return The number of bytes actually written, or -1 in case of an error
 884  **/
 885 ssize_t rawexpwrite(off_t a, char *buf, size_t len, CLIENT *client) {
 886         int fhandle;
 887         off_t foffset;
 888         size_t maxbytes;
 889
 890         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 891                 return -1;
 892         if(maxbytes && len > maxbytes)
 893                 len = maxbytes;
 894
 895         DEBUG4("(WRITE to fd %d offset %llu len %u), ", fhandle, foffset, len);
 896
 897         myseek(fhandle, foffset);
 898         return write(fhandle, buf, len);
 899 }
 900
 901 /**
 902  * Call rawexpwrite repeatedly until all data has been written.
 903  * @return 0 on success, nonzero on failure
 904  **/
 905 int rawexpwrite_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 906         ssize_t ret=0;
 907
 908         while(len > 0 && (ret=rawexpwrite(a, buf, len, client)) > 0 ) {
 909                 a += ret;
 910                 buf += ret;
 911                 len -= ret;
 912         }
 913         return (ret < 0 || len != 0);
 914 }
 915
 916 /**
 917  * Read an amount of bytes at a given offset from the right file. This
 918  * abstracts the read-side of the multiple files option.
 919  *
 920  * @param a The offset where the read should start
 921  * @param buf A buffer to read into
 922  * @param len The size of buf
 923  * @param client The client we're serving for
 924  * @return The number of bytes actually read, or -1 in case of an
 925  * error.
 926  **/
 927 ssize_t rawexpread(off_t a, char *buf, size_t len, CLIENT *client) {
 928         int fhandle;
 929         off_t foffset;
 930         size_t maxbytes;
 931
 932         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 933                 return -1;
 934         if(maxbytes && len > maxbytes)
 935                 len = maxbytes;
 936
 937         DEBUG4("(READ from fd %d offset %llu len %u), ", fhandle, foffset, len);
 938
 939         myseek(fhandle, foffset);
 940         return read(fhandle, buf, len);
 941 }
 942
 943 /**
 944  * Call rawexpread repeatedly until all data has been read.
 945  * @return 0 on success, nonzero on failure
 946  **/
 947 int rawexpread_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 948         ssize_t ret=0;
 949
 950         while(len > 0 && (ret=rawexpread(a, buf, len, client)) > 0 ) {
 951                 a += ret;
 952                 buf += ret;
 953                 len -= ret;
 954         }
 955         return (ret < 0 || len != 0);
 956 }
 957
 958 /**
 959  * Read an amount of bytes at a given offset from the right file. This
 960  * abstracts the read-side of the copyonwrite stuff, and calls
 961  * rawexpread() with the right parameters to do the actual work.
 962  * @param a The offset where the read should start
 963  * @param buf A buffer to read into
 964  * @param len The size of buf
 965  * @param client The client we're going to read for
 966  * @return 0 on success, nonzero on failure
 967  **/
 968 int expread(off_t a, char *buf, size_t len, CLIENT *client) {
 969         off_t rdlen, offset;
 970         off_t mapcnt, mapl, maph, pagestart;
 971
 972         if (!(client->server->flags & F_COPYONWRITE))
 973                 return(rawexpread_fully(a, buf, len, client));
 974         DEBUG3("Asked to read %d bytes at %llu.\n", len, (unsigned long long)a);
 975
 976         mapl=a/DIFFPAGESIZE; maph=(a+len-1)/DIFFPAGESIZE;
 977
 978         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
 979                 pagestart=mapcnt*DIFFPAGESIZE;
 980                 offset=a-pagestart;
 981                 rdlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
 982                         len : (size_t)DIFFPAGESIZE-offset;
 983                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
 984                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
 985                                (unsigned long)(client->difmap[mapcnt]));
 986                         myseek(client->difffile, client->difmap[mapcnt]*DIFFPAGESIZE+offset);
 987                         if (read(client->difffile, buf, rdlen) != rdlen) return -1;
 988                 } else { /* the block is not there */
 989                         DEBUG2("Page %llu is not here, we read the original one\n",
 990                                (unsigned long long)mapcnt);
 991                         if(rawexpread_fully(a, buf, rdlen, client)) return -1;
 992                 }
 993                 len-=rdlen; a+=rdlen; buf+=rdlen;
 994         }
 995         return 0;
 996 }
 997
 998 /**
 999  * Write an amount of bytes at a given offset to the right file. This
1000  * abstracts the write-side of the copyonwrite option, and calls
1001  * rawexpwrite() with the right parameters to do the actual work.
1002  *
1003  * @param a The offset where the write should start
1004  * @param buf The buffer to write from
1005  * @param len The length of buf
1006  * @param client The client we're going to write for.
1007  * @return 0 on success, nonzero on failure
1008  **/
1009 int expwrite(off_t a, char *buf, size_t len, CLIENT *client) {
1010         char pagebuf[DIFFPAGESIZE];
1011         off_t mapcnt,mapl,maph;
1012         off_t wrlen,rdlen;
1013         off_t pagestart;
1014         off_t offset;
1015
1016         if (!(client->server->flags & F_COPYONWRITE))
1017                 return(rawexpwrite_fully(a, buf, len, client));
1018         DEBUG3("Asked to write %d bytes at %llu.\n", len, (unsigned long long)a);
1019
1020         mapl=a/DIFFPAGESIZE ; maph=(a+len-1)/DIFFPAGESIZE ;
1021
1022         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
1023                 pagestart=mapcnt*DIFFPAGESIZE ;
1024                 offset=a-pagestart ;
1025                 wrlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
1026                         len : (size_t)DIFFPAGESIZE-offset;
1027
1028                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
1029                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
1030                                (unsigned long)(client->difmap[mapcnt])) ;
1031                         myseek(client->difffile,
1032                                         client->difmap[mapcnt]*DIFFPAGESIZE+offset);
1033                         if (write(client->difffile, buf, wrlen) != wrlen) return -1 ;
1034                 } else { /* the block is not there */
1035                         myseek(client->difffile,client->difffilelen*DIFFPAGESIZE) ;
1036                         client->difmap[mapcnt]=(client->server->flags&F_SPARSE)?mapcnt:client->difffilelen++;
1037                         DEBUG3("Page %llu is not here, we put it at %lu\n",
1038                                (unsigned long long)mapcnt,
1039                                (unsigned long)(client->difmap[mapcnt]));
1040                         rdlen=DIFFPAGESIZE ;
1041                         if (rawexpread_fully(pagestart, pagebuf, rdlen, client))
1042                                 return -1;
1043                         memcpy(pagebuf+offset,buf,wrlen) ;
1044                         if (write(client->difffile, pagebuf, DIFFPAGESIZE) !=
1045                                         DIFFPAGESIZE)
1046                                 return -1;
1047                 }
1048                 len-=wrlen ; a+=wrlen ; buf+=wrlen ;
1049         }
1050         return 0;
1051 }
1052
1053 /**
1054  * Do the initial negotiation.
1055  *
1056  * @param client The client we're negotiating with.
1057  **/
1058 void negotiate(CLIENT *client) {
1059         char zeros[128];
1060         u64 size_host;
1061         u32 flags = NBD_FLAG_HAS_FLAGS;
1062
1063         memset(zeros, '\0', sizeof(zeros));
1064         if (write(client->net, INIT_PASSWD, 8) < 0)
1065                 err("Negotiation failed: %m");
1066         cliserv_magic = htonll(cliserv_magic);
1067         if (write(client->net, &cliserv_magic, sizeof(cliserv_magic)) < 0)
1068                 err("Negotiation failed: %m");
1069         size_host = htonll((u64)(client->exportsize));
1070         if (write(client->net, &size_host, 8) < 0)
1071                 err("Negotiation failed: %m");
1072         if (client->server->flags & F_READONLY)
1073                 flags |= NBD_FLAG_READ_ONLY;
1074         flags = htonl(flags);
1075         if (write(client->net, &flags, 4) < 0)
1076                 err("Negotiation failed: %m");
1077         if (write(client->net, zeros, 124) < 0)
1078                 err("Negotiation failed: %m");
1079 }
1080
1081 /** sending macro. */
1082 #define SEND(net,reply) writeit( net, &reply, sizeof( reply ));
1083 /** error macro. */
1084 #define ERROR(client,reply,errcode) { reply.error = htonl(errcode); SEND(client->net,reply); reply.error = 0; }
1085 /**
1086  * Serve a file to a single client.
1087  *
1088  * @todo This beast needs to be split up in many tiny little manageable
1089  * pieces. Preferably with a chainsaw.
1090  *
1091  * @param client The client we're going to serve to.
1092  * @return when the client disconnects
1093  **/
1094 int mainloop(CLIENT *client) {
1095         struct nbd_request request;
1096         struct nbd_reply reply;
1097         gboolean go_on=TRUE;
1098 #ifdef DODBG
1099         int i = 0;
1100 #endif
1101         negotiate(client);
1102         DEBUG("Entering request loop!\n");
1103         reply.magic = htonl(NBD_REPLY_MAGIC);
1104         reply.error = 0;
1105         while (go_on) {
1106                 char buf[BUFSIZE];
1107                 size_t len;
1108 #ifdef DODBG
1109                 i++;
1110                 printf("%d: ", i);
1111 #endif
1112                 if (client->server->timeout)
1113                         alarm(client->server->timeout);
1114                 readit(client->net, &request, sizeof(request));
1115                 request.from = ntohll(request.from);
1116                 request.type = ntohl(request.type);
1117
1118                 if (request.type==NBD_CMD_DISC) {
1119                         msg2(LOG_INFO, "Disconnect request received.");
1120                         if (client->server->flags & F_COPYONWRITE) {
1121                                 if (client->difmap) g_free(client->difmap) ;
1122                                 close(client->difffile);
1123                                 unlink(client->difffilename);
1124                                 free(client->difffilename);
1125                         }
1126                         go_on=FALSE;
1127                         continue;
1128                 }
1129
1130                 len = ntohl(request.len);
1131
1132                 if (request.magic != htonl(NBD_REQUEST_MAGIC))
1133                         err("Not enough magic.");
1134                 if (len > BUFSIZE + sizeof(struct nbd_reply))
1135                         err("Request too big!");
1136 #ifdef DODBG
1137                 printf("%s from %llu (%llu) len %d, ", request.type ? "WRITE" :
1138                                 "READ", (unsigned long long)request.from,
1139                                 (unsigned long long)request.from / 512, len);
1140 #endif
1141                 memcpy(reply.handle, request.handle, sizeof(reply.handle));
1142                 if ((request.from + len) > (OFFT_MAX)) {
1143                         DEBUG("[Number too large!]");
1144                         ERROR(client, reply, EINVAL);
1145                         continue;
1146                 }
1147
1148                 if (((ssize_t)((off_t)request.from + len) > client->exportsize)) {
1149                         DEBUG("[RANGE!]");
1150                         ERROR(client, reply, EINVAL);
1151                         continue;
1152                 }
1153
1154                 if (request.type==NBD_CMD_WRITE) {
1155                         DEBUG("wr: net->buf, ");
1156                         readit(client->net, buf, len);
1157                         DEBUG("buf->exp, ");
1158                         if ((client->server->flags & F_READONLY) ||
1159                             (client->server->flags & F_AUTOREADONLY)) {
1160                                 DEBUG("[WRITE to READONLY!]");
1161                                 ERROR(client, reply, EPERM);
1162                                 continue;
1163                         }
1164                         if (expwrite(request.from, buf, len, client)) {
1165                                 DEBUG("Write failed: %m" );
1166                                 ERROR(client, reply, errno);
1167                                 continue;
1168                         }
1169                         SEND(client->net, reply);
1170                         DEBUG("OK!\n");
1171                         continue;
1172                 }
1173                 /* READ */
1174
1175                 DEBUG("exp->buf, ");
1176                 if (expread(request.from, buf + sizeof(struct nbd_reply), len, client)) {
1177                         DEBUG("Read failed: %m");
1178                         ERROR(client, reply, errno);
1179                         continue;
1180                 }
1181
1182                 DEBUG("buf->net, ");
1183                 memcpy(buf, &reply, sizeof(struct nbd_reply));
1184                 writeit(client->net, buf, len + sizeof(struct nbd_reply));
1185                 DEBUG("OK!\n");
1186         }
1187         return 0;
1188 }
1189
1190 /**
1191  * Set up client export array, which is an array of FILE_INFO.
1192  * Also, split a single exportfile into multiple ones, if that was asked.
1193  * @param client information on the client which we want to setup export for
1194  **/
1195 void setupexport(CLIENT* client) {
1196         int i;
1197         off_t laststartoff = 0, lastsize = 0;
1198         int multifile = (client->server->flags & F_MULTIFILE);
1199
1200         client->export = g_array_new(TRUE, TRUE, sizeof(FILE_INFO));
1201
1202         /* If multi-file, open as many files as we can.
1203          * If not, open exactly one file.
1204          * Calculate file sizes as we go to get total size. */
1205         for(i=0; ; i++) {
1206                 FILE_INFO fi;
1207                 gchar *tmpname;
1208                 mode_t mode = (client->server->flags & F_READONLY) ? O_RDONLY : O_RDWR;
1209
1210                 if(multifile) {
1211                         tmpname=g_strdup_printf("%s.%d", client->exportname, i);
1212                 } else {
1213                         tmpname=g_strdup(client->exportname);
1214                 }
1215                 DEBUG2( "Opening %s\n", tmpname );
1216                 fi.fhandle = open(tmpname, mode);
1217                 if(fi.fhandle == -1 && mode == O_RDWR) {
1218                         /* Try again because maybe media was read-only */
1219                         fi.fhandle = open(tmpname, O_RDONLY);
1220                         if(fi.fhandle != -1) {
1221                                 /* Opening the base file in copyonwrite mode is
1222                                  * okay */
1223                                 if(!(client->server->flags & F_COPYONWRITE)) {
1224                                         client->server->flags |= F_AUTOREADONLY;
1225                                         client->server->flags |= F_READONLY;
1226                                 }
1227                         }
1228                 }
1229                 if(fi.fhandle == -1) {
1230                         if(multifile && i>0)
1231                                 break;
1232                         err("Could not open exported file: %m");
1233                 }
1234                 fi.startoff = laststartoff + lastsize;
1235                 g_array_append_val(client->export, fi);
1236                 g_free(tmpname);
1237
1238                 /* Starting offset and size of this file will be used to
1239                  * calculate starting offset of next file */
1240                 laststartoff = fi.startoff;
1241                 lastsize = size_autodetect(fi.fhandle);
1242
1243                 if(!multifile)
1244                         break;
1245         }
1246
1247         /* Set export size to total calculated size */
1248         client->exportsize = laststartoff + lastsize;
1249
1250         /* Export size may be overridden */
1251         if(client->server->expected_size) {
1252                 /* desired size must be <= total calculated size */
1253                 if(client->server->expected_size > client->exportsize) {
1254                         err("Size of exported file is too big\n");
1255                 }
1256
1257                 client->exportsize = client->server->expected_size;
1258         }
1259
1260         msg3(LOG_INFO, "Size of exported file/device is %llu", (unsigned long long)client->exportsize);
1261         if(multifile) {
1262                 msg3(LOG_INFO, "Total number of files: %d", i);
1263         }
1264 }
1265
1266 int copyonwrite_prepare(CLIENT* client) {
1267         off_t i;
1268         if ((client->difffilename = malloc(1024))==NULL)
1269                 err("Failed to allocate string for diff file name");
1270         snprintf(client->difffilename, 1024, "%s-%s-%d.diff",client->exportname,client->clientname,
1271                 (int)getpid()) ;
1272         client->difffilename[1023]='\0';
1273         msg3(LOG_INFO,"About to create map and diff file %s",client->difffilename) ;
1274         client->difffile=open(client->difffilename,O_RDWR | O_CREAT | O_TRUNC,0600) ;
1275         if (client->difffile<0) err("Could not create diff file (%m)") ;
1276         if ((client->difmap=calloc(client->exportsize/DIFFPAGESIZE,sizeof(u32)))==NULL)
1277                 err("Could not allocate memory") ;
1278         for (i=0;i<client->exportsize/DIFFPAGESIZE;i++) client->difmap[i]=(u32)-1 ;
1279
1280         return 0;
1281 }
1282
1283 /**
1284  * Run a command. This is used for the ``prerun'' and ``postrun'' config file
1285  * options
1286  *
1287  * @param command the command to be ran. Read from the config file
1288  * @param file the file name we're about to export
1289  **/
1290 int do_run(gchar* command, gchar* file) {
1291         gchar* cmd;
1292         int retval=0;
1293
1294         if(command && *command) {
1295                 cmd = g_strdup_printf(command, file);
1296                 retval=system(cmd);
1297                 g_free(cmd);
1298         }
1299         return retval;
1300 }
1301
1302 /**
1303  * Serve a connection.
1304  *
1305  * @todo allow for multithreading, perhaps use libevent. Not just yet, though;
1306  * follow the road map.
1307  *
1308  * @param client a connected client
1309  **/
1310 void serveconnection(CLIENT *client) {
1311         if(do_run(client->server->prerun, client->exportname)) {
1312                 exit(EXIT_FAILURE);
1313         }
1314         setupexport(client);
1315
1316         if (client->server->flags & F_COPYONWRITE) {
1317                 copyonwrite_prepare(client);
1318         }
1319
1320         setmysockopt(client->net);
1321
1322         mainloop(client);
1323         do_run(client->server->postrun, client->exportname);
1324 }
1325
1326 /**
1327  * Find the name of the file we have to serve. This will use g_strdup_printf
1328  * to put the IP address of the client inside a filename containing
1329  * "%s" (in the form as specified by the "virtstyle" option). That name
1330  * is then written to client->exportname.
1331  *
1332  * @param net A socket connected to an nbd client
1333  * @param client information about the client. The IP address in human-readable
1334  * format will be written to a new char* buffer, the address of which will be
1335  * stored in client->clientname.
1336  **/
1337 void set_peername(int net, CLIENT *client) {
1338         struct sockaddr_in addrin;
1339         struct sockaddr_in netaddr;
1340         size_t addrinlen = sizeof( addrin );
1341         char *peername;
1342         char *netname;
1343         char *tmp;
1344         int i;
1345
1346         if (getpeername(net, (struct sockaddr *) &addrin, (socklen_t *)&addrinlen) < 0)
1347                 err("getsockname failed: %m");
1348         peername = g_strdup(inet_ntoa(addrin.sin_addr));
1349         switch(client->server->virtstyle) {
1350                 case VIRT_NONE:
1351                         client->exportname=g_strdup(client->server->exportname);
1352                         break;
1353                 case VIRT_IPHASH:
1354                         for(i=0;i<strlen(peername);i++) {
1355                                 if(peername[i]=='.') {
1356                                         peername[i]='/';
1357                                 }
1358                         }
1359                 case VIRT_IPLIT:
1360                         client->exportname=g_strdup_printf(client->server->exportname, peername);
1361                         break;
1362                 case VIRT_CIDR:
1363                         memcpy(&netaddr, &addrin, addrinlen);
1364                         netaddr.sin_addr.s_addr>>=32-(client->server->cidrlen);
1365                         netaddr.sin_addr.s_addr<<=32-(client->server->cidrlen);
1366                         netname = inet_ntoa(netaddr.sin_addr);
1367                         tmp=g_strdup_printf("%s/%s", netname, peername);
1368                         client->exportname=g_strdup_printf(client->server->exportname, tmp);
1369                         break;
1370         }
1371
1372         msg4(LOG_INFO, "connect from %s, assigned file is %s",
1373              peername, client->exportname);
1374         client->clientname=g_strdup(peername);
1375         g_free(peername);
1376 }
1377
1378 /**
1379  * Destroy a pid_t*
1380  * @param data a pointer to pid_t which should be freed
1381  **/
1382 void destroy_pid_t(gpointer data) {
1383         g_free(data);
1384 }
1385
1386 /**
1387  * Loop through the available servers, and serve them. Never returns.
1388  **/
1389 int serveloop(GArray* servers) {
1390         struct sockaddr_in addrin;
1391         socklen_t addrinlen=sizeof(addrin);
1392         SERVER *serve;
1393         int i;
1394         int max;
1395         int sock;
1396         fd_set mset;
1397         fd_set rset;
1398
1399         /*
1400          * Set up the master fd_set. The set of descriptors we need
1401          * to select() for never changes anyway and it buys us a *lot*
1402          * of time to only build this once. However, if we ever choose
1403          * to not fork() for clients anymore, we may have to revisit
1404          * this.
1405          */
1406         max=0;
1407         FD_ZERO(&mset);
1408         for(i=0;i<servers->len;i++) {
1409                 sock=(g_array_index(servers, SERVER, i)).socket;
1410                 FD_SET(sock, &mset);
1411                 max=sock>max?sock:max;
1412         }
1413         for(;;) {
1414                 CLIENT *client;
1415                 int net;
1416                 pid_t *pid;
1417
1418                 memcpy(&rset, &mset, sizeof(fd_set));
1419                 if(select(max+1, &rset, NULL, NULL, NULL)>0) {
1420                         DEBUG("accept, ");
1421                         for(i=0;i<servers->len;i++) {
1422                                 serve=&(g_array_index(servers, SERVER, i));
1423                                 if(FD_ISSET(serve->socket, &rset)) {
1424                                         int sock_flags;
1425                                         if ((net=accept(serve->socket, (struct sockaddr *) &addrin, &addrinlen)) < 0)
1426                                                 err("accept: %m");
1427
1428                                         if((sock_flags = fcntl(net, F_GETFL, 0))==-1) {
1429                                                 err("fcntl F_GETFL");
1430                                         }
1431                                         if(fcntl(net, F_SETFL, sock_flags &~O_NONBLOCK)==-1) {
1432                                                 err("fcntl F_SETFL ~O_NONBLOCK");
1433                                         }
1434                                         client = g_malloc(sizeof(CLIENT));
1435                                         client->server=serve;
1436                                         client->exportsize=OFFT_MAX;
1437                                         client->net=net;
1438                                         set_peername(net, client);
1439                                         if (!authorized_client(client)) {
1440                                                 msg2(LOG_INFO,"Unauthorized client") ;
1441                                                 close(net);
1442                                                 continue;
1443                                         }
1444                                         msg2(LOG_INFO,"Authorized client") ;
1445                                         pid=g_malloc(sizeof(pid_t));
1446 #ifndef NOFORK
1447                                         if ((*pid=fork())<0) {
1448                                                 msg3(LOG_INFO,"Could not fork (%s)",strerror(errno)) ;
1449                                                 close(net);
1450                                                 continue;
1451                                         }
1452                                         if (*pid>0) { /* parent */
1453                                                 close(net);
1454                                                 g_hash_table_insert(children, pid, pid);
1455                                                 continue;
1456                                         }
1457                                         /* child */
1458                                         g_hash_table_destroy(children);
1459                                         for(i=0;i<servers->len;i++) {
1460                                                 serve=&g_array_index(servers, SERVER, i);
1461                                                 close(serve->socket);
1462                                         }
1463                                         /* FALSE does not free the
1464                                         actual data. This is required,
1465                                         because the client has a
1466                                         direct reference into that
1467                                         data, and otherwise we get a
1468                                         segfault... */
1469                                         g_array_free(servers, FALSE);
1470 #endif // NOFORK
1471                                         msg2(LOG_INFO,"Starting to serve");
1472                                         serveconnection(client);
1473                                         exit(EXIT_SUCCESS);
1474                                 }
1475                         }
1476                 }
1477         }
1478 }
1479
1480 /**
1481  * Connect a server's socket.
1482  *
1483  * @param serve the server we want to connect.
1484  **/
1485 void setup_serve(SERVER *serve) {
1486         struct sockaddr_in addrin;
1487         struct sigaction sa;
1488         int addrinlen = sizeof(addrin);
1489         int sock_flags;
1490         int af;
1491 #ifndef sun
1492         int yes=1;
1493 #else
1494         char yes='1';
1495 #endif /* sun */
1496
1497         af = AF_INET;
1498 #ifdef WITH_SDP
1499         if ((serve->flags) && F_SDP) {
1500                 af = AF_INET_SDP;
1501         }
1502 #endif
1503         if ((serve->socket = socket(af, SOCK_STREAM, IPPROTO_TCP)) < 0)
1504                 err("socket: %m");
1505
1506         /* lose the pesky "Address already in use" error message */
1507         if (setsockopt(serve->socket,SOL_SOCKET,SO_REUSEADDR,&yes,sizeof(int)) == -1) {
1508                 err("setsockopt SO_REUSEADDR");
1509         }
1510         if (setsockopt(serve->socket,SOL_SOCKET,SO_KEEPALIVE,&yes,sizeof(int)) == -1) {
1511                 err("setsockopt SO_KEEPALIVE");
1512         }
1513
1514         /* make the listening socket non-blocking */
1515         if ((sock_flags = fcntl(serve->socket, F_GETFL, 0)) == -1) {
1516                 err("fcntl F_GETFL");
1517         }
1518         if (fcntl(serve->socket, F_SETFL, sock_flags | O_NONBLOCK) == -1) {
1519                 err("fcntl F_SETFL O_NONBLOCK");
1520         }
1521
1522         DEBUG("Waiting for connections... bind, ");
1523         addrin.sin_family = AF_INET;
1524 #ifdef WITH_SDP
1525         if(serve->flags & F_SDP) {
1526                 addrin.sin_family = AF_INET_SDP;
1527         }
1528 #endif
1529         addrin.sin_port = htons(serve->port);
1530         if(!inet_aton(serve->listenaddr, &(addrin.sin_addr)))
1531                 err("could not parse listen address");
1532         if (bind(serve->socket, (struct sockaddr *) &addrin, addrinlen) < 0)
1533                 err("bind: %m");
1534         DEBUG("listen, ");
1535         if (listen(serve->socket, 1) < 0)
1536                 err("listen: %m");
1537         sa.sa_handler = sigchld_handler;
1538         sigemptyset(&sa.sa_mask);
1539         sa.sa_flags = SA_RESTART;
1540         if(sigaction(SIGCHLD, &sa, NULL) == -1)
1541                 err("sigaction: %m");
1542         sa.sa_handler = sigterm_handler;
1543         sigemptyset(&sa.sa_mask);
1544         sa.sa_flags = SA_RESTART;
1545         if(sigaction(SIGTERM, &sa, NULL) == -1)
1546                 err("sigaction: %m");
1547 }
1548
1549 /**
1550  * Connect our servers.
1551  **/
1552 void setup_servers(GArray* servers) {
1553         int i;
1554
1555         for(i=0;i<servers->len;i++) {
1556                 setup_serve(&(g_array_index(servers, SERVER, i)));
1557         }
1558         children=g_hash_table_new_full(g_int_hash, g_int_equal, NULL, destroy_pid_t);
1559 }
1560
1561 /**
1562  * Go daemon (unless we specified at compile time that we didn't want this)
1563  * @param serve the first server of our configuration. If its port is zero,
1564  *      then do not daemonize, because we're doing inetd then. This parameter
1565  *      is only used to create a PID file of the form
1566  *      /var/run/nbd-server.&lt;port&gt;.pid; it's not modified in any way.
1567  **/
1568 #if !defined(NODAEMON) && !defined(NOFORK)
1569 void daemonize(SERVER* serve) {
1570         FILE*pidf;
1571
1572         if(serve && !(serve->port)) {
1573                 return;
1574         }
1575         if(daemon(0,0)<0) {
1576                 err("daemon");
1577         }
1578         if(!*pidftemplate) {
1579                 if(serve) {
1580                         strncpy(pidftemplate, "/var/run/nbd-server.%d.pid", 255);
1581                 } else {
1582                         strncpy(pidftemplate, "/var/run/nbd-server.pid", 255);
1583                 }
1584         }
1585         snprintf(pidfname, 255, pidftemplate, serve ? serve->port : 0);
1586         pidf=fopen(pidfname, "w");
1587         if(pidf) {
1588                 fprintf(pidf,"%d\n", (int)getpid());
1589                 fclose(pidf);
1590         } else {
1591                 perror("fopen");
1592                 fprintf(stderr, "Not fatal; continuing");
1593         }
1594 }
1595 #else
1596 #define daemonize(serve)
1597 #endif /* !defined(NODAEMON) && !defined(NOFORK) */
1598
1599 /*
1600  * Everything beyond this point (in the file) is run in non-daemon mode.
1601  * The stuff above daemonize() isn't.
1602  */
1603
1604 void serve_err(SERVER* serve, const char* msg) G_GNUC_NORETURN;
1605
1606 void serve_err(SERVER* serve, const char* msg) {
1607         g_message("Export of %s on port %d failed:", serve->exportname,
1608                         serve->port);
1609         err(msg);
1610 }
1611
1612 /**
1613  * Set up user-ID and/or group-ID
1614  **/
1615 void dousers(void) {
1616         struct passwd *pw;
1617         struct group *gr;
1618         if(rungroup) {
1619                 gr=getgrnam(rungroup);
1620                 if(!gr) {
1621                         g_message("Invalid group name: %s", rungroup);
1622                         exit(EXIT_FAILURE);
1623                 }
1624                 if(setgid(gr->gr_gid)<0) {
1625                         g_message("Could not set GID: %s", strerror(errno));
1626                         exit(EXIT_FAILURE);
1627                 }
1628         }
1629         if(runuser) {
1630                 pw=getpwnam(runuser);
1631                 if(!pw) {
1632                         g_message("Invalid user name: %s", runuser);
1633                         exit(EXIT_FAILURE);
1634                 }
1635                 if(setuid(pw->pw_uid)<0) {
1636                         g_message("Could not set UID: %s", strerror(errno));
1637                         exit(EXIT_FAILURE);
1638                 }
1639         }
1640 }
1641
1642 /**
1643  * Main entry point...
1644  **/
1645 int main(int argc, char *argv[]) {
1646         SERVER *serve;
1647         GArray *servers;
1648         GError *err=NULL;
1649
1650         if (sizeof( struct nbd_request )!=28) {
1651                 fprintf(stderr,"Bad size of structure. Alignment problems?\n");
1652                 exit(EXIT_FAILURE) ;
1653         }
1654
1655         memset(pidftemplate, '\0', 256);
1656
1657         logging();
1658         config_file_pos = g_strdup(CFILE);
1659         serve=cmdline(argc, argv);
1660         servers = parse_cfile(config_file_pos, &err);
1661         if(!servers || !servers->len) {
1662                 g_warning("Could not parse config file: %s",
1663                                 err ? err->message : "Unknown error");
1664         }
1665         if(serve) {
1666                 g_array_append_val(servers, *serve);
1667
1668                 if (!(serve->port)) {
1669                         CLIENT *client;
1670 #ifndef ISSERVER
1671                         /* You really should define ISSERVER if you're going to use
1672                          * inetd mode, but if you don't, closing stdout and stderr
1673                          * (which inetd had connected to the client socket) will let it
1674                          * work. */
1675                         close(1);
1676                         close(2);
1677                         open("/dev/null", O_WRONLY);
1678                         open("/dev/null", O_WRONLY);
1679 #endif
1680                         client=g_malloc(sizeof(CLIENT));
1681                         client->server=serve;
1682                         client->net=0;
1683                         client->exportsize=OFFT_MAX;
1684                         set_peername(0,client);
1685                         serveconnection(client);
1686                         return 0;
1687                 }
1688         }
1689         if((!serve) && (!servers||!servers->len)) {
1690                 g_message("Nothing to do! Bye!");
1691                 exit(EXIT_FAILURE);
1692         }
1693         daemonize(serve);
1694         setup_servers(servers);
1695         dousers();
1696         serveloop(servers);
1697         return 0 ;
1698 }