nbd-server.c

   1 /*
   2  * Network Block Device - server
   3  *
   4  * Copyright 1996-1998 Pavel Machek, distribute under GPL
   5  *  <pavel@atrey.karlin.mff.cuni.cz>
   6  * Copyright 2001-2004 Wouter Verhelst <wouter@debian.org>
   7  * Copyright 2002 Anton Altaparmakov <aia21@cam.ac.uk>
   8  *
   9  * Version 1.0 - hopefully 64-bit-clean
  10  * Version 1.1 - merging enhancements from Josh Parsons, <josh@coombs.anu.edu.au>
  11  * Version 1.2 - autodetect size of block devices, thanx to Peter T. Breuer" <ptb@it.uc3m.es>
  12  * Version 1.5 - can compile on Unix systems that don't have 64 bit integer
  13  *      type, or don't have 64 bit file offsets by defining FS_32BIT
  14  *      in compile options for nbd-server *only*. This can be done
  15  *      with make FSCHOICE=-DFS_32BIT nbd-server. (I don't have the
  16  *      original autoconf input file, or I would make it a configure
  17  *      option.) Ken Yap <ken@nlc.net.au>.
  18  * Version 1.6 - fix autodetection of block device size and really make 64 bit
  19  *      clean on 32 bit machines. Anton Altaparmakov <aia21@cam.ac.uk>
  20  * Version 2.0 - Version synchronised with client
  21  * Version 2.1 - Reap zombie client processes when they exit. Removed
  22  *      (uncommented) the _IO magic, it's no longer necessary. Wouter
  23  *      Verhelst <wouter@debian.org>
  24  * Version 2.2 - Auto switch to read-only mode (usefull for floppies).
  25  * Version 2.3 - Fixed code so that Large File Support works. This
  26  *      removes the FS_32BIT compile-time directive; define
  27  *      _FILE_OFFSET_BITS=64 and _LARGEFILE_SOURCE if you used to be
  28  *      using FS_32BIT. This will allow you to use files >2GB instead of
  29  *      having to use the -m option. Wouter Verhelst <wouter@debian.org>
  30  * Version 2.4 - Added code to keep track of children, so that we can
  31  *      properly kill them from initscripts. Add a call to daemon(),
  32  *      so that processes don't think they have to wait for us, which is
  33  *      interesting for initscripts as well. Wouter Verhelst
  34  *      <wouter@debian.org>
  35  * Version 2.5 - Bugfix release: forgot to reset child_arraysize to
  36  *      zero after fork()ing, resulting in nbd-server going berserk
  37  *      when it receives a signal with at least one child open. Wouter
  38  *      Verhelst <wouter@debian.org>
  39  * 10/10/2003 - Added socket option SO_KEEPALIVE (sf.net bug 819235);
  40  *      rectified type of mainloop::size_host (sf.net bugs 814435 and
  41  *      817385); close the PID file after writing to it, so that the
  42  *      daemon can actually be found. Wouter Verhelst
  43  *      <wouter@debian.org>
  44  * 10/10/2003 - Size of the data "size_host" was wrong and so was not
  45  *      correctly put in network endianness. Many types were corrected
  46  *      (size_t and off_t instead of int).  <vspaceg@sourceforge.net>
  47  * Version 2.6 - Some code cleanup.
  48  * Version 2.7 - Better build system.
  49  * 11/02/2004 - Doxygenified the source, modularized it a bit. Needs a
  50  *      lot more work, but this is a start. Wouter Verhelst
  51  *      <wouter@debian.org>
  52  */
  53
  54 /* Includes LFS defines, which defines behaviours of some of the following
  55  * headers, so must come before those */
  56 #include "lfs.h"
  57
  58 #include <sys/types.h>
  59 #include <sys/socket.h>
  60 #include <sys/stat.h>
  61 #include <sys/select.h>         /* select */
  62 #include <sys/wait.h>           /* wait */
  63 #ifdef HAVE_SYS_IOCTL_H
  64 #include <sys/ioctl.h>
  65 #endif
  66 #include <sys/param.h>
  67 #ifdef HAVE_SYS_MOUNT_H
  68 #include <sys/mount.h>          /* For BLKGETSIZE */
  69 #endif
  70 #include <signal.h>             /* sigaction */
  71 #include <errno.h>
  72 #include <netinet/tcp.h>
  73 #include <netinet/in.h>         /* sockaddr_in, htons, in_addr */
  74 #include <netdb.h>              /* hostent, gethostby*, getservby* */
  75 #include <syslog.h>
  76 #include <unistd.h>
  77 #include <stdio.h>
  78 #include <stdlib.h>
  79 #include <string.h>
  80 #include <fcntl.h>
  81 #include <arpa/inet.h>
  82 #include <strings.h>
  83 #include <dirent.h>
  84 #include <unistd.h>
  85 #include <getopt.h>
  86 #include <pwd.h>
  87 #include <grp.h>
  88
  89 #include <glib.h>
  90
  91 /* used in cliserv.h, so must come first */
  92 #define MY_NAME "nbd_server"
  93 #include "cliserv.h"
  94
  95 /** Default position of the config file */
  96 #ifndef SYSCONFDIR
  97 #define SYSCONFDIR "/etc"
  98 #endif
  99 #define CFILE SYSCONFDIR "/nbd-server/config"
 100
 101 /** Where our config file actually is */
 102 gchar* config_file_pos;
 103
 104 /** What user we're running as */
 105 gchar* runuser=NULL;
 106 /** What group we're running as */
 107 gchar* rungroup=NULL;
 108
 109 /** Logging macros, now nothing goes to syslog unless you say ISSERVER */
 110 #ifdef ISSERVER
 111 #define msg2(a,b) syslog(a,b)
 112 #define msg3(a,b,c) syslog(a,b,c)
 113 #define msg4(a,b,c,d) syslog(a,b,c,d)
 114 #else
 115 #define msg2(a,b) g_message(b)
 116 #define msg3(a,b,c) g_message(b,c)
 117 #define msg4(a,b,c,d) g_message(b,c,d)
 118 #endif
 119
 120 /* Debugging macros */
 121 //#define DODBG
 122 #ifdef DODBG
 123 #define DEBUG( a ) printf( a )
 124 #define DEBUG2( a,b ) printf( a,b )
 125 #define DEBUG3( a,b,c ) printf( a,b,c )
 126 #define DEBUG4( a,b,c,d ) printf( a,b,c,d )
 127 #else
 128 #define DEBUG( a )
 129 #define DEBUG2( a,b )
 130 #define DEBUG3( a,b,c )
 131 #define DEBUG4( a,b,c,d )
 132 #endif
 133 #ifndef PACKAGE_VERSION
 134 #define PACKAGE_VERSION ""
 135 #endif
 136 /**
 137  * The highest value a variable of type off_t can reach. This is a signed
 138  * integer, so set all bits except for the leftmost one.
 139  **/
 140 #define OFFT_MAX ~((off_t)1<<(sizeof(off_t)*8-1))
 141 #define LINELEN 256       /**< Size of static buffer used to read the
 142                                authorization file (yuck) */
 143 #define BUFSIZE (1024*1024) /**< Size of buffer that can hold requests */
 144 #define DIFFPAGESIZE 4096 /**< diff file uses those chunks */
 145 #define F_READONLY 1      /**< flag to tell us a file is readonly */
 146 #define F_MULTIFILE 2     /**< flag to tell us a file is exported using -m */
 147 #define F_COPYONWRITE 4   /**< flag to tell us a file is exported using
 148                             copyonwrite */
 149 #define F_AUTOREADONLY 8  /**< flag to tell us a file is set to autoreadonly */
 150 #define F_SPARSE 16       /**< flag to tell us copyronwrite should use a sparse file */
 151 #define F_SDP 32          /**< flag to tell us the export should be done using the Socket Direct Protocol for RDMA */
 152 GHashTable *children;
 153 char pidfname[256]; /**< name of our PID file */
 154 char pidftemplate[256]; /**< template to be used for the filename of the PID file */
 155 char default_authname[] = SYSCONFDIR "/nbd-server/allow"; /**< default name of allow file */
 156
 157 /**
 158  * Types of virtuatlization
 159  **/
 160 typedef enum {
 161         VIRT_NONE=0,    /**< No virtualization */
 162         VIRT_IPLIT,     /**< Literal IP address as part of the filename */
 163         VIRT_IPHASH,    /**< Replacing all dots in an ip address by a / before
 164                              doing the same as in IPLIT */
 165         VIRT_CIDR,      /**< Every subnet in its own directory */
 166 } VIRT_STYLE;
 167
 168 /**
 169  * Variables associated with a server.
 170  **/
 171 typedef struct {
 172         gchar* exportname;    /**< (unprocessed) filename of the file we're exporting */
 173         gchar* cowname;      /**< template for the filename of the copy-on-write file */
 174         off_t expected_size; /**< size of the exported file as it was told to
 175                                us through configuration */
 176         gchar* listenaddr;   /**< The IP address we're listening on */
 177         unsigned int port;   /**< port we're exporting this file at */
 178         char* authname;      /**< filename of the authorization file */
 179         int flags;           /**< flags associated with this exported file */
 180         unsigned int timeout;/**< how long a connection may be idle
 181                                (0=forever) */
 182         int socket;          /**< The socket of this server. */
 183         VIRT_STYLE virtstyle;/**< The style of virtualization, if any */
 184         uint8_t cidrlen;     /**< The length of the mask when we use
 185                                   CIDR-style virtualization */
 186         gchar* prerun;       /**< command to be ran after connecting a client,
 187                                   but before starting to serve */
 188         gchar* postrun;      /**< command that will be ran after the client
 189                                   disconnects */
 190 } SERVER;
 191
 192 /**
 193  * Variables associated with a client socket.
 194  **/
 195 typedef struct {
 196         int fhandle;      /**< file descriptor */
 197         off_t startoff;   /**< starting offset of this file */
 198 } FILE_INFO;
 199
 200 typedef struct {
 201         off_t exportsize;    /**< size of the file we're exporting */
 202         char *clientname;    /**< peer */
 203         char *exportname;    /**< (processed) filename of the file we're exporting */
 204         GArray *export;    /**< array of FILE_INFO of exported files;
 205                                array size is always 1 unless we're
 206                                doing the multiple file option */
 207         int net;             /**< The actual client socket */
 208         SERVER *server;      /**< The server this client is getting data from */
 209         char* difffilename;  /**< filename of the copy-on-write file, if any */
 210         int difffile;        /**< filedescriptor of copyonwrite file. @todo
 211                                shouldn't this be an array too? (cfr export) Or
 212                                make -m and -c mutually exclusive */
 213         u32 difffilelen;     /**< number of pages in difffile */
 214         u32 *difmap;         /**< see comment on the global difmap for this one */
 215 } CLIENT;
 216
 217 /**
 218  * Type of configuration file values
 219  **/
 220 typedef enum {
 221         PARAM_INT,              /**< This parameter is an integer */
 222         PARAM_STRING,           /**< This parameter is a string */
 223         PARAM_BOOL,             /**< This parameter is a boolean */
 224 } PARAM_TYPE;
 225
 226 /**
 227  * Configuration file values
 228  **/
 229 typedef struct {
 230         gchar *paramname;       /**< Name of the parameter, as it appears in
 231                                   the config file */
 232         gboolean required;      /**< Whether this is a required (as opposed to
 233                                   optional) parameter */
 234         PARAM_TYPE ptype;       /**< Type of the parameter. */
 235         gpointer target;        /**< Pointer to where the data of this
 236                                   parameter should be written. If ptype is
 237                                   PARAM_BOOL, the data is or'ed rather than
 238                                   overwritten. */
 239         gint flagval;           /**< Flag mask for this parameter in case ptype
 240                                   is PARAM_BOOL. */
 241 } PARAM;
 242
 243 /**
 244  * Check whether a client is allowed to connect. Works with an authorization
 245  * file which contains one line per machine, no wildcards.
 246  *
 247  * @param opts The client who's trying to connect.
 248  * @return 0 - authorization refused, 1 - OK
 249  **/
 250 int authorized_client(CLIENT *opts) {
 251         const char *ERRMSG="Invalid entry '%s' in authfile '%s', so, refusing all connections.";
 252         FILE *f ;
 253         char line[LINELEN];
 254         char *tmp;
 255         struct in_addr addr;
 256         struct in_addr client;
 257         struct in_addr cltemp;
 258         int len;
 259
 260         if ((f=fopen(opts->server->authname,"r"))==NULL) {
 261                 msg4(LOG_INFO,"Can't open authorization file %s (%s).",
 262                      opts->server->authname,strerror(errno)) ;
 263                 return 1 ;
 264         }
 265
 266         inet_aton(opts->clientname, &client);
 267         while (fgets(line,LINELEN,f)!=NULL) {
 268                 if((tmp=index(line, '/'))) {
 269                         if(strlen(line)<=tmp-line) {
 270                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 271                                 return 0;
 272                         }
 273                         *(tmp++)=0;
 274                         if(inet_aton(line,&addr)) {
 275                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 276                                 return 0;
 277                         }
 278                         len=strtol(tmp, NULL, 0);
 279                         addr.s_addr>>=32-len;
 280                         addr.s_addr<<=32-len;
 281                         memcpy(&cltemp,&client,sizeof(client));
 282                         cltemp.s_addr>>=32-len;
 283                         cltemp.s_addr<<=32-len;
 284                         if(addr.s_addr == cltemp.s_addr) {
 285                                 return 1;
 286                         }
 287                 }
 288                 if (strncmp(line,opts->clientname,strlen(opts->clientname))==0) {
 289                         fclose(f);
 290                         return 1;
 291                 }
 292         }
 293         fclose(f);
 294         return 0;
 295 }
 296
 297 /**
 298  * Read data from a file descriptor into a buffer
 299  *
 300  * @param f a file descriptor
 301  * @param buf a buffer
 302  * @param len the number of bytes to be read
 303  **/
 304 inline void readit(int f, void *buf, size_t len) {
 305         ssize_t res;
 306         while (len > 0) {
 307                 DEBUG("*");
 308                 if ((res = read(f, buf, len)) <= 0)
 309                         err("Read failed: %m");
 310                 len -= res;
 311                 buf += res;
 312         }
 313 }
 314
 315 /**
 316  * Write data from a buffer into a filedescriptor
 317  *
 318  * @param f a file descriptor
 319  * @param buf a buffer containing data
 320  * @param len the number of bytes to be written
 321  **/
 322 inline void writeit(int f, void *buf, size_t len) {
 323         ssize_t res;
 324         while (len > 0) {
 325                 DEBUG("+");
 326                 if ((res = write(f, buf, len)) <= 0)
 327                         err("Send failed: %m");
 328                 len -= res;
 329                 buf += res;
 330         }
 331 }
 332
 333 /**
 334  * Print out a message about how to use nbd-server. Split out to a separate
 335  * function so that we can call it from multiple places
 336  */
 337 void usage() {
 338         printf("This is nbd-server version " VERSION "\n");
 339         printf("Usage: [ip:]port file_to_export [size][kKmM] [-l authorize_file] [-r] [-m] [-c] [-a timeout_sec] [-C configuration file] [-p PID file name] [-o section name]\n"
 340                "\t-r|--read-only\t\tread only\n"
 341                "\t-m|--multi-file\t\tmultiple file\n"
 342                "\t-c|--copy-on-write\tcopy on write\n"
 343                "\t-C|--config-file\tspecify an alternate configuration file\n"
 344                "\t-l|--authorize-file\tfile with list of hosts that are allowed to\n\t\t\t\tconnect.\n"
 345                "\t-a|--idle-time\t\tmaximum idle seconds; server terminates when\n\t\t\t\tidle time exceeded\n"
 346                "\t-p|--pid-file\t\tspecify a filename to write our PID to\n"
 347                "\t-o|--output-config\toutput a config file section for what you\n\t\t\t\tspecified on the command line, with the\n\t\t\t\tspecified section name\n\n"
 348                "\tif port is set to 0, stdin is used (for running from inetd)\n"
 349                "\tif file_to_export contains '%%s', it is substituted with the IP\n"
 350                "\t\taddress of the machine trying to connect\n"
 351                "\tif ip is set, it contains the local IP address on which we're listening.\n\tif not, the server will listen on all local IP addresses\n");
 352         printf("Using configuration file %s\n", CFILE);
 353 }
 354
 355 /* Dumps a config file section of the given SERVER*, and exits. */
 356 void dump_section(SERVER* serve, gchar* section_header) {
 357         printf("[%s]\n", section_header);
 358         printf("\texportname = %s\n", serve->exportname);
 359         printf("\tlistenaddr = %s\n", serve->listenaddr);
 360         printf("\tport = %d\n", serve->port);
 361         if(serve->flags & F_READONLY) {
 362                 printf("\treadonly = true\n");
 363         }
 364         if(serve->flags & F_MULTIFILE) {
 365                 printf("\tmultifile = true\n");
 366         }
 367         if(serve->flags & F_COPYONWRITE) {
 368                 printf("\tcopyonwrite = true\n");
 369         }
 370         if(serve->expected_size) {
 371                 printf("\tfilesize = %Ld\n", (long long int)serve->expected_size);
 372         }
 373         if(serve->authname) {
 374                 printf("\tauthfile = %s\n", serve->authname);
 375         }
 376         if(serve->timeout) {
 377                 printf("\ttimeout = %d\n", serve->timeout);
 378         }
 379         exit(EXIT_SUCCESS);
 380 }
 381
 382 /**
 383  * Parse the command line.
 384  *
 385  * @param argc the argc argument to main()
 386  * @param argv the argv argument to main()
 387  **/
 388 SERVER* cmdline(int argc, char *argv[]) {
 389         int i=0;
 390         int nonspecial=0;
 391         int c;
 392         struct option long_options[] = {
 393                 {"read-only", no_argument, NULL, 'r'},
 394                 {"multi-file", no_argument, NULL, 'm'},
 395                 {"copy-on-write", no_argument, NULL, 'c'},
 396                 {"authorize-file", required_argument, NULL, 'l'},
 397                 {"idle-time", required_argument, NULL, 'a'},
 398                 {"config-file", required_argument, NULL, 'C'},
 399                 {"pid-file", required_argument, NULL, 'p'},
 400                 {"output-config", required_argument, NULL, 'o'},
 401                 {0,0,0,0}
 402         };
 403         SERVER *serve;
 404         off_t es;
 405         size_t last;
 406         char suffix;
 407         gboolean do_output=FALSE;
 408         gchar* section_header="";
 409         gchar** addr_port;
 410
 411         if(argc==1) {
 412                 return NULL;
 413         }
 414         serve=g_new0(SERVER, 1);
 415         serve->authname = g_strdup(default_authname);
 416         serve->virtstyle=VIRT_IPLIT;
 417         while((c=getopt_long(argc, argv, "-a:C:cl:mo:rp:", long_options, &i))>=0) {
 418                 switch (c) {
 419                 case 1:
 420                         /* non-option argument */
 421                         switch(nonspecial++) {
 422                         case 0:
 423                                 addr_port=g_strsplit(optarg, ":", 2);
 424                                 if(addr_port[1]) {
 425                                         serve->port=strtol(addr_port[1], NULL, 0);
 426                                         serve->listenaddr=g_strdup(addr_port[0]);
 427                                 } else {
 428                                         serve->listenaddr=g_strdup("0.0.0.0");
 429                                         serve->port=strtol(addr_port[0], NULL, 0);
 430                                 }
 431                                 g_strfreev(addr_port);
 432                                 break;
 433                         case 1:
 434                                 serve->exportname = g_strdup(optarg);
 435                                 if(serve->exportname[0] != '/') {
 436                                         fprintf(stderr, "E: The to be exported file needs to be an absolute filename!\n");
 437                                         exit(EXIT_FAILURE);
 438                                 }
 439                                 break;
 440                         case 2:
 441                                 last=strlen(optarg)-1;
 442                                 suffix=optarg[last];
 443                                 if (suffix == 'k' || suffix == 'K' ||
 444                                     suffix == 'm' || suffix == 'M')
 445                                         optarg[last] = '\0';
 446                                 es = (off_t)atol(optarg);
 447                                 switch (suffix) {
 448                                         case 'm':
 449                                         case 'M':  es <<= 10;
 450                                         case 'k':
 451                                         case 'K':  es <<= 10;
 452                                         default :  break;
 453                                 }
 454                                 serve->expected_size = es;
 455                                 break;
 456                         }
 457                         break;
 458                 case 'r':
 459                         serve->flags |= F_READONLY;
 460                         break;
 461                 case 'm':
 462                         serve->flags |= F_MULTIFILE;
 463                         break;
 464                 case 'o':
 465                         do_output = TRUE;
 466                         section_header = g_strdup(optarg);
 467                         break;
 468                 case 'p':
 469                         strncpy(pidftemplate, optarg, 256);
 470                         break;
 471                 case 'c':
 472                         serve->flags |=F_COPYONWRITE;
 473                         break;
 474                 case 'C':
 475                         g_free(config_file_pos);
 476                         config_file_pos=g_strdup(optarg);
 477                         break;
 478                 case 'l':
 479                         g_free(serve->authname);
 480                         serve->authname=g_strdup(optarg);
 481                         break;
 482                 case 'a':
 483                         serve->timeout=strtol(optarg, NULL, 0);
 484                         break;
 485                 default:
 486                         usage();
 487                         exit(EXIT_FAILURE);
 488                         break;
 489                 }
 490         }
 491         /* What's left: the port to export, the name of the to be exported
 492          * file, and, optionally, the size of the file, in that order. */
 493         if(nonspecial<2) {
 494                 g_free(serve);
 495                 serve=NULL;
 496         }
 497         if(do_output) {
 498                 if(!serve) {
 499                         g_critical("Need a complete configuration on the command line to output a config file section!");
 500                         exit(EXIT_FAILURE);
 501                 }
 502                 dump_section(serve, section_header);
 503         }
 504         return serve;
 505 }
 506
 507 /**
 508  * Error codes for config file parsing
 509  **/
 510 typedef enum {
 511         CFILE_NOTFOUND,         /**< The configuration file is not found */
 512         CFILE_MISSING_GENERIC,  /**< The (required) group "generic" is missing */
 513         CFILE_KEY_MISSING,      /**< A (required) key is missing */
 514         CFILE_VALUE_INVALID,    /**< A value is syntactically invalid */
 515         CFILE_VALUE_UNSUPPORTED,/**< A value is not supported in this build */
 516         CFILE_PROGERR           /**< Programmer error */
 517 } CFILE_ERRORS;
 518
 519 /**
 520  * Remove a SERVER from memory. Used from the hash table
 521  **/
 522 void remove_server(gpointer s) {
 523         SERVER *server;
 524
 525         server=(SERVER*)s;
 526         g_free(server->exportname);
 527         if(server->authname)
 528                 g_free(server->authname);
 529         g_free(server);
 530 }
 531
 532 /**
 533  * Parse the config file.
 534  *
 535  * @param f the name of the config file
 536  * @param e a GError. @see CFILE_ERRORS for what error values this function can
 537  *      return.
 538  * @return a Array of SERVER* pointers, If the config file is empty or does not
 539  *      exist, returns an empty GHashTable; if the config file contains an
 540  *      error, returns NULL, and e is set appropriately
 541  **/
 542 GArray* parse_cfile(gchar* f, GError** e) {
 543         const char* DEFAULT_ERROR = "Could not parse %s in group %s: %s";
 544         const char* MISSING_REQUIRED_ERROR = "Could not find required value %s in group %s: %s";
 545         SERVER s;
 546         gchar *virtstyle=NULL;
 547         PARAM lp[] = {
 548                 { "exportname", TRUE,   PARAM_STRING,   NULL, 0 },
 549                 { "port",       TRUE,   PARAM_INT,      NULL, 0 },
 550                 { "authfile",   FALSE,  PARAM_STRING,   NULL, 0 },
 551                 { "timeout",    FALSE,  PARAM_INT,      NULL, 0 },
 552                 { "filesize",   FALSE,  PARAM_INT,      NULL, 0 },
 553                 { "virtstyle",  FALSE,  PARAM_STRING,   NULL, 0 },
 554                 { "prerun",     FALSE,  PARAM_STRING,   NULL, 0 },
 555                 { "postrun",    FALSE,  PARAM_STRING,   NULL, 0 },
 556                 { "readonly",   FALSE,  PARAM_BOOL,     NULL, F_READONLY },
 557                 { "multifile",  FALSE,  PARAM_BOOL,     NULL, F_MULTIFILE },
 558                 { "copyonwrite", FALSE, PARAM_BOOL,     NULL, F_COPYONWRITE },
 559                 { "sparse_cow", FALSE,  PARAM_BOOL,     NULL, F_SPARSE },
 560                 { "sdp",        FALSE,  PARAM_BOOL,     NULL, F_SDP },
 561                 { "listenaddr", FALSE,  PARAM_STRING,   NULL, 0 },
 562                 { "cowname",    FALSE,  PARAM_STRING,   NULL, 0 },
 563         };
 564         const int lp_size=sizeof(lp)/sizeof(PARAM);
 565         PARAM gp[] = {
 566                 { "user",       FALSE, PARAM_STRING,    &runuser,       0 },
 567                 { "group",      FALSE, PARAM_STRING,    &rungroup,      0 },
 568         };
 569         PARAM* p=gp;
 570         int p_size=sizeof(gp)/sizeof(PARAM);
 571         GKeyFile *cfile;
 572         GError *err = NULL;
 573         const char *err_msg=NULL;
 574         GQuark errdomain;
 575         GArray *retval=NULL;
 576         gchar **groups;
 577         gboolean value;
 578         gint i;
 579         gint j;
 580
 581         errdomain = g_quark_from_string("parse_cfile");
 582         cfile = g_key_file_new();
 583         retval = g_array_new(FALSE, TRUE, sizeof(SERVER));
 584         if(!g_key_file_load_from_file(cfile, f, G_KEY_FILE_KEEP_COMMENTS |
 585                         G_KEY_FILE_KEEP_TRANSLATIONS, &err)) {
 586                 g_set_error(e, errdomain, CFILE_NOTFOUND, "Could not open config file.");
 587                 g_key_file_free(cfile);
 588                 return retval;
 589         }
 590         if(strcmp(g_key_file_get_start_group(cfile), "generic")) {
 591                 g_set_error(e, errdomain, CFILE_MISSING_GENERIC, "Config file does not contain the [generic] group!");
 592                 g_key_file_free(cfile);
 593                 return NULL;
 594         }
 595         groups = g_key_file_get_groups(cfile, NULL);
 596         for(i=0;groups[i];i++) {
 597                 memset(&s, '\0', sizeof(SERVER));
 598                 lp[0].target=&(s.exportname);
 599                 lp[1].target=&(s.port);
 600                 lp[2].target=&(s.authname);
 601                 lp[3].target=&(s.timeout);
 602                 lp[4].target=&(s.expected_size);
 603                 lp[5].target=&(virtstyle);
 604                 lp[6].target=&(s.prerun);
 605                 lp[7].target=&(s.postrun);
 606                 lp[8].target=lp[9].target=lp[10].target=
 607                                 lp[11].target=lp[12].target=&(s.flags);
 608                 lp[13].target=&(s.listenaddr);
 609                 lp[14].target=&(s.cowname);
 610
 611                 s.cowname = "$F-$I-$P.diff";
 612
 613                 /* After the [generic] group, start parsing exports */
 614                 if(i==1) {
 615                         p=lp;
 616                         p_size=lp_size;
 617                 }
 618                 for(j=0;j<p_size;j++) {
 619                         g_assert(p[j].target != NULL);
 620                         g_assert(p[j].ptype==PARAM_INT||p[j].ptype==PARAM_STRING||p[j].ptype==PARAM_BOOL);
 621                         switch(p[j].ptype) {
 622                                 case PARAM_INT:
 623                                         *((gint*)p[j].target) =
 624                                                 g_key_file_get_integer(cfile,
 625                                                                 groups[i],
 626                                                                 p[j].paramname,
 627                                                                 &err);
 628                                         break;
 629                                 case PARAM_STRING:
 630                                         *((gchar**)p[j].target) =
 631                                                 g_key_file_get_string(cfile,
 632                                                                 groups[i],
 633                                                                 p[j].paramname,
 634                                                                 &err);
 635                                         break;
 636                                 case PARAM_BOOL:
 637                                         value = g_key_file_get_boolean(cfile,
 638                                                         groups[i],
 639                                                         p[j].paramname, &err);
 640                                         if(!err) {
 641                                                 if(value) {
 642                                                         *((gint*)p[j].target) |= p[j].flagval;
 643                                                 } else {
 644                                                         *((gint*)p[j].target) &= ~(p[j].flagval);
 645                                                 }
 646                                         }
 647                                         break;
 648                         }
 649                         if(err) {
 650                                 if(err->code == G_KEY_FILE_ERROR_KEY_NOT_FOUND) {
 651                                         if(!p[j].required) {
 652                                                 /* Ignore not-found error for optional values */
 653                                                 g_clear_error(&err);
 654                                                 continue;
 655                                         } else {
 656                                                 err_msg = MISSING_REQUIRED_ERROR;
 657                                         }
 658                                 } else {
 659                                         err_msg = DEFAULT_ERROR;
 660                                 }
 661                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, err_msg, p[j].paramname, groups[i], err->message);
 662                                 g_array_free(retval, TRUE);
 663                                 g_error_free(err);
 664                                 g_key_file_free(cfile);
 665                                 return NULL;
 666                         }
 667                 }
 668                 if(virtstyle) {
 669                         if(!strncmp(virtstyle, "none", 4)) {
 670                                 s.virtstyle=VIRT_NONE;
 671                         } else if(!strncmp(virtstyle, "ipliteral", 9)) {
 672                                 s.virtstyle=VIRT_IPLIT;
 673                         } else if(!strncmp(virtstyle, "iphash", 6)) {
 674                                 s.virtstyle=VIRT_IPHASH;
 675                         } else if(!strncmp(virtstyle, "cidrhash", 8)) {
 676                                 s.virtstyle=VIRT_CIDR;
 677                                 if(strlen(virtstyle)<10) {
 678                                         g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s: missing length", virtstyle, groups[i]);
 679                                         g_array_free(retval, TRUE);
 680                                         g_key_file_free(cfile);
 681                                         return NULL;
 682                                 }
 683                                 s.cidrlen=strtol(virtstyle+8, NULL, 0);
 684                         } else {
 685                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s", virtstyle, groups[i]);
 686                                 g_array_free(retval, TRUE);
 687                                 g_key_file_free(cfile);
 688                                 return NULL;
 689                         }
 690                 } else {
 691                         s.virtstyle=VIRT_IPLIT;
 692                 }
 693                 /* Don't need to free this, it's not our string */
 694                 virtstyle=NULL;
 695                 /* Don't append values for the [generic] group */
 696                 if(i>0) {
 697                         if(!s.listenaddr) {
 698                                 s.listenaddr = g_strdup("0.0.0.0");
 699                         }
 700                         g_array_append_val(retval, s);
 701                 }
 702 #ifndef WITH_SDP
 703                 if(s.flags & F_SDP) {
 704                         g_set_error(e, errdomain, CFILE_VALUE_UNSUPPORTED, "This nbd-server was built without support for SDP, yet group %s uses it", groups[i]);
 705                         g_array_free(retval, TRUE);
 706                         g_key_file_free(cfile);
 707                         return NULL;
 708                 }
 709 #endif
 710         }
 711         return retval;
 712 }
 713
 714 /**
 715  * Signal handler for SIGCHLD
 716  * @param s the signal we're handling (must be SIGCHLD, or something
 717  * is severely wrong)
 718  **/
 719 void sigchld_handler(int s) {
 720         int status;
 721         int* i;
 722         pid_t pid;
 723
 724         while((pid=waitpid(-1, &status, WNOHANG)) > 0) {
 725                 if(WIFEXITED(status)) {
 726                         msg3(LOG_INFO, "Child exited with %d", WEXITSTATUS(status));
 727                 }
 728                 i=g_hash_table_lookup(children, &pid);
 729                 if(!i) {
 730                         msg3(LOG_INFO, "SIGCHLD received for an unknown child with PID %ld", (long)pid);
 731                 } else {
 732                         DEBUG2("Removing %d from the list of children", pid);
 733                         g_hash_table_remove(children, &pid);
 734                 }
 735         }
 736 }
 737
 738 /**
 739  * Kill a child. Called from sigterm_handler::g_hash_table_foreach.
 740  *
 741  * @param key the key
 742  * @param value the value corresponding to the above key
 743  * @param user_data a pointer which we always set to 1, so that we know what
 744  * will happen next.
 745  **/
 746 void killchild(gpointer key, gpointer value, gpointer user_data) {
 747         pid_t *pid=value;
 748         int *parent=user_data;
 749
 750         kill(*pid, SIGTERM);
 751         *parent=1;
 752 }
 753
 754 /**
 755  * Handle SIGTERM and dispatch it to our children
 756  * @param s the signal we're handling (must be SIGTERM, or something
 757  * is severely wrong).
 758  **/
 759 void sigterm_handler(int s) {
 760         int parent=0;
 761
 762         g_hash_table_foreach(children, killchild, &parent);
 763
 764         if(parent) {
 765                 unlink(pidfname);
 766         }
 767
 768         exit(EXIT_SUCCESS);
 769 }
 770
 771 /**
 772  * Detect the size of a file.
 773  *
 774  * @param fhandle An open filedescriptor
 775  * @return the size of the file, or OFFT_MAX if detection was
 776  * impossible.
 777  **/
 778 off_t size_autodetect(int fhandle) {
 779         off_t es;
 780         unsigned long sectors;
 781         struct stat stat_buf;
 782         int error;
 783
 784 #ifdef HAVE_SYS_MOUNT_H
 785 #ifdef HAVE_SYS_IOCTL_H
 786 #ifdef BLKGETSIZE
 787         DEBUG("looking for export size with ioctl BLKGETSIZE\n");
 788         if (!ioctl(fhandle, BLKGETSIZE, &sectors) && sectors) {
 789                 es = (off_t)sectors * (off_t)512;
 790                 return es;
 791         }
 792 #endif /* BLKGETSIZE */
 793 #endif /* HAVE_SYS_IOCTL_H */
 794 #endif /* HAVE_SYS_MOUNT_H */
 795
 796         DEBUG("looking for fhandle size with fstat\n");
 797         stat_buf.st_size = 0;
 798         error = fstat(fhandle, &stat_buf);
 799         if (!error) {
 800                 if(stat_buf.st_size > 0)
 801                         return (off_t)stat_buf.st_size;
 802         } else {
 803                 err("fstat failed: %m");
 804         }
 805
 806         DEBUG("looking for fhandle size with lseek SEEK_END\n");
 807         es = lseek(fhandle, (off_t)0, SEEK_END);
 808         if (es > ((off_t)0)) {
 809                 return es;
 810         } else {
 811                 DEBUG2("lseek failed: %d", errno==EBADF?1:(errno==ESPIPE?2:(errno==EINVAL?3:4)));
 812         }
 813
 814         err("Could not find size of exported block device: %m");
 815         return OFFT_MAX;
 816 }
 817
 818 /**
 819  * Get the file handle and offset, given an export offset.
 820  *
 821  * @param export An array of export files
 822  * @param a The offset to get corresponding file/offset for
 823  * @param fhandle [out] File descriptor
 824  * @param foffset [out] Offset into fhandle
 825  * @param maxbytes [out] Tells how many bytes can be read/written
 826  * from fhandle starting at foffset (0 if there is no limit)
 827  * @return 0 on success, -1 on failure
 828  **/
 829 int get_filepos(GArray* export, off_t a, int* fhandle, off_t* foffset, size_t* maxbytes ) {
 830         /* Negative offset not allowed */
 831         if(a < 0)
 832                 return -1;
 833
 834         /* Binary search for last file with starting offset <= a */
 835         FILE_INFO fi;
 836         int start = 0;
 837         int end = export->len - 1;
 838         while( start <= end ) {
 839                 int mid = (start + end) / 2;
 840                 fi = g_array_index(export, FILE_INFO, mid);
 841                 if( fi.startoff < a ) {
 842                         start = mid + 1;
 843                 } else if( fi.startoff > a ) {
 844                         end = mid - 1;
 845                 } else {
 846                         start = end = mid;
 847                         break;
 848                 }
 849         }
 850
 851         /* end should never go negative, since first startoff is 0 and a >= 0 */
 852         g_assert(end >= 0);
 853
 854         fi = g_array_index(export, FILE_INFO, end);
 855         *fhandle = fi.fhandle;
 856         *foffset = a - fi.startoff;
 857         *maxbytes = 0;
 858         if( end+1 < export->len ) {
 859                 FILE_INFO fi_next = g_array_index(export, FILE_INFO, end+1);
 860                 *maxbytes = fi_next.startoff - a;
 861         }
 862
 863         return 0;
 864 }
 865
 866 /**
 867  * seek to a position in a file, with error handling.
 868  * @param handle a filedescriptor
 869  * @param a position to seek to
 870  * @todo get rid of this; lastpoint is a global variable right now, but it
 871  * shouldn't be. If we pass it on as a parameter, that makes things a *lot*
 872  * easier.
 873  **/
 874 void myseek(int handle,off_t a) {
 875         if (lseek(handle, a, SEEK_SET) < 0) {
 876                 err("Can not seek locally!\n");
 877         }
 878 }
 879
 880 /**
 881  * Write an amount of bytes at a given offset to the right file. This
 882  * abstracts the write-side of the multiple file option.
 883  *
 884  * @param a The offset where the write should start
 885  * @param buf The buffer to write from
 886  * @param len The length of buf
 887  * @param client The client we're serving for
 888  * @return The number of bytes actually written, or -1 in case of an error
 889  **/
 890 ssize_t rawexpwrite(off_t a, char *buf, size_t len, CLIENT *client) {
 891         int fhandle;
 892         off_t foffset;
 893         size_t maxbytes;
 894
 895         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 896                 return -1;
 897         if(maxbytes && len > maxbytes)
 898                 len = maxbytes;
 899
 900         DEBUG4("(WRITE to fd %d offset %Lu len %u), ", fhandle, foffset, len);
 901
 902         myseek(fhandle, foffset);
 903         return write(fhandle, buf, len);
 904 }
 905
 906 /**
 907  * Call rawexpwrite repeatedly until all data has been written.
 908  * @return 0 on success, nonzero on failure
 909  **/
 910 int rawexpwrite_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 911         ssize_t ret=0;
 912
 913         while(len > 0 && (ret=rawexpwrite(a, buf, len, client)) > 0 ) {
 914                 a += ret;
 915                 buf += ret;
 916                 len -= ret;
 917         }
 918         return (ret < 0 || len != 0);
 919 }
 920
 921 /**
 922  * Read an amount of bytes at a given offset from the right file. This
 923  * abstracts the read-side of the multiple files option.
 924  *
 925  * @param a The offset where the read should start
 926  * @param buf A buffer to read into
 927  * @param len The size of buf
 928  * @param client The client we're serving for
 929  * @return The number of bytes actually read, or -1 in case of an
 930  * error.
 931  **/
 932 ssize_t rawexpread(off_t a, char *buf, size_t len, CLIENT *client) {
 933         int fhandle;
 934         off_t foffset;
 935         size_t maxbytes;
 936
 937         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 938                 return -1;
 939         if(maxbytes && len > maxbytes)
 940                 len = maxbytes;
 941
 942         DEBUG4("(READ from fd %d offset %Lu len %u), ", fhandle, foffset, len);
 943
 944         myseek(fhandle, foffset);
 945         return read(fhandle, buf, len);
 946 }
 947
 948 /**
 949  * Call rawexpread repeatedly until all data has been read.
 950  * @return 0 on success, nonzero on failure
 951  **/
 952 int rawexpread_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 953         ssize_t ret=0;
 954
 955         while(len > 0 && (ret=rawexpread(a, buf, len, client)) > 0 ) {
 956                 a += ret;
 957                 buf += ret;
 958                 len -= ret;
 959         }
 960         return (ret < 0 || len != 0);
 961 }
 962
 963 /**
 964  * Read an amount of bytes at a given offset from the right file. This
 965  * abstracts the read-side of the copyonwrite stuff, and calls
 966  * rawexpread() with the right parameters to do the actual work.
 967  * @param a The offset where the read should start
 968  * @param buf A buffer to read into
 969  * @param len The size of buf
 970  * @param client The client we're going to read for
 971  * @return 0 on success, nonzero on failure
 972  **/
 973 int expread(off_t a, char *buf, size_t len, CLIENT *client) {
 974         off_t rdlen, offset;
 975         off_t mapcnt, mapl, maph, pagestart;
 976
 977         if (!(client->server->flags & F_COPYONWRITE))
 978                 return(rawexpread_fully(a, buf, len, client));
 979         DEBUG3("Asked to read %d bytes at %Lu.\n", len, (unsigned long long)a);
 980
 981         mapl=a/DIFFPAGESIZE; maph=(a+len-1)/DIFFPAGESIZE;
 982
 983         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
 984                 pagestart=mapcnt*DIFFPAGESIZE;
 985                 offset=a-pagestart;
 986                 rdlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
 987                         len : (size_t)DIFFPAGESIZE-offset;
 988                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
 989                         DEBUG3("Page %Lu is at %lu\n", (unsigned long long)mapcnt,
 990                                (unsigned long)(client->difmap[mapcnt]));
 991                         myseek(client->difffile, client->difmap[mapcnt]*DIFFPAGESIZE+offset);
 992                         if (read(client->difffile, buf, rdlen) != rdlen) return -1;
 993                 } else { /* the block is not there */
 994                         DEBUG2("Page %Lu is not here, we read the original one\n",
 995                                (unsigned long long)mapcnt);
 996                         if(rawexpread_fully(a, buf, rdlen, client)) return -1;
 997                 }
 998                 len-=rdlen; a+=rdlen; buf+=rdlen;
 999         }
1000         return 0;
1001 }
1002
1003 /**
1004  * Write an amount of bytes at a given offset to the right file. This
1005  * abstracts the write-side of the copyonwrite option, and calls
1006  * rawexpwrite() with the right parameters to do the actual work.
1007  *
1008  * @param a The offset where the write should start
1009  * @param buf The buffer to write from
1010  * @param len The length of buf
1011  * @param client The client we're going to write for.
1012  * @return 0 on success, nonzero on failure
1013  **/
1014 int expwrite(off_t a, char *buf, size_t len, CLIENT *client) {
1015         char pagebuf[DIFFPAGESIZE];
1016         off_t mapcnt,mapl,maph;
1017         off_t wrlen,rdlen;
1018         off_t pagestart;
1019         off_t offset;
1020
1021         if (!(client->server->flags & F_COPYONWRITE))
1022                 return(rawexpwrite_fully(a, buf, len, client));
1023         DEBUG3("Asked to write %d bytes at %Lu.\n", len, (unsigned long long)a);
1024
1025         mapl=a/DIFFPAGESIZE ; maph=(a+len-1)/DIFFPAGESIZE ;
1026
1027         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
1028                 pagestart=mapcnt*DIFFPAGESIZE ;
1029                 offset=a-pagestart ;
1030                 wrlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
1031                         len : (size_t)DIFFPAGESIZE-offset;
1032
1033                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
1034                         DEBUG3("Page %Lu is at %lu\n", (unsigned long long)mapcnt,
1035                                (unsigned long)(client->difmap[mapcnt])) ;
1036                         myseek(client->difffile,
1037                                         client->difmap[mapcnt]*DIFFPAGESIZE+offset);
1038                         if (write(client->difffile, buf, wrlen) != wrlen) return -1 ;
1039                 } else { /* the block is not there */
1040                         myseek(client->difffile,client->difffilelen*DIFFPAGESIZE) ;
1041                         client->difmap[mapcnt]=(client->server->flags&F_SPARSE)?mapcnt:client->difffilelen++;
1042                         DEBUG3("Page %Lu is not here, we put it at %lu\n",
1043                                (unsigned long long)mapcnt,
1044                                (unsigned long)(client->difmap[mapcnt]));
1045                         rdlen=DIFFPAGESIZE ;
1046                         if (rawexpread_fully(pagestart, pagebuf, rdlen, client))
1047                                 return -1;
1048                         memcpy(pagebuf+offset,buf,wrlen) ;
1049                         if (write(client->difffile, pagebuf, DIFFPAGESIZE) !=
1050                                         DIFFPAGESIZE)
1051                                 return -1;
1052                 }
1053                 len-=wrlen ; a+=wrlen ; buf+=wrlen ;
1054         }
1055         return 0;
1056 }
1057
1058 /**
1059  * Do the initial negotiation.
1060  *
1061  * @param client The client we're negotiating with.
1062  **/
1063 void negotiate(CLIENT *client) {
1064         char zeros[128];
1065         u64 size_host;
1066         u32 flags = NBD_FLAG_HAS_FLAGS;
1067
1068         memset(zeros, '\0', sizeof(zeros));
1069         if (write(client->net, INIT_PASSWD, 8) < 0)
1070                 err("Negotiation failed: %m");
1071         cliserv_magic = htonll(cliserv_magic);
1072         if (write(client->net, &cliserv_magic, sizeof(cliserv_magic)) < 0)
1073                 err("Negotiation failed: %m");
1074         size_host = htonll((u64)(client->exportsize));
1075         if (write(client->net, &size_host, 8) < 0)
1076                 err("Negotiation failed: %m");
1077         if (client->server->flags & F_READONLY)
1078                 flags |= NBD_FLAG_READ_ONLY;
1079         flags = htonl(flags);
1080         if (write(client->net, &flags, 4) < 0)
1081                 err("Negotiation failed: %m");
1082         if (write(client->net, zeros, 124) < 0)
1083                 err("Negotiation failed: %m");
1084 }
1085
1086 /** sending macro. */
1087 #define SEND(net,reply) writeit( net, &reply, sizeof( reply ));
1088 /** error macro. */
1089 #define ERROR(client,reply,errcode) { reply.error = htonl(errcode); SEND(client->net,reply); reply.error = 0; }
1090 /**
1091  * Serve a file to a single client.
1092  *
1093  * @todo This beast needs to be split up in many tiny little manageable
1094  * pieces. Preferably with a chainsaw.
1095  *
1096  * @param client The client we're going to serve to.
1097  * @return when the client disconnects
1098  **/
1099 int mainloop(CLIENT *client) {
1100         struct nbd_request request;
1101         struct nbd_reply reply;
1102         gboolean go_on=TRUE;
1103 #ifdef DODBG
1104         int i = 0;
1105 #endif
1106         negotiate(client);
1107         DEBUG("Entering request loop!\n");
1108         reply.magic = htonl(NBD_REPLY_MAGIC);
1109         reply.error = 0;
1110         while (go_on) {
1111                 char buf[BUFSIZE];
1112                 size_t len;
1113 #ifdef DODBG
1114                 i++;
1115                 printf("%d: ", i);
1116 #endif
1117                 if (client->server->timeout)
1118                         alarm(client->server->timeout);
1119                 readit(client->net, &request, sizeof(request));
1120                 request.from = ntohll(request.from);
1121                 request.type = ntohl(request.type);
1122
1123                 if (request.type==NBD_CMD_DISC) {
1124                         msg2(LOG_INFO, "Disconnect request received.");
1125                         if (client->server->flags & F_COPYONWRITE) {
1126                                 if (client->difmap) g_free(client->difmap) ;
1127                                 close(client->difffile);
1128                                 unlink(client->difffilename);
1129                                 free(client->difffilename);
1130                         }
1131                         go_on=FALSE;
1132                         continue;
1133                 }
1134
1135                 len = ntohl(request.len);
1136
1137                 if (request.magic != htonl(NBD_REQUEST_MAGIC))
1138                         err("Not enough magic.");
1139                 if (len > BUFSIZE + sizeof(struct nbd_reply))
1140                         err("Request too big!");
1141 #ifdef DODBG
1142                 printf("%s from %Lu (%Lu) len %d, ", request.type ? "WRITE" :
1143                                 "READ", (unsigned long long)request.from,
1144                                 (unsigned long long)request.from / 512, len);
1145 #endif
1146                 memcpy(reply.handle, request.handle, sizeof(reply.handle));
1147                 if ((request.from + len) > (OFFT_MAX)) {
1148                         DEBUG("[Number too large!]");
1149                         ERROR(client, reply, EINVAL);
1150                         continue;
1151                 }
1152
1153                 if (((ssize_t)((off_t)request.from + len) > client->exportsize)) {
1154                         DEBUG("[RANGE!]");
1155                         ERROR(client, reply, EINVAL);
1156                         continue;
1157                 }
1158
1159                 if (request.type==NBD_CMD_WRITE) {
1160                         DEBUG("wr: net->buf, ");
1161                         readit(client->net, buf, len);
1162                         DEBUG("buf->exp, ");
1163                         if ((client->server->flags & F_READONLY) ||
1164                             (client->server->flags & F_AUTOREADONLY)) {
1165                                 DEBUG("[WRITE to READONLY!]");
1166                                 ERROR(client, reply, EPERM);
1167                                 continue;
1168                         }
1169                         if (expwrite(request.from, buf, len, client)) {
1170                                 DEBUG("Write failed: %m" );
1171                                 ERROR(client, reply, errno);
1172                                 continue;
1173                         }
1174                         SEND(client->net, reply);
1175                         DEBUG("OK!\n");
1176                         continue;
1177                 }
1178                 /* READ */
1179
1180                 DEBUG("exp->buf, ");
1181                 if (expread(request.from, buf + sizeof(struct nbd_reply), len, client)) {
1182                         DEBUG("Read failed: %m");
1183                         ERROR(client, reply, errno);
1184                         continue;
1185                 }
1186
1187                 DEBUG("buf->net, ");
1188                 memcpy(buf, &reply, sizeof(struct nbd_reply));
1189                 writeit(client->net, buf, len + sizeof(struct nbd_reply));
1190                 DEBUG("OK!\n");
1191         }
1192         return 0;
1193 }
1194
1195 /**
1196  * Set up client export array, which is an array of FILE_INFO.
1197  * Also, split a single exportfile into multiple ones, if that was asked.
1198  * @param client information on the client which we want to setup export for
1199  **/
1200 void setupexport(CLIENT* client) {
1201         int i;
1202         off_t laststartoff = 0, lastsize = 0;
1203         int multifile = (client->server->flags & F_MULTIFILE);
1204
1205         client->export = g_array_new(TRUE, TRUE, sizeof(FILE_INFO));
1206
1207         /* If multi-file, open as many files as we can.
1208          * If not, open exactly one file.
1209          * Calculate file sizes as we go to get total size. */
1210         for(i=0; ; i++) {
1211                 FILE_INFO fi;
1212                 gchar *tmpname;
1213                 mode_t mode = (client->server->flags & F_READONLY) ? O_RDONLY : O_RDWR;
1214
1215                 if(multifile) {
1216                         tmpname=g_strdup_printf("%s.%d", client->exportname, i);
1217                 } else {
1218                         tmpname=g_strdup(client->exportname);
1219                 }
1220                 DEBUG2( "Opening %s\n", tmpname );
1221                 fi.fhandle = open(tmpname, mode);
1222                 if(fi.fhandle == -1 && mode == O_RDWR) {
1223                         /* Try again because maybe media was read-only */
1224                         fi.fhandle = open(tmpname, O_RDONLY);
1225                         if(fi.fhandle != -1) {
1226                                 /* Opening the base file in copyonwrite mode is
1227                                  * okay */
1228                                 if(!(client->server->flags & F_COPYONWRITE)) {
1229                                         client->server->flags |= F_AUTOREADONLY;
1230                                         client->server->flags |= F_READONLY;
1231                                 }
1232                         }
1233                 }
1234                 if(fi.fhandle == -1) {
1235                         if(multifile && i>0)
1236                                 break;
1237                         err("Could not open exported file: %m");
1238                 }
1239                 fi.startoff = laststartoff + lastsize;
1240                 g_array_append_val(client->export, fi);
1241                 g_free(tmpname);
1242
1243                 /* Starting offset and size of this file will be used to
1244                  * calculate starting offset of next file */
1245                 laststartoff = fi.startoff;
1246                 lastsize = size_autodetect(fi.fhandle);
1247
1248                 if(!multifile)
1249                         break;
1250         }
1251
1252         /* Set export size to total calculated size */
1253         client->exportsize = laststartoff + lastsize;
1254
1255         /* Export size may be overridden */
1256         if(client->server->expected_size) {
1257                 /* desired size must be <= total calculated size */
1258                 if(client->server->expected_size > client->exportsize) {
1259                         err("Size of exported file is too big\n");
1260                 }
1261
1262                 client->exportsize = client->server->expected_size;
1263         }
1264
1265         msg3(LOG_INFO, "Size of exported file/device is %Lu", (unsigned long long)client->exportsize);
1266         if(multifile) {
1267                 msg3(LOG_INFO, "Total number of files: %d", i);
1268         }
1269 }
1270
1271 int copyonwrite_prepare(CLIENT* client) {
1272         off_t i;
1273         if ((client->difffilename = malloc(1024))==NULL)
1274                 err("Failed to allocate string for diff file name");
1275         snprintf(client->difffilename, 1024, "%s-%s-%d.diff",client->exportname,client->clientname,
1276                 (int)getpid()) ;
1277         client->difffilename[1023]='\0';
1278         msg3(LOG_INFO,"About to create map and diff file %s",client->difffilename) ;
1279         client->difffile=open(client->difffilename,O_RDWR | O_CREAT | O_TRUNC,0600) ;
1280         if (client->difffile<0) err("Could not create diff file (%m)") ;
1281         if ((client->difmap=calloc(client->exportsize/DIFFPAGESIZE,sizeof(u32)))==NULL)
1282                 err("Could not allocate memory") ;
1283         for (i=0;i<client->exportsize/DIFFPAGESIZE;i++) client->difmap[i]=(u32)-1 ;
1284
1285         return 0;
1286 }
1287
1288 /**
1289  * Run a command. This is used for the ``prerun'' and ``postrun'' config file
1290  * options
1291  *
1292  * @param command the command to be ran. Read from the config file
1293  * @param file the file name we're about to export
1294  **/
1295 int do_run(gchar* command, gchar* file) {
1296         gchar* cmd;
1297         int retval=0;
1298
1299         if(command && *command) {
1300                 cmd = g_strdup_printf(command, file);
1301                 retval=system(cmd);
1302                 g_free(cmd);
1303         }
1304         return retval;
1305 }
1306
1307 /**
1308  * Serve a connection.
1309  *
1310  * @todo allow for multithreading, perhaps use libevent. Not just yet, though;
1311  * follow the road map.
1312  *
1313  * @param client a connected client
1314  **/
1315 void serveconnection(CLIENT *client) {
1316         if(do_run(client->server->prerun, client->exportname)) {
1317                 exit(EXIT_FAILURE);
1318         }
1319         setupexport(client);
1320
1321         if (client->server->flags & F_COPYONWRITE) {
1322                 copyonwrite_prepare(client);
1323         }
1324
1325         setmysockopt(client->net);
1326
1327         mainloop(client);
1328         do_run(client->server->postrun, client->exportname);
1329 }
1330
1331 /**
1332  * Find the name of the file we have to serve. This will use g_strdup_printf
1333  * to put the IP address of the client inside a filename containing
1334  * "%s" (in the form as specified by the "virtstyle" option). That name
1335  * is then written to client->exportname.
1336  *
1337  * @param net A socket connected to an nbd client
1338  * @param client information about the client. The IP address in human-readable
1339  * format will be written to a new char* buffer, the address of which will be
1340  * stored in client->clientname.
1341  **/
1342 void set_peername(int net, CLIENT *client) {
1343         struct sockaddr_in addrin;
1344         struct sockaddr_in netaddr;
1345         size_t addrinlen = sizeof( addrin );
1346         char *peername;
1347         char *netname;
1348         char *tmp;
1349         int i;
1350
1351         if (getpeername(net, (struct sockaddr *) &addrin, (socklen_t *)&addrinlen) < 0)
1352                 err("getsockname failed: %m");
1353         peername = g_strdup(inet_ntoa(addrin.sin_addr));
1354         switch(client->server->virtstyle) {
1355                 case VIRT_NONE:
1356                         client->exportname=g_strdup(client->server->exportname);
1357                         break;
1358                 case VIRT_IPHASH:
1359                         for(i=0;i<strlen(peername);i++) {
1360                                 if(peername[i]=='.') {
1361                                         peername[i]='/';
1362                                 }
1363                         }
1364                 case VIRT_IPLIT:
1365                         client->exportname=g_strdup_printf(client->server->exportname, peername);
1366                         break;
1367                 case VIRT_CIDR:
1368                         memcpy(&netaddr, &addrin, addrinlen);
1369                         netaddr.sin_addr.s_addr>>=32-(client->server->cidrlen);
1370                         netaddr.sin_addr.s_addr<<=32-(client->server->cidrlen);
1371                         netname = inet_ntoa(netaddr.sin_addr);
1372                         tmp=g_strdup_printf("%s/%s", netname, peername);
1373                         client->exportname=g_strdup_printf(client->server->exportname, tmp);
1374                         break;
1375         }
1376
1377         msg4(LOG_INFO, "connect from %s, assigned file is %s",
1378              peername, client->exportname);
1379         client->clientname=g_strdup(peername);
1380         g_free(peername);
1381 }
1382
1383 /**
1384  * Destroy a pid_t*
1385  * @param data a pointer to pid_t which should be freed
1386  **/
1387 void destroy_pid_t(gpointer data) {
1388         g_free(data);
1389 }
1390
1391 /**
1392  * Loop through the available servers, and serve them. Never returns.
1393  **/
1394 int serveloop(GArray* servers) {
1395         struct sockaddr_in addrin;
1396         socklen_t addrinlen=sizeof(addrin);
1397         SERVER *serve;
1398         int i;
1399         int max;
1400         int sock;
1401         fd_set mset;
1402         fd_set rset;
1403
1404         /*
1405          * Set up the master fd_set. The set of descriptors we need
1406          * to select() for never changes anyway and it buys us a *lot*
1407          * of time to only build this once. However, if we ever choose
1408          * to not fork() for clients anymore, we may have to revisit
1409          * this.
1410          */
1411         max=0;
1412         FD_ZERO(&mset);
1413         for(i=0;i<servers->len;i++) {
1414                 sock=(g_array_index(servers, SERVER, i)).socket;
1415                 FD_SET(sock, &mset);
1416                 max=sock>max?sock:max;
1417         }
1418         for(;;) {
1419                 CLIENT *client;
1420                 int net;
1421                 pid_t *pid;
1422
1423                 memcpy(&rset, &mset, sizeof(fd_set));
1424                 if(select(max+1, &rset, NULL, NULL, NULL)>0) {
1425                         DEBUG("accept, ");
1426                         for(i=0;i<servers->len;i++) {
1427                                 serve=&(g_array_index(servers, SERVER, i));
1428                                 if(FD_ISSET(serve->socket, &rset)) {
1429                                         if ((net=accept(serve->socket, (struct sockaddr *) &addrin, &addrinlen)) < 0)
1430                                                 err("accept: %m");
1431
1432                                         client = g_malloc(sizeof(CLIENT));
1433                                         client->server=serve;
1434                                         client->exportsize=OFFT_MAX;
1435                                         client->net=net;
1436                                         set_peername(net, client);
1437                                         if (!authorized_client(client)) {
1438                                                 msg2(LOG_INFO,"Unauthorized client") ;
1439                                                 close(net);
1440                                                 continue;
1441                                         }
1442                                         msg2(LOG_INFO,"Authorized client") ;
1443                                         pid=g_malloc(sizeof(pid_t));
1444 #ifndef NOFORK
1445                                         if ((*pid=fork())<0) {
1446                                                 msg3(LOG_INFO,"Could not fork (%s)",strerror(errno)) ;
1447                                                 close(net);
1448                                                 continue;
1449                                         }
1450                                         if (*pid>0) { /* parent */
1451                                                 close(net);
1452                                                 g_hash_table_insert(children, pid, pid);
1453                                                 continue;
1454                                         }
1455                                         /* child */
1456                                         g_hash_table_destroy(children);
1457                                         for(i=0;i<servers->len;i++) {
1458                                                 serve=&g_array_index(servers, SERVER, i);
1459                                                 close(serve->socket);
1460                                         }
1461                                         /* FALSE does not free the
1462                                         actual data. This is required,
1463                                         because the client has a
1464                                         direct reference into that
1465                                         data, and otherwise we get a
1466                                         segfault... */
1467                                         g_array_free(servers, FALSE);
1468 #endif // NOFORK
1469                                         msg2(LOG_INFO,"Starting to serve");
1470                                         serveconnection(client);
1471                                         exit(EXIT_SUCCESS);
1472                                 }
1473                         }
1474                 }
1475         }
1476 }
1477
1478 /**
1479  * Connect a server's socket.
1480  *
1481  * @param serve the server we want to connect.
1482  **/
1483 void setup_serve(SERVER *serve) {
1484         struct sockaddr_in addrin;
1485         struct sigaction sa;
1486         int addrinlen = sizeof(addrin);
1487         int sock_flags;
1488         int af;
1489 #ifndef sun
1490         int yes=1;
1491 #else
1492         char yes='1';
1493 #endif /* sun */
1494
1495         af = AF_INET;
1496 #ifdef WITH_SDP
1497         if ((serve->flags) && F_SDP) {
1498                 af = AF_INET_SDP;
1499         }
1500 #endif
1501         if ((serve->socket = socket(af, SOCK_STREAM, IPPROTO_TCP)) < 0)
1502                 err("socket: %m");
1503
1504         /* lose the pesky "Address already in use" error message */
1505         if (setsockopt(serve->socket,SOL_SOCKET,SO_REUSEADDR,&yes,sizeof(int)) == -1) {
1506                 err("setsockopt SO_REUSEADDR");
1507         }
1508         if (setsockopt(serve->socket,SOL_SOCKET,SO_KEEPALIVE,&yes,sizeof(int)) == -1) {
1509                 err("setsockopt SO_KEEPALIVE");
1510         }
1511
1512         /* make the listening socket non-blocking */
1513         if ((sock_flags = fcntl(serve->socket, F_GETFL, 0)) == -1) {
1514                 err("fcntl F_GETFL");
1515         }
1516         if (fcntl(serve->socket, F_SETFL, sock_flags | O_NONBLOCK) == -1) {
1517                 err("fcntl F_SETFL O_NONBLOCK");
1518         }
1519
1520         DEBUG("Waiting for connections... bind, ");
1521         addrin.sin_family = AF_INET;
1522 #ifdef WITH_SDP
1523         if(serve->flags & F_SDP) {
1524                 addrin.sin_family = AF_INET_SDP;
1525         }
1526 #endif
1527         addrin.sin_port = htons(serve->port);
1528         if(!inet_aton(serve->listenaddr, &(addrin.sin_addr)))
1529                 err("could not parse listen address");
1530         if (bind(serve->socket, (struct sockaddr *) &addrin, addrinlen) < 0)
1531                 err("bind: %m");
1532         DEBUG("listen, ");
1533         if (listen(serve->socket, 1) < 0)
1534                 err("listen: %m");
1535         sa.sa_handler = sigchld_handler;
1536         sigemptyset(&sa.sa_mask);
1537         sa.sa_flags = SA_RESTART;
1538         if(sigaction(SIGCHLD, &sa, NULL) == -1)
1539                 err("sigaction: %m");
1540         sa.sa_handler = sigterm_handler;
1541         sigemptyset(&sa.sa_mask);
1542         sa.sa_flags = SA_RESTART;
1543         if(sigaction(SIGTERM, &sa, NULL) == -1)
1544                 err("sigaction: %m");
1545 }
1546
1547 /**
1548  * Connect our servers.
1549  **/
1550 void setup_servers(GArray* servers) {
1551         int i;
1552
1553         for(i=0;i<servers->len;i++) {
1554                 setup_serve(&(g_array_index(servers, SERVER, i)));
1555         }
1556         children=g_hash_table_new_full(g_int_hash, g_int_equal, NULL, destroy_pid_t);
1557 }
1558
1559 /**
1560  * Go daemon (unless we specified at compile time that we didn't want this)
1561  * @param serve the first server of our configuration. If its port is zero,
1562  *      then do not daemonize, because we're doing inetd then. This parameter
1563  *      is only used to create a PID file of the form
1564  *      /var/run/nbd-server.&lt;port&gt;.pid; it's not modified in any way.
1565  **/
1566 #if !defined(NODAEMON) && !defined(NOFORK)
1567 void daemonize(SERVER* serve) {
1568         FILE*pidf;
1569
1570         if(serve && !(serve->port)) {
1571                 return;
1572         }
1573         if(daemon(0,0)<0) {
1574                 err("daemon");
1575         }
1576         if(!*pidftemplate) {
1577                 if(serve) {
1578                         strncpy(pidftemplate, "/var/run/nbd-server.%d.pid", 255);
1579                 } else {
1580                         strncpy(pidftemplate, "/var/run/nbd-server.pid", 255);
1581                 }
1582         }
1583         snprintf(pidfname, 255, pidftemplate, serve ? serve->port : 0);
1584         pidf=fopen(pidfname, "w");
1585         if(pidf) {
1586                 fprintf(pidf,"%d\n", (int)getpid());
1587                 fclose(pidf);
1588         } else {
1589                 perror("fopen");
1590                 fprintf(stderr, "Not fatal; continuing");
1591         }
1592 }
1593 #else
1594 #define daemonize(serve)
1595 #endif /* !defined(NODAEMON) && !defined(NOFORK) */
1596
1597 /*
1598  * Everything beyond this point (in the file) is run in non-daemon mode.
1599  * The stuff above daemonize() isn't.
1600  */
1601
1602 void serve_err(SERVER* serve, const char* msg) G_GNUC_NORETURN;
1603
1604 void serve_err(SERVER* serve, const char* msg) {
1605         g_message("Export of %s on port %d failed:", serve->exportname,
1606                         serve->port);
1607         err(msg);
1608 }
1609
1610 /**
1611  * Set up user-ID and/or group-ID
1612  **/
1613 void dousers(void) {
1614         struct passwd *pw;
1615         struct group *gr;
1616         if(rungroup) {
1617                 gr=getgrnam(rungroup);
1618                 if(!gr) {
1619                         g_message("Invalid group name: %s", rungroup);
1620                         exit(EXIT_FAILURE);
1621                 }
1622                 if(setgid(gr->gr_gid)<0) {
1623                         g_message("Could not set GID: %s", strerror(errno));
1624                         exit(EXIT_FAILURE);
1625                 }
1626         }
1627         if(runuser) {
1628                 pw=getpwnam(runuser);
1629                 if(!pw) {
1630                         g_message("Invalid user name: %s", runuser);
1631                         exit(EXIT_FAILURE);
1632                 }
1633                 if(setuid(pw->pw_uid)<0) {
1634                         g_message("Could not set UID: %s", strerror(errno));
1635                         exit(EXIT_FAILURE);
1636                 }
1637         }
1638 }
1639
1640 /**
1641  * Main entry point...
1642  **/
1643 int main(int argc, char *argv[]) {
1644         SERVER *serve;
1645         GArray *servers;
1646         GError *err=NULL;
1647
1648         if (sizeof( struct nbd_request )!=28) {
1649                 fprintf(stderr,"Bad size of structure. Alignment problems?\n");
1650                 exit(EXIT_FAILURE) ;
1651         }
1652
1653         memset(pidftemplate, '\0', 256);
1654
1655         logging();
1656         config_file_pos = g_strdup(CFILE);
1657         serve=cmdline(argc, argv);
1658         servers = parse_cfile(config_file_pos, &err);
1659         if(!servers || !servers->len) {
1660                 g_warning("Could not parse config file: %s",
1661                                 err ? err->message : "Unknown error");
1662         }
1663         if(serve) {
1664                 g_array_append_val(servers, *serve);
1665
1666                 if (!(serve->port)) {
1667                         CLIENT *client;
1668 #ifndef ISSERVER
1669                         /* You really should define ISSERVER if you're going to use
1670                          * inetd mode, but if you don't, closing stdout and stderr
1671                          * (which inetd had connected to the client socket) will let it
1672                          * work. */
1673                         close(1);
1674                         close(2);
1675                         open("/dev/null", O_WRONLY);
1676                         open("/dev/null", O_WRONLY);
1677 #endif
1678                         client=g_malloc(sizeof(CLIENT));
1679                         client->server=serve;
1680                         client->net=0;
1681                         client->exportsize=OFFT_MAX;
1682                         set_peername(0,client);
1683                         serveconnection(client);
1684                         return 0;
1685                 }
1686         }
1687         if((!serve) && (!servers||!servers->len)) {
1688                 g_message("Nothing to do! Bye!");
1689                 exit(EXIT_FAILURE);
1690         }
1691         daemonize(serve);
1692         setup_servers(servers);
1693         dousers();
1694         serveloop(servers);
1695         return 0 ;
1696 }