nbd-server.c

   1 /*
   2  * Network Block Device - server
   3  *
   4  * Copyright 1996-1998 Pavel Machek, distribute under GPL
   5  *  <pavel@atrey.karlin.mff.cuni.cz>
   6  * Copyright 2001-2004 Wouter Verhelst <wouter@debian.org>
   7  * Copyright 2002 Anton Altaparmakov <aia21@cam.ac.uk>
   8  *
   9  * Version 1.0 - hopefully 64-bit-clean
  10  * Version 1.1 - merging enhancements from Josh Parsons, <josh@coombs.anu.edu.au>
  11  * Version 1.2 - autodetect size of block devices, thanx to Peter T. Breuer" <ptb@it.uc3m.es>
  12  * Version 1.5 - can compile on Unix systems that don't have 64 bit integer
  13  *      type, or don't have 64 bit file offsets by defining FS_32BIT
  14  *      in compile options for nbd-server *only*. This can be done
  15  *      with make FSCHOICE=-DFS_32BIT nbd-server. (I don't have the
  16  *      original autoconf input file, or I would make it a configure
  17  *      option.) Ken Yap <ken@nlc.net.au>.
  18  * Version 1.6 - fix autodetection of block device size and really make 64 bit
  19  *      clean on 32 bit machines. Anton Altaparmakov <aia21@cam.ac.uk>
  20  * Version 2.0 - Version synchronised with client
  21  * Version 2.1 - Reap zombie client processes when they exit. Removed
  22  *      (uncommented) the _IO magic, it's no longer necessary. Wouter
  23  *      Verhelst <wouter@debian.org>
  24  * Version 2.2 - Auto switch to read-only mode (usefull for floppies).
  25  * Version 2.3 - Fixed code so that Large File Support works. This
  26  *      removes the FS_32BIT compile-time directive; define
  27  *      _FILE_OFFSET_BITS=64 and _LARGEFILE_SOURCE if you used to be
  28  *      using FS_32BIT. This will allow you to use files >2GB instead of
  29  *      having to use the -m option. Wouter Verhelst <wouter@debian.org>
  30  * Version 2.4 - Added code to keep track of children, so that we can
  31  *      properly kill them from initscripts. Add a call to daemon(),
  32  *      so that processes don't think they have to wait for us, which is
  33  *      interesting for initscripts as well. Wouter Verhelst
  34  *      <wouter@debian.org>
  35  * Version 2.5 - Bugfix release: forgot to reset child_arraysize to
  36  *      zero after fork()ing, resulting in nbd-server going berserk
  37  *      when it receives a signal with at least one child open. Wouter
  38  *      Verhelst <wouter@debian.org>
  39  * 10/10/2003 - Added socket option SO_KEEPALIVE (sf.net bug 819235);
  40  *      rectified type of mainloop::size_host (sf.net bugs 814435 and
  41  *      817385); close the PID file after writing to it, so that the
  42  *      daemon can actually be found. Wouter Verhelst
  43  *      <wouter@debian.org>
  44  * 10/10/2003 - Size of the data "size_host" was wrong and so was not
  45  *      correctly put in network endianness. Many types were corrected
  46  *      (size_t and off_t instead of int).  <vspaceg@sourceforge.net>
  47  * Version 2.6 - Some code cleanup.
  48  * Version 2.7 - Better build system.
  49  * 11/02/2004 - Doxygenified the source, modularized it a bit. Needs a
  50  *      lot more work, but this is a start. Wouter Verhelst
  51  *      <wouter@debian.org>
  52  */
  53
  54 /* Includes LFS defines, which defines behaviours of some of the following
  55  * headers, so must come before those */
  56 #include "lfs.h"
  57
  58 #include <sys/types.h>
  59 #include <sys/socket.h>
  60 #include <sys/stat.h>
  61 #include <sys/select.h>         /* select */
  62 #include <sys/wait.h>           /* wait */
  63 #ifdef HAVE_SYS_IOCTL_H
  64 #include <sys/ioctl.h>
  65 #endif
  66 #include <sys/param.h>
  67 #ifdef HAVE_SYS_MOUNT_H
  68 #include <sys/mount.h>          /* For BLKGETSIZE */
  69 #endif
  70 #include <signal.h>             /* sigaction */
  71 #include <errno.h>
  72 #include <netinet/tcp.h>
  73 #include <netinet/in.h>         /* sockaddr_in, htons, in_addr */
  74 #include <netdb.h>              /* hostent, gethostby*, getservby* */
  75 #include <syslog.h>
  76 #include <unistd.h>
  77 #include <stdio.h>
  78 #include <stdlib.h>
  79 #include <string.h>
  80 #include <fcntl.h>
  81 #include <arpa/inet.h>
  82 #include <strings.h>
  83 #include <dirent.h>
  84 #include <unistd.h>
  85 #include <getopt.h>
  86 #include <pwd.h>
  87 #include <grp.h>
  88
  89 #include <glib.h>
  90
  91 /* used in cliserv.h, so must come first */
  92 #define MY_NAME "nbd_server"
  93 #include "cliserv.h"
  94
  95 /** Default position of the config file */
  96 #ifndef SYSCONFDIR
  97 #define SYSCONFDIR "/etc"
  98 #endif
  99 #define CFILE SYSCONFDIR "/nbd-server/config"
 100
 101 /** Where our config file actually is */
 102 gchar* config_file_pos;
 103
 104 /** What user we're running as */
 105 gchar* runuser=NULL;
 106 /** What group we're running as */
 107 gchar* rungroup=NULL;
 108
 109 /** Logging macros, now nothing goes to syslog unless you say ISSERVER */
 110 #ifdef ISSERVER
 111 #define msg2(a,b) syslog(a,b)
 112 #define msg3(a,b,c) syslog(a,b,c)
 113 #define msg4(a,b,c,d) syslog(a,b,c,d)
 114 #else
 115 #define msg2(a,b) g_message(b)
 116 #define msg3(a,b,c) g_message(b,c)
 117 #define msg4(a,b,c,d) g_message(b,c,d)
 118 #endif
 119
 120 /* Debugging macros */
 121 //#define DODBG
 122 #ifdef DODBG
 123 #define DEBUG( a ) printf( a )
 124 #define DEBUG2( a,b ) printf( a,b )
 125 #define DEBUG3( a,b,c ) printf( a,b,c )
 126 #define DEBUG4( a,b,c,d ) printf( a,b,c,d )
 127 #else
 128 #define DEBUG( a )
 129 #define DEBUG2( a,b )
 130 #define DEBUG3( a,b,c )
 131 #define DEBUG4( a,b,c,d )
 132 #endif
 133 #ifndef PACKAGE_VERSION
 134 #define PACKAGE_VERSION ""
 135 #endif
 136 /**
 137  * The highest value a variable of type off_t can reach. This is a signed
 138  * integer, so set all bits except for the leftmost one.
 139  **/
 140 #define OFFT_MAX ~((off_t)1<<(sizeof(off_t)*8-1))
 141 #define LINELEN 256       /**< Size of static buffer used to read the
 142                                authorization file (yuck) */
 143 #define BUFSIZE (1024*1024) /**< Size of buffer that can hold requests */
 144 #define DIFFPAGESIZE 4096 /**< diff file uses those chunks */
 145 #define F_READONLY 1      /**< flag to tell us a file is readonly */
 146 #define F_MULTIFILE 2     /**< flag to tell us a file is exported using -m */
 147 #define F_COPYONWRITE 4   /**< flag to tell us a file is exported using
 148                             copyonwrite */
 149 #define F_AUTOREADONLY 8  /**< flag to tell us a file is set to autoreadonly */
 150 #define F_SPARSE 16       /**< flag to tell us copyronwrite should use a sparse file */
 151 #define F_SDP 32          /**< flag to tell us the export should be done using the Socket Direct Protocol for RDMA */
 152 #define F_SYNC 64         /**< Whether to fsync() after a write */
 153 GHashTable *children;
 154 char pidfname[256]; /**< name of our PID file */
 155 char pidftemplate[256]; /**< template to be used for the filename of the PID file */
 156 char default_authname[] = SYSCONFDIR "/nbd-server/allow"; /**< default name of allow file */
 157
 158 /**
 159  * Types of virtuatlization
 160  **/
 161 typedef enum {
 162         VIRT_NONE=0,    /**< No virtualization */
 163         VIRT_IPLIT,     /**< Literal IP address as part of the filename */
 164         VIRT_IPHASH,    /**< Replacing all dots in an ip address by a / before
 165                              doing the same as in IPLIT */
 166         VIRT_CIDR,      /**< Every subnet in its own directory */
 167 } VIRT_STYLE;
 168
 169 /**
 170  * Variables associated with a server.
 171  **/
 172 typedef struct {
 173         gchar* exportname;    /**< (unprocessed) filename of the file we're exporting */
 174         off_t expected_size; /**< size of the exported file as it was told to
 175                                us through configuration */
 176         gchar* listenaddr;   /**< The IP address we're listening on */
 177         unsigned int port;   /**< port we're exporting this file at */
 178         char* authname;      /**< filename of the authorization file */
 179         int flags;           /**< flags associated with this exported file */
 180         int socket;          /**< The socket of this server. */
 181         VIRT_STYLE virtstyle;/**< The style of virtualization, if any */
 182         uint8_t cidrlen;     /**< The length of the mask when we use
 183                                   CIDR-style virtualization */
 184         gchar* prerun;       /**< command to be ran after connecting a client,
 185                                   but before starting to serve */
 186         gchar* postrun;      /**< command that will be ran after the client
 187                                   disconnects */
 188 } SERVER;
 189
 190 /**
 191  * Variables associated with a client socket.
 192  **/
 193 typedef struct {
 194         int fhandle;      /**< file descriptor */
 195         off_t startoff;   /**< starting offset of this file */
 196 } FILE_INFO;
 197
 198 typedef struct {
 199         off_t exportsize;    /**< size of the file we're exporting */
 200         char *clientname;    /**< peer */
 201         char *exportname;    /**< (processed) filename of the file we're exporting */
 202         GArray *export;    /**< array of FILE_INFO of exported files;
 203                                array size is always 1 unless we're
 204                                doing the multiple file option */
 205         int net;             /**< The actual client socket */
 206         SERVER *server;      /**< The server this client is getting data from */
 207         char* difffilename;  /**< filename of the copy-on-write file, if any */
 208         int difffile;        /**< filedescriptor of copyonwrite file. @todo
 209                                shouldn't this be an array too? (cfr export) Or
 210                                make -m and -c mutually exclusive */
 211         u32 difffilelen;     /**< number of pages in difffile */
 212         u32 *difmap;         /**< see comment on the global difmap for this one */
 213 } CLIENT;
 214
 215 /**
 216  * Type of configuration file values
 217  **/
 218 typedef enum {
 219         PARAM_INT,              /**< This parameter is an integer */
 220         PARAM_STRING,           /**< This parameter is a string */
 221         PARAM_BOOL,             /**< This parameter is a boolean */
 222 } PARAM_TYPE;
 223
 224 /**
 225  * Configuration file values
 226  **/
 227 typedef struct {
 228         gchar *paramname;       /**< Name of the parameter, as it appears in
 229                                   the config file */
 230         gboolean required;      /**< Whether this is a required (as opposed to
 231                                   optional) parameter */
 232         PARAM_TYPE ptype;       /**< Type of the parameter. */
 233         gpointer target;        /**< Pointer to where the data of this
 234                                   parameter should be written. If ptype is
 235                                   PARAM_BOOL, the data is or'ed rather than
 236                                   overwritten. */
 237         gint flagval;           /**< Flag mask for this parameter in case ptype
 238                                   is PARAM_BOOL. */
 239 } PARAM;
 240
 241 /**
 242  * Check whether a client is allowed to connect. Works with an authorization
 243  * file which contains one line per machine, no wildcards.
 244  *
 245  * @param opts The client who's trying to connect.
 246  * @return 0 - authorization refused, 1 - OK
 247  **/
 248 int authorized_client(CLIENT *opts) {
 249         const char *ERRMSG="Invalid entry '%s' in authfile '%s', so, refusing all connections.";
 250         FILE *f ;
 251         char line[LINELEN];
 252         char *tmp;
 253         struct in_addr addr;
 254         struct in_addr client;
 255         struct in_addr cltemp;
 256         int len;
 257
 258         if ((f=fopen(opts->server->authname,"r"))==NULL) {
 259                 msg4(LOG_INFO,"Can't open authorization file %s (%s).",
 260                      opts->server->authname,strerror(errno)) ;
 261                 return 1 ;
 262         }
 263
 264         inet_aton(opts->clientname, &client);
 265         while (fgets(line,LINELEN,f)!=NULL) {
 266                 if((tmp=index(line, '/'))) {
 267                         if(strlen(line)<=tmp-line) {
 268                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 269                                 return 0;
 270                         }
 271                         *(tmp++)=0;
 272                         if(inet_aton(line,&addr)) {
 273                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 274                                 return 0;
 275                         }
 276                         len=strtol(tmp, NULL, 0);
 277                         addr.s_addr>>=32-len;
 278                         addr.s_addr<<=32-len;
 279                         memcpy(&cltemp,&client,sizeof(client));
 280                         cltemp.s_addr>>=32-len;
 281                         cltemp.s_addr<<=32-len;
 282                         if(addr.s_addr == cltemp.s_addr) {
 283                                 return 1;
 284                         }
 285                 }
 286                 if (strncmp(line,opts->clientname,strlen(opts->clientname))==0) {
 287                         fclose(f);
 288                         return 1;
 289                 }
 290         }
 291         fclose(f);
 292         return 0;
 293 }
 294
 295 /**
 296  * Read data from a file descriptor into a buffer
 297  *
 298  * @param f a file descriptor
 299  * @param buf a buffer
 300  * @param len the number of bytes to be read
 301  **/
 302 inline void readit(int f, void *buf, size_t len) {
 303         ssize_t res;
 304         while (len > 0) {
 305                 DEBUG("*");
 306                 if ((res = read(f, buf, len)) <= 0) {
 307                         if(errno != EAGAIN) {
 308                                 err("Read failed: %m");
 309                         }
 310                 } else {
 311                         len -= res;
 312                         buf += res;
 313                 }
 314         }
 315 }
 316
 317 /**
 318  * Write data from a buffer into a filedescriptor
 319  *
 320  * @param f a file descriptor
 321  * @param buf a buffer containing data
 322  * @param len the number of bytes to be written
 323  **/
 324 inline void writeit(int f, void *buf, size_t len) {
 325         ssize_t res;
 326         while (len > 0) {
 327                 DEBUG("+");
 328                 if ((res = write(f, buf, len)) <= 0)
 329                         err("Send failed: %m");
 330                 len -= res;
 331                 buf += res;
 332         }
 333 }
 334
 335 /**
 336  * Print out a message about how to use nbd-server. Split out to a separate
 337  * function so that we can call it from multiple places
 338  */
 339 void usage() {
 340         printf("This is nbd-server version " VERSION "\n");
 341         printf("Usage: [ip:]port file_to_export [size][kKmM] [-l authorize_file] [-r] [-m] [-c] [-C configuration file] [-p PID file name] [-o section name]\n"
 342                "\t-r|--read-only\t\tread only\n"
 343                "\t-m|--multi-file\t\tmultiple file\n"
 344                "\t-c|--copy-on-write\tcopy on write\n"
 345                "\t-C|--config-file\tspecify an alternate configuration file\n"
 346                "\t-l|--authorize-file\tfile with list of hosts that are allowed to\n\t\t\t\tconnect.\n"
 347                "\t-p|--pid-file\t\tspecify a filename to write our PID to\n"
 348                "\t-o|--output-config\toutput a config file section for what you\n\t\t\t\tspecified on the command line, with the\n\t\t\t\tspecified section name\n\n"
 349                "\tif port is set to 0, stdin is used (for running from inetd)\n"
 350                "\tif file_to_export contains '%%s', it is substituted with the IP\n"
 351                "\t\taddress of the machine trying to connect\n"
 352                "\tif ip is set, it contains the local IP address on which we're listening.\n\tif not, the server will listen on all local IP addresses\n");
 353         printf("Using configuration file %s\n", CFILE);
 354 }
 355
 356 /* Dumps a config file section of the given SERVER*, and exits. */
 357 void dump_section(SERVER* serve, gchar* section_header) {
 358         printf("[%s]\n", section_header);
 359         printf("\texportname = %s\n", serve->exportname);
 360         printf("\tlistenaddr = %s\n", serve->listenaddr);
 361         printf("\tport = %d\n", serve->port);
 362         if(serve->flags & F_READONLY) {
 363                 printf("\treadonly = true\n");
 364         }
 365         if(serve->flags & F_MULTIFILE) {
 366                 printf("\tmultifile = true\n");
 367         }
 368         if(serve->flags & F_COPYONWRITE) {
 369                 printf("\tcopyonwrite = true\n");
 370         }
 371         if(serve->expected_size) {
 372                 printf("\tfilesize = %lld\n", (long long int)serve->expected_size);
 373         }
 374         if(serve->authname) {
 375                 printf("\tauthfile = %s\n", serve->authname);
 376         }
 377         exit(EXIT_SUCCESS);
 378 }
 379
 380 /**
 381  * Parse the command line.
 382  *
 383  * @param argc the argc argument to main()
 384  * @param argv the argv argument to main()
 385  **/
 386 SERVER* cmdline(int argc, char *argv[]) {
 387         int i=0;
 388         int nonspecial=0;
 389         int c;
 390         struct option long_options[] = {
 391                 {"read-only", no_argument, NULL, 'r'},
 392                 {"multi-file", no_argument, NULL, 'm'},
 393                 {"copy-on-write", no_argument, NULL, 'c'},
 394                 {"authorize-file", required_argument, NULL, 'l'},
 395                 {"idle-time", required_argument, NULL, 'a'},
 396                 {"config-file", required_argument, NULL, 'C'},
 397                 {"pid-file", required_argument, NULL, 'p'},
 398                 {"output-config", required_argument, NULL, 'o'},
 399                 {0,0,0,0}
 400         };
 401         SERVER *serve;
 402         off_t es;
 403         size_t last;
 404         char suffix;
 405         gboolean do_output=FALSE;
 406         gchar* section_header="";
 407         gchar** addr_port;
 408
 409         if(argc==1) {
 410                 return NULL;
 411         }
 412         serve=g_new0(SERVER, 1);
 413         serve->authname = g_strdup(default_authname);
 414         serve->virtstyle=VIRT_IPLIT;
 415         while((c=getopt_long(argc, argv, "-C:cl:mo:rp:", long_options, &i))>=0) {
 416                 switch (c) {
 417                 case 1:
 418                         /* non-option argument */
 419                         switch(nonspecial++) {
 420                         case 0:
 421                                 addr_port=g_strsplit(optarg, ":", 2);
 422                                 if(addr_port[1]) {
 423                                         serve->port=strtol(addr_port[1], NULL, 0);
 424                                         serve->listenaddr=g_strdup(addr_port[0]);
 425                                 } else {
 426                                         serve->listenaddr=g_strdup("0.0.0.0");
 427                                         serve->port=strtol(addr_port[0], NULL, 0);
 428                                 }
 429                                 g_strfreev(addr_port);
 430                                 break;
 431                         case 1:
 432                                 serve->exportname = g_strdup(optarg);
 433                                 if(serve->exportname[0] != '/') {
 434                                         fprintf(stderr, "E: The to be exported file needs to be an absolute filename!\n");
 435                                         exit(EXIT_FAILURE);
 436                                 }
 437                                 break;
 438                         case 2:
 439                                 last=strlen(optarg)-1;
 440                                 suffix=optarg[last];
 441                                 if (suffix == 'k' || suffix == 'K' ||
 442                                     suffix == 'm' || suffix == 'M')
 443                                         optarg[last] = '\0';
 444                                 es = (off_t)atoll(optarg);
 445                                 switch (suffix) {
 446                                         case 'm':
 447                                         case 'M':  es <<= 10;
 448                                         case 'k':
 449                                         case 'K':  es <<= 10;
 450                                         default :  break;
 451                                 }
 452                                 serve->expected_size = es;
 453                                 break;
 454                         }
 455                         break;
 456                 case 'r':
 457                         serve->flags |= F_READONLY;
 458                         break;
 459                 case 'm':
 460                         serve->flags |= F_MULTIFILE;
 461                         break;
 462                 case 'o':
 463                         do_output = TRUE;
 464                         section_header = g_strdup(optarg);
 465                         break;
 466                 case 'p':
 467                         strncpy(pidftemplate, optarg, 256);
 468                         break;
 469                 case 'c':
 470                         serve->flags |=F_COPYONWRITE;
 471                         break;
 472                 case 'C':
 473                         g_free(config_file_pos);
 474                         config_file_pos=g_strdup(optarg);
 475                         break;
 476                 case 'l':
 477                         g_free(serve->authname);
 478                         serve->authname=g_strdup(optarg);
 479                         break;
 480                 default:
 481                         usage();
 482                         exit(EXIT_FAILURE);
 483                         break;
 484                 }
 485         }
 486         /* What's left: the port to export, the name of the to be exported
 487          * file, and, optionally, the size of the file, in that order. */
 488         if(nonspecial<2) {
 489                 g_free(serve);
 490                 serve=NULL;
 491         }
 492         if(do_output) {
 493                 if(!serve) {
 494                         g_critical("Need a complete configuration on the command line to output a config file section!");
 495                         exit(EXIT_FAILURE);
 496                 }
 497                 dump_section(serve, section_header);
 498         }
 499         return serve;
 500 }
 501
 502 /**
 503  * Error codes for config file parsing
 504  **/
 505 typedef enum {
 506         CFILE_NOTFOUND,         /**< The configuration file is not found */
 507         CFILE_MISSING_GENERIC,  /**< The (required) group "generic" is missing */
 508         CFILE_KEY_MISSING,      /**< A (required) key is missing */
 509         CFILE_VALUE_INVALID,    /**< A value is syntactically invalid */
 510         CFILE_VALUE_UNSUPPORTED,/**< A value is not supported in this build */
 511         CFILE_PROGERR,          /**< Programmer error */
 512         CFILE_NO_EXPORTS        /**< A config file was specified that does not
 513                                      define any exports */
 514 } CFILE_ERRORS;
 515
 516 /**
 517  * Remove a SERVER from memory. Used from the hash table
 518  **/
 519 void remove_server(gpointer s) {
 520         SERVER *server;
 521
 522         server=(SERVER*)s;
 523         g_free(server->exportname);
 524         if(server->authname)
 525                 g_free(server->authname);
 526         g_free(server);
 527 }
 528
 529 /**
 530  * Parse the config file.
 531  *
 532  * @param f the name of the config file
 533  * @param e a GError. @see CFILE_ERRORS for what error values this function can
 534  *      return.
 535  * @return a Array of SERVER* pointers, If the config file is empty or does not
 536  *      exist, returns an empty GHashTable; if the config file contains an
 537  *      error, returns NULL, and e is set appropriately
 538  **/
 539 GArray* parse_cfile(gchar* f, GError** e) {
 540         const char* DEFAULT_ERROR = "Could not parse %s in group %s: %s";
 541         const char* MISSING_REQUIRED_ERROR = "Could not find required value %s in group %s: %s";
 542         SERVER s;
 543         gchar *virtstyle=NULL;
 544         PARAM lp[] = {
 545                 { "exportname", TRUE,   PARAM_STRING,   NULL, 0 },
 546                 { "port",       TRUE,   PARAM_INT,      NULL, 0 },
 547                 { "authfile",   FALSE,  PARAM_STRING,   NULL, 0 },
 548                 { "filesize",   FALSE,  PARAM_INT,      NULL, 0 },
 549                 { "virtstyle",  FALSE,  PARAM_STRING,   NULL, 0 },
 550                 { "prerun",     FALSE,  PARAM_STRING,   NULL, 0 },
 551                 { "postrun",    FALSE,  PARAM_STRING,   NULL, 0 },
 552                 { "readonly",   FALSE,  PARAM_BOOL,     NULL, F_READONLY },
 553                 { "multifile",  FALSE,  PARAM_BOOL,     NULL, F_MULTIFILE },
 554                 { "copyonwrite", FALSE, PARAM_BOOL,     NULL, F_COPYONWRITE },
 555                 { "sparse_cow", FALSE,  PARAM_BOOL,     NULL, F_SPARSE },
 556                 { "sdp",        FALSE,  PARAM_BOOL,     NULL, F_SDP },
 557                 { "sync",       FALSE,  PARAM_BOOL,     NULL, F_SYNC },
 558                 { "listenaddr", FALSE,  PARAM_STRING,   NULL, 0 },
 559         };
 560         const int lp_size=sizeof(lp)/sizeof(PARAM);
 561         PARAM gp[] = {
 562                 { "user",       FALSE, PARAM_STRING,    &runuser,       0 },
 563                 { "group",      FALSE, PARAM_STRING,    &rungroup,      0 },
 564         };
 565         PARAM* p=gp;
 566         int p_size=sizeof(gp)/sizeof(PARAM);
 567         GKeyFile *cfile;
 568         GError *err = NULL;
 569         const char *err_msg=NULL;
 570         GQuark errdomain;
 571         GArray *retval=NULL;
 572         gchar **groups;
 573         gboolean value;
 574         gchar* startgroup;
 575         gint i;
 576         gint j;
 577
 578         errdomain = g_quark_from_string("parse_cfile");
 579         cfile = g_key_file_new();
 580         retval = g_array_new(FALSE, TRUE, sizeof(SERVER));
 581         if(!g_key_file_load_from_file(cfile, f, G_KEY_FILE_KEEP_COMMENTS |
 582                         G_KEY_FILE_KEEP_TRANSLATIONS, &err)) {
 583                 g_set_error(e, errdomain, CFILE_NOTFOUND, "Could not open config file %s.", f);
 584                 g_key_file_free(cfile);
 585                 return retval;
 586         }
 587         startgroup = g_key_file_get_start_group(cfile);
 588         if(!startgroup || strcmp(startgroup, "generic")) {
 589                 g_set_error(e, errdomain, CFILE_MISSING_GENERIC, "Config file does not contain the [generic] group!");
 590                 g_key_file_free(cfile);
 591                 return NULL;
 592         }
 593         groups = g_key_file_get_groups(cfile, NULL);
 594         for(i=0;groups[i];i++) {
 595                 memset(&s, '\0', sizeof(SERVER));
 596                 lp[0].target=&(s.exportname);
 597                 lp[1].target=&(s.port);
 598                 lp[2].target=&(s.authname);
 599                 lp[3].target=&(s.expected_size);
 600                 lp[4].target=&(virtstyle);
 601                 lp[5].target=&(s.prerun);
 602                 lp[6].target=&(s.postrun);
 603                 lp[7].target=lp[8].target=lp[9].target=
 604                                 lp[10].target=lp[11].target=
 605                                 lp[12].target=&(s.flags);
 606                 lp[13].target=&(s.listenaddr);
 607
 608                 /* After the [generic] group, start parsing exports */
 609                 if(i==1) {
 610                         p=lp;
 611                         p_size=lp_size;
 612                 }
 613                 for(j=0;j<p_size;j++) {
 614                         g_assert(p[j].target != NULL);
 615                         g_assert(p[j].ptype==PARAM_INT||p[j].ptype==PARAM_STRING||p[j].ptype==PARAM_BOOL);
 616                         switch(p[j].ptype) {
 617                                 case PARAM_INT:
 618                                         *((gint*)p[j].target) =
 619                                                 g_key_file_get_integer(cfile,
 620                                                                 groups[i],
 621                                                                 p[j].paramname,
 622                                                                 &err);
 623                                         break;
 624                                 case PARAM_STRING:
 625                                         *((gchar**)p[j].target) =
 626                                                 g_key_file_get_string(cfile,
 627                                                                 groups[i],
 628                                                                 p[j].paramname,
 629                                                                 &err);
 630                                         break;
 631                                 case PARAM_BOOL:
 632                                         value = g_key_file_get_boolean(cfile,
 633                                                         groups[i],
 634                                                         p[j].paramname, &err);
 635                                         if(!err) {
 636                                                 if(value) {
 637                                                         *((gint*)p[j].target) |= p[j].flagval;
 638                                                 } else {
 639                                                         *((gint*)p[j].target) &= ~(p[j].flagval);
 640                                                 }
 641                                         }
 642                                         break;
 643                         }
 644                         if(err) {
 645                                 if(err->code == G_KEY_FILE_ERROR_KEY_NOT_FOUND) {
 646                                         if(!p[j].required) {
 647                                                 /* Ignore not-found error for optional values */
 648                                                 g_clear_error(&err);
 649                                                 continue;
 650                                         } else {
 651                                                 err_msg = MISSING_REQUIRED_ERROR;
 652                                         }
 653                                 } else {
 654                                         err_msg = DEFAULT_ERROR;
 655                                 }
 656                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, err_msg, p[j].paramname, groups[i], err->message);
 657                                 g_array_free(retval, TRUE);
 658                                 g_error_free(err);
 659                                 g_key_file_free(cfile);
 660                                 return NULL;
 661                         }
 662                 }
 663                 if(virtstyle) {
 664                         if(!strncmp(virtstyle, "none", 4)) {
 665                                 s.virtstyle=VIRT_NONE;
 666                         } else if(!strncmp(virtstyle, "ipliteral", 9)) {
 667                                 s.virtstyle=VIRT_IPLIT;
 668                         } else if(!strncmp(virtstyle, "iphash", 6)) {
 669                                 s.virtstyle=VIRT_IPHASH;
 670                         } else if(!strncmp(virtstyle, "cidrhash", 8)) {
 671                                 s.virtstyle=VIRT_CIDR;
 672                                 if(strlen(virtstyle)<10) {
 673                                         g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s: missing length", virtstyle, groups[i]);
 674                                         g_array_free(retval, TRUE);
 675                                         g_key_file_free(cfile);
 676                                         return NULL;
 677                                 }
 678                                 s.cidrlen=strtol(virtstyle+8, NULL, 0);
 679                         } else {
 680                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s", virtstyle, groups[i]);
 681                                 g_array_free(retval, TRUE);
 682                                 g_key_file_free(cfile);
 683                                 return NULL;
 684                         }
 685                 } else {
 686                         s.virtstyle=VIRT_IPLIT;
 687                 }
 688                 /* Don't need to free this, it's not our string */
 689                 virtstyle=NULL;
 690                 /* Don't append values for the [generic] group */
 691                 if(i>0) {
 692                         if(!s.listenaddr) {
 693                                 s.listenaddr = g_strdup("0.0.0.0");
 694                         }
 695                         g_array_append_val(retval, s);
 696                 }
 697 #ifndef WITH_SDP
 698                 if(s.flags & F_SDP) {
 699                         g_set_error(e, errdomain, CFILE_VALUE_UNSUPPORTED, "This nbd-server was built without support for SDP, yet group %s uses it", groups[i]);
 700                         g_array_free(retval, TRUE);
 701                         g_key_file_free(cfile);
 702                         return NULL;
 703                 }
 704 #endif
 705         }
 706         if(i==1) {
 707                 g_set_error(e, errdomain, CFILE_NO_EXPORTS, "The config file does not specify any exports");
 708         }
 709         g_key_file_free(cfile);
 710         return retval;
 711 }
 712
 713 /**
 714  * Signal handler for SIGCHLD
 715  * @param s the signal we're handling (must be SIGCHLD, or something
 716  * is severely wrong)
 717  **/
 718 void sigchld_handler(int s) {
 719         int status;
 720         int* i;
 721         pid_t pid;
 722
 723         while((pid=waitpid(-1, &status, WNOHANG)) > 0) {
 724                 if(WIFEXITED(status)) {
 725                         msg3(LOG_INFO, "Child exited with %d", WEXITSTATUS(status));
 726                 }
 727                 i=g_hash_table_lookup(children, &pid);
 728                 if(!i) {
 729                         msg3(LOG_INFO, "SIGCHLD received for an unknown child with PID %ld", (long)pid);
 730                 } else {
 731                         DEBUG2("Removing %d from the list of children", pid);
 732                         g_hash_table_remove(children, &pid);
 733                 }
 734         }
 735 }
 736
 737 /**
 738  * Kill a child. Called from sigterm_handler::g_hash_table_foreach.
 739  *
 740  * @param key the key
 741  * @param value the value corresponding to the above key
 742  * @param user_data a pointer which we always set to 1, so that we know what
 743  * will happen next.
 744  **/
 745 void killchild(gpointer key, gpointer value, gpointer user_data) {
 746         pid_t *pid=value;
 747         int *parent=user_data;
 748
 749         kill(*pid, SIGTERM);
 750         *parent=1;
 751 }
 752
 753 /**
 754  * Handle SIGTERM and dispatch it to our children
 755  * @param s the signal we're handling (must be SIGTERM, or something
 756  * is severely wrong).
 757  **/
 758 void sigterm_handler(int s) {
 759         int parent=0;
 760
 761         g_hash_table_foreach(children, killchild, &parent);
 762
 763         if(parent) {
 764                 unlink(pidfname);
 765         }
 766
 767         exit(EXIT_SUCCESS);
 768 }
 769
 770 /**
 771  * Detect the size of a file.
 772  *
 773  * @param fhandle An open filedescriptor
 774  * @return the size of the file, or OFFT_MAX if detection was
 775  * impossible.
 776  **/
 777 off_t size_autodetect(int fhandle) {
 778         off_t es;
 779         u64 bytes;
 780         struct stat stat_buf;
 781         int error;
 782
 783 #ifdef HAVE_SYS_MOUNT_H
 784 #ifdef HAVE_SYS_IOCTL_H
 785 #ifdef BLKGETSIZE64
 786         DEBUG("looking for export size with ioctl BLKGETSIZE64\n");
 787         if (!ioctl(fhandle, BLKGETSIZE64, bytes) && bytes) {
 788                 return (off_t)bytes;
 789         }
 790 #endif /* BLKGETSIZE64 */
 791 #endif /* HAVE_SYS_IOCTL_H */
 792 #endif /* HAVE_SYS_MOUNT_H */
 793
 794         DEBUG("looking for fhandle size with fstat\n");
 795         stat_buf.st_size = 0;
 796         error = fstat(fhandle, &stat_buf);
 797         if (!error) {
 798                 if(stat_buf.st_size > 0)
 799                         return (off_t)stat_buf.st_size;
 800         } else {
 801                 err("fstat failed: %m");
 802         }
 803
 804         DEBUG("looking for fhandle size with lseek SEEK_END\n");
 805         es = lseek(fhandle, (off_t)0, SEEK_END);
 806         if (es > ((off_t)0)) {
 807                 return es;
 808         } else {
 809                 DEBUG2("lseek failed: %d", errno==EBADF?1:(errno==ESPIPE?2:(errno==EINVAL?3:4)));
 810         }
 811
 812         err("Could not find size of exported block device: %m");
 813         return OFFT_MAX;
 814 }
 815
 816 /**
 817  * Get the file handle and offset, given an export offset.
 818  *
 819  * @param export An array of export files
 820  * @param a The offset to get corresponding file/offset for
 821  * @param fhandle [out] File descriptor
 822  * @param foffset [out] Offset into fhandle
 823  * @param maxbytes [out] Tells how many bytes can be read/written
 824  * from fhandle starting at foffset (0 if there is no limit)
 825  * @return 0 on success, -1 on failure
 826  **/
 827 int get_filepos(GArray* export, off_t a, int* fhandle, off_t* foffset, size_t* maxbytes ) {
 828         /* Negative offset not allowed */
 829         if(a < 0)
 830                 return -1;
 831
 832         /* Binary search for last file with starting offset <= a */
 833         FILE_INFO fi;
 834         int start = 0;
 835         int end = export->len - 1;
 836         while( start <= end ) {
 837                 int mid = (start + end) / 2;
 838                 fi = g_array_index(export, FILE_INFO, mid);
 839                 if( fi.startoff < a ) {
 840                         start = mid + 1;
 841                 } else if( fi.startoff > a ) {
 842                         end = mid - 1;
 843                 } else {
 844                         start = end = mid;
 845                         break;
 846                 }
 847         }
 848
 849         /* end should never go negative, since first startoff is 0 and a >= 0 */
 850         g_assert(end >= 0);
 851
 852         fi = g_array_index(export, FILE_INFO, end);
 853         *fhandle = fi.fhandle;
 854         *foffset = a - fi.startoff;
 855         *maxbytes = 0;
 856         if( end+1 < export->len ) {
 857                 FILE_INFO fi_next = g_array_index(export, FILE_INFO, end+1);
 858                 *maxbytes = fi_next.startoff - a;
 859         }
 860
 861         return 0;
 862 }
 863
 864 /**
 865  * seek to a position in a file, with error handling.
 866  * @param handle a filedescriptor
 867  * @param a position to seek to
 868  * @todo get rid of this; lastpoint is a global variable right now, but it
 869  * shouldn't be. If we pass it on as a parameter, that makes things a *lot*
 870  * easier.
 871  **/
 872 void myseek(int handle,off_t a) {
 873         if (lseek(handle, a, SEEK_SET) < 0) {
 874                 err("Can not seek locally!\n");
 875         }
 876 }
 877
 878 /**
 879  * Write an amount of bytes at a given offset to the right file. This
 880  * abstracts the write-side of the multiple file option.
 881  *
 882  * @param a The offset where the write should start
 883  * @param buf The buffer to write from
 884  * @param len The length of buf
 885  * @param client The client we're serving for
 886  * @return The number of bytes actually written, or -1 in case of an error
 887  **/
 888 ssize_t rawexpwrite(off_t a, char *buf, size_t len, CLIENT *client) {
 889         int fhandle;
 890         off_t foffset;
 891         size_t maxbytes;
 892         ssize_t retval;
 893
 894         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 895                 return -1;
 896         if(maxbytes && len > maxbytes)
 897                 len = maxbytes;
 898
 899         DEBUG4("(WRITE to fd %d offset %llu len %u), ", fhandle, foffset, len);
 900
 901         myseek(fhandle, foffset);
 902         retval = write(fhandle, buf, len);
 903         if(client->server->flags & F_SYNC) {
 904                 fsync(fhandle);
 905         }
 906         return retval;
 907 }
 908
 909 /**
 910  * Call rawexpwrite repeatedly until all data has been written.
 911  * @return 0 on success, nonzero on failure
 912  **/
 913 int rawexpwrite_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 914         ssize_t ret=0;
 915
 916         while(len > 0 && (ret=rawexpwrite(a, buf, len, client)) > 0 ) {
 917                 a += ret;
 918                 buf += ret;
 919                 len -= ret;
 920         }
 921         return (ret < 0 || len != 0);
 922 }
 923
 924 /**
 925  * Read an amount of bytes at a given offset from the right file. This
 926  * abstracts the read-side of the multiple files option.
 927  *
 928  * @param a The offset where the read should start
 929  * @param buf A buffer to read into
 930  * @param len The size of buf
 931  * @param client The client we're serving for
 932  * @return The number of bytes actually read, or -1 in case of an
 933  * error.
 934  **/
 935 ssize_t rawexpread(off_t a, char *buf, size_t len, CLIENT *client) {
 936         int fhandle;
 937         off_t foffset;
 938         size_t maxbytes;
 939
 940         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 941                 return -1;
 942         if(maxbytes && len > maxbytes)
 943                 len = maxbytes;
 944
 945         DEBUG4("(READ from fd %d offset %llu len %u), ", fhandle, foffset, len);
 946
 947         myseek(fhandle, foffset);
 948         return read(fhandle, buf, len);
 949 }
 950
 951 /**
 952  * Call rawexpread repeatedly until all data has been read.
 953  * @return 0 on success, nonzero on failure
 954  **/
 955 int rawexpread_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 956         ssize_t ret=0;
 957
 958         while(len > 0 && (ret=rawexpread(a, buf, len, client)) > 0 ) {
 959                 a += ret;
 960                 buf += ret;
 961                 len -= ret;
 962         }
 963         return (ret < 0 || len != 0);
 964 }
 965
 966 /**
 967  * Read an amount of bytes at a given offset from the right file. This
 968  * abstracts the read-side of the copyonwrite stuff, and calls
 969  * rawexpread() with the right parameters to do the actual work.
 970  * @param a The offset where the read should start
 971  * @param buf A buffer to read into
 972  * @param len The size of buf
 973  * @param client The client we're going to read for
 974  * @return 0 on success, nonzero on failure
 975  **/
 976 int expread(off_t a, char *buf, size_t len, CLIENT *client) {
 977         off_t rdlen, offset;
 978         off_t mapcnt, mapl, maph, pagestart;
 979
 980         if (!(client->server->flags & F_COPYONWRITE))
 981                 return(rawexpread_fully(a, buf, len, client));
 982         DEBUG3("Asked to read %d bytes at %llu.\n", len, (unsigned long long)a);
 983
 984         mapl=a/DIFFPAGESIZE; maph=(a+len-1)/DIFFPAGESIZE;
 985
 986         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
 987                 pagestart=mapcnt*DIFFPAGESIZE;
 988                 offset=a-pagestart;
 989                 rdlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
 990                         len : (size_t)DIFFPAGESIZE-offset;
 991                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
 992                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
 993                                (unsigned long)(client->difmap[mapcnt]));
 994                         myseek(client->difffile, client->difmap[mapcnt]*DIFFPAGESIZE+offset);
 995                         if (read(client->difffile, buf, rdlen) != rdlen) return -1;
 996                 } else { /* the block is not there */
 997                         DEBUG2("Page %llu is not here, we read the original one\n",
 998                                (unsigned long long)mapcnt);
 999                         if(rawexpread_fully(a, buf, rdlen, client)) return -1;
1000                 }
1001                 len-=rdlen; a+=rdlen; buf+=rdlen;
1002         }
1003         return 0;
1004 }
1005
1006 /**
1007  * Write an amount of bytes at a given offset to the right file. This
1008  * abstracts the write-side of the copyonwrite option, and calls
1009  * rawexpwrite() with the right parameters to do the actual work.
1010  *
1011  * @param a The offset where the write should start
1012  * @param buf The buffer to write from
1013  * @param len The length of buf
1014  * @param client The client we're going to write for.
1015  * @return 0 on success, nonzero on failure
1016  **/
1017 int expwrite(off_t a, char *buf, size_t len, CLIENT *client) {
1018         char pagebuf[DIFFPAGESIZE];
1019         off_t mapcnt,mapl,maph;
1020         off_t wrlen,rdlen;
1021         off_t pagestart;
1022         off_t offset;
1023
1024         if (!(client->server->flags & F_COPYONWRITE))
1025                 return(rawexpwrite_fully(a, buf, len, client));
1026         DEBUG3("Asked to write %d bytes at %llu.\n", len, (unsigned long long)a);
1027
1028         mapl=a/DIFFPAGESIZE ; maph=(a+len-1)/DIFFPAGESIZE ;
1029
1030         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
1031                 pagestart=mapcnt*DIFFPAGESIZE ;
1032                 offset=a-pagestart ;
1033                 wrlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
1034                         len : (size_t)DIFFPAGESIZE-offset;
1035
1036                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
1037                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
1038                                (unsigned long)(client->difmap[mapcnt])) ;
1039                         myseek(client->difffile,
1040                                         client->difmap[mapcnt]*DIFFPAGESIZE+offset);
1041                         if (write(client->difffile, buf, wrlen) != wrlen) return -1 ;
1042                 } else { /* the block is not there */
1043                         myseek(client->difffile,client->difffilelen*DIFFPAGESIZE) ;
1044                         client->difmap[mapcnt]=(client->server->flags&F_SPARSE)?mapcnt:client->difffilelen++;
1045                         DEBUG3("Page %llu is not here, we put it at %lu\n",
1046                                (unsigned long long)mapcnt,
1047                                (unsigned long)(client->difmap[mapcnt]));
1048                         rdlen=DIFFPAGESIZE ;
1049                         if (rawexpread_fully(pagestart, pagebuf, rdlen, client))
1050                                 return -1;
1051                         memcpy(pagebuf+offset,buf,wrlen) ;
1052                         if (write(client->difffile, pagebuf, DIFFPAGESIZE) !=
1053                                         DIFFPAGESIZE)
1054                                 return -1;
1055                 }
1056                 len-=wrlen ; a+=wrlen ; buf+=wrlen ;
1057         }
1058         return 0;
1059 }
1060
1061 /**
1062  * Do the initial negotiation.
1063  *
1064  * @param client The client we're negotiating with.
1065  **/
1066 void negotiate(CLIENT *client) {
1067         char zeros[128];
1068         u64 size_host;
1069         u32 flags = NBD_FLAG_HAS_FLAGS;
1070
1071         memset(zeros, '\0', sizeof(zeros));
1072         if (write(client->net, INIT_PASSWD, 8) < 0)
1073                 err("Negotiation failed: %m");
1074         cliserv_magic = htonll(cliserv_magic);
1075         if (write(client->net, &cliserv_magic, sizeof(cliserv_magic)) < 0)
1076                 err("Negotiation failed: %m");
1077         size_host = htonll((u64)(client->exportsize));
1078         if (write(client->net, &size_host, 8) < 0)
1079                 err("Negotiation failed: %m");
1080         if (client->server->flags & F_READONLY)
1081                 flags |= NBD_FLAG_READ_ONLY;
1082         flags = htonl(flags);
1083         if (write(client->net, &flags, 4) < 0)
1084                 err("Negotiation failed: %m");
1085         if (write(client->net, zeros, 124) < 0)
1086                 err("Negotiation failed: %m");
1087 }
1088
1089 /** sending macro. */
1090 #define SEND(net,reply) writeit( net, &reply, sizeof( reply ));
1091 /** error macro. */
1092 #define ERROR(client,reply,errcode) { reply.error = htonl(errcode); SEND(client->net,reply); reply.error = 0; }
1093 /**
1094  * Serve a file to a single client.
1095  *
1096  * @todo This beast needs to be split up in many tiny little manageable
1097  * pieces. Preferably with a chainsaw.
1098  *
1099  * @param client The client we're going to serve to.
1100  * @return when the client disconnects
1101  **/
1102 int mainloop(CLIENT *client) {
1103         struct nbd_request request;
1104         struct nbd_reply reply;
1105         gboolean go_on=TRUE;
1106 #ifdef DODBG
1107         int i = 0;
1108 #endif
1109         negotiate(client);
1110         DEBUG("Entering request loop!\n");
1111         reply.magic = htonl(NBD_REPLY_MAGIC);
1112         reply.error = 0;
1113         while (go_on) {
1114                 char buf[BUFSIZE];
1115                 size_t len;
1116 #ifdef DODBG
1117                 i++;
1118                 printf("%d: ", i);
1119 #endif
1120                 readit(client->net, &request, sizeof(request));
1121                 request.from = ntohll(request.from);
1122                 request.type = ntohl(request.type);
1123
1124                 if (request.type==NBD_CMD_DISC) {
1125                         msg2(LOG_INFO, "Disconnect request received.");
1126                         if (client->server->flags & F_COPYONWRITE) {
1127                                 if (client->difmap) g_free(client->difmap) ;
1128                                 close(client->difffile);
1129                                 unlink(client->difffilename);
1130                                 free(client->difffilename);
1131                         }
1132                         go_on=FALSE;
1133                         continue;
1134                 }
1135
1136                 len = ntohl(request.len);
1137
1138                 if (request.magic != htonl(NBD_REQUEST_MAGIC))
1139                         err("Not enough magic.");
1140                 if (len > BUFSIZE + sizeof(struct nbd_reply))
1141                         err("Request too big!");
1142 #ifdef DODBG
1143                 printf("%s from %llu (%llu) len %d, ", request.type ? "WRITE" :
1144                                 "READ", (unsigned long long)request.from,
1145                                 (unsigned long long)request.from / 512, len);
1146 #endif
1147                 memcpy(reply.handle, request.handle, sizeof(reply.handle));
1148                 if ((request.from + len) > (OFFT_MAX)) {
1149                         DEBUG("[Number too large!]");
1150                         ERROR(client, reply, EINVAL);
1151                         continue;
1152                 }
1153
1154                 if (((ssize_t)((off_t)request.from + len) > client->exportsize)) {
1155                         DEBUG("[RANGE!]");
1156                         ERROR(client, reply, EINVAL);
1157                         continue;
1158                 }
1159
1160                 if (request.type==NBD_CMD_WRITE) {
1161                         DEBUG("wr: net->buf, ");
1162                         readit(client->net, buf, len);
1163                         DEBUG("buf->exp, ");
1164                         if ((client->server->flags & F_READONLY) ||
1165                             (client->server->flags & F_AUTOREADONLY)) {
1166                                 DEBUG("[WRITE to READONLY!]");
1167                                 ERROR(client, reply, EPERM);
1168                                 continue;
1169                         }
1170                         if (expwrite(request.from, buf, len, client)) {
1171                                 DEBUG("Write failed: %m" );
1172                                 ERROR(client, reply, errno);
1173                                 continue;
1174                         }
1175                         SEND(client->net, reply);
1176                         DEBUG("OK!\n");
1177                         continue;
1178                 }
1179                 /* READ */
1180
1181                 DEBUG("exp->buf, ");
1182                 if (expread(request.from, buf + sizeof(struct nbd_reply), len, client)) {
1183                         DEBUG("Read failed: %m");
1184                         ERROR(client, reply, errno);
1185                         continue;
1186                 }
1187
1188                 DEBUG("buf->net, ");
1189                 memcpy(buf, &reply, sizeof(struct nbd_reply));
1190                 writeit(client->net, buf, len + sizeof(struct nbd_reply));
1191                 DEBUG("OK!\n");
1192         }
1193         return 0;
1194 }
1195
1196 /**
1197  * Set up client export array, which is an array of FILE_INFO.
1198  * Also, split a single exportfile into multiple ones, if that was asked.
1199  * @param client information on the client which we want to setup export for
1200  **/
1201 void setupexport(CLIENT* client) {
1202         int i;
1203         off_t laststartoff = 0, lastsize = 0;
1204         int multifile = (client->server->flags & F_MULTIFILE);
1205
1206         client->export = g_array_new(TRUE, TRUE, sizeof(FILE_INFO));
1207
1208         /* If multi-file, open as many files as we can.
1209          * If not, open exactly one file.
1210          * Calculate file sizes as we go to get total size. */
1211         for(i=0; ; i++) {
1212                 FILE_INFO fi;
1213                 gchar *tmpname;
1214                 gchar* error_string;
1215                 mode_t mode = (client->server->flags & F_READONLY) ? O_RDONLY : O_RDWR;
1216
1217                 if(multifile) {
1218                         tmpname=g_strdup_printf("%s.%d", client->exportname, i);
1219                 } else {
1220                         tmpname=g_strdup(client->exportname);
1221                 }
1222                 DEBUG2( "Opening %s\n", tmpname );
1223                 fi.fhandle = open(tmpname, mode);
1224                 if(fi.fhandle == -1 && mode == O_RDWR) {
1225                         /* Try again because maybe media was read-only */
1226                         fi.fhandle = open(tmpname, O_RDONLY);
1227                         if(fi.fhandle != -1) {
1228                                 /* Opening the base file in copyonwrite mode is
1229                                  * okay */
1230                                 if(!(client->server->flags & F_COPYONWRITE)) {
1231                                         client->server->flags |= F_AUTOREADONLY;
1232                                         client->server->flags |= F_READONLY;
1233                                 }
1234                         }
1235                 }
1236                 if(fi.fhandle == -1) {
1237                         if(multifile && i>0)
1238                                 break;
1239                         error_string=g_strdup_printf(
1240                                 "Could not open exported file %s: %%m",
1241                                 tmpname);
1242                         err(error_string);
1243                 }
1244                 fi.startoff = laststartoff + lastsize;
1245                 g_array_append_val(client->export, fi);
1246                 g_free(tmpname);
1247
1248                 /* Starting offset and size of this file will be used to
1249                  * calculate starting offset of next file */
1250                 laststartoff = fi.startoff;
1251                 lastsize = size_autodetect(fi.fhandle);
1252
1253                 if(!multifile)
1254                         break;
1255         }
1256
1257         /* Set export size to total calculated size */
1258         client->exportsize = laststartoff + lastsize;
1259
1260         /* Export size may be overridden */
1261         if(client->server->expected_size) {
1262                 /* desired size must be <= total calculated size */
1263                 if(client->server->expected_size > client->exportsize) {
1264                         err("Size of exported file is too big\n");
1265                 }
1266
1267                 client->exportsize = client->server->expected_size;
1268         }
1269
1270         msg3(LOG_INFO, "Size of exported file/device is %llu", (unsigned long long)client->exportsize);
1271         if(multifile) {
1272                 msg3(LOG_INFO, "Total number of files: %d", i);
1273         }
1274 }
1275
1276 int copyonwrite_prepare(CLIENT* client) {
1277         off_t i;
1278         if ((client->difffilename = malloc(1024))==NULL)
1279                 err("Failed to allocate string for diff file name");
1280         snprintf(client->difffilename, 1024, "%s-%s-%d.diff",client->exportname,client->clientname,
1281                 (int)getpid()) ;
1282         client->difffilename[1023]='\0';
1283         msg3(LOG_INFO,"About to create map and diff file %s",client->difffilename) ;
1284         client->difffile=open(client->difffilename,O_RDWR | O_CREAT | O_TRUNC,0600) ;
1285         if (client->difffile<0) err("Could not create diff file (%m)") ;
1286         if ((client->difmap=calloc(client->exportsize/DIFFPAGESIZE,sizeof(u32)))==NULL)
1287                 err("Could not allocate memory") ;
1288         for (i=0;i<client->exportsize/DIFFPAGESIZE;i++) client->difmap[i]=(u32)-1 ;
1289
1290         return 0;
1291 }
1292
1293 /**
1294  * Run a command. This is used for the ``prerun'' and ``postrun'' config file
1295  * options
1296  *
1297  * @param command the command to be ran. Read from the config file
1298  * @param file the file name we're about to export
1299  **/
1300 int do_run(gchar* command, gchar* file) {
1301         gchar* cmd;
1302         int retval=0;
1303
1304         if(command && *command) {
1305                 cmd = g_strdup_printf(command, file);
1306                 retval=system(cmd);
1307                 g_free(cmd);
1308         }
1309         return retval;
1310 }
1311
1312 /**
1313  * Serve a connection.
1314  *
1315  * @todo allow for multithreading, perhaps use libevent. Not just yet, though;
1316  * follow the road map.
1317  *
1318  * @param client a connected client
1319  **/
1320 void serveconnection(CLIENT *client) {
1321         if(do_run(client->server->prerun, client->exportname)) {
1322                 exit(EXIT_FAILURE);
1323         }
1324         setupexport(client);
1325
1326         if (client->server->flags & F_COPYONWRITE) {
1327                 copyonwrite_prepare(client);
1328         }
1329
1330         setmysockopt(client->net);
1331
1332         mainloop(client);
1333         do_run(client->server->postrun, client->exportname);
1334 }
1335
1336 /**
1337  * Find the name of the file we have to serve. This will use g_strdup_printf
1338  * to put the IP address of the client inside a filename containing
1339  * "%s" (in the form as specified by the "virtstyle" option). That name
1340  * is then written to client->exportname.
1341  *
1342  * @param net A socket connected to an nbd client
1343  * @param client information about the client. The IP address in human-readable
1344  * format will be written to a new char* buffer, the address of which will be
1345  * stored in client->clientname.
1346  **/
1347 void set_peername(int net, CLIENT *client) {
1348         struct sockaddr_in addrin;
1349         struct sockaddr_in netaddr;
1350         size_t addrinlen = sizeof( addrin );
1351         char *peername;
1352         char *netname;
1353         char *tmp;
1354         int i;
1355
1356         if (getpeername(net, (struct sockaddr *) &addrin, (socklen_t *)&addrinlen) < 0)
1357                 err("getsockname failed: %m");
1358         peername = g_strdup(inet_ntoa(addrin.sin_addr));
1359         switch(client->server->virtstyle) {
1360                 case VIRT_NONE:
1361                         client->exportname=g_strdup(client->server->exportname);
1362                         break;
1363                 case VIRT_IPHASH:
1364                         for(i=0;i<strlen(peername);i++) {
1365                                 if(peername[i]=='.') {
1366                                         peername[i]='/';
1367                                 }
1368                         }
1369                 case VIRT_IPLIT:
1370                         client->exportname=g_strdup_printf(client->server->exportname, peername);
1371                         break;
1372                 case VIRT_CIDR:
1373                         memcpy(&netaddr, &addrin, addrinlen);
1374                         netaddr.sin_addr.s_addr>>=32-(client->server->cidrlen);
1375                         netaddr.sin_addr.s_addr<<=32-(client->server->cidrlen);
1376                         netname = inet_ntoa(netaddr.sin_addr);
1377                         tmp=g_strdup_printf("%s/%s", netname, peername);
1378                         client->exportname=g_strdup_printf(client->server->exportname, tmp);
1379                         break;
1380         }
1381
1382         msg4(LOG_INFO, "connect from %s, assigned file is %s",
1383              peername, client->exportname);
1384         client->clientname=g_strdup(peername);
1385         g_free(peername);
1386 }
1387
1388 /**
1389  * Destroy a pid_t*
1390  * @param data a pointer to pid_t which should be freed
1391  **/
1392 void destroy_pid_t(gpointer data) {
1393         g_free(data);
1394 }
1395
1396 /**
1397  * Loop through the available servers, and serve them. Never returns.
1398  **/
1399 int serveloop(GArray* servers) {
1400         struct sockaddr_in addrin;
1401         socklen_t addrinlen=sizeof(addrin);
1402         SERVER *serve;
1403         int i;
1404         int max;
1405         int sock;
1406         fd_set mset;
1407         fd_set rset;
1408
1409         /*
1410          * Set up the master fd_set. The set of descriptors we need
1411          * to select() for never changes anyway and it buys us a *lot*
1412          * of time to only build this once. However, if we ever choose
1413          * to not fork() for clients anymore, we may have to revisit
1414          * this.
1415          */
1416         max=0;
1417         FD_ZERO(&mset);
1418         for(i=0;i<servers->len;i++) {
1419                 sock=(g_array_index(servers, SERVER, i)).socket;
1420                 FD_SET(sock, &mset);
1421                 max=sock>max?sock:max;
1422         }
1423         for(;;) {
1424                 CLIENT *client;
1425                 int net;
1426                 pid_t *pid;
1427
1428                 memcpy(&rset, &mset, sizeof(fd_set));
1429                 if(select(max+1, &rset, NULL, NULL, NULL)>0) {
1430                         DEBUG("accept, ");
1431                         for(i=0;i<servers->len;i++) {
1432                                 serve=&(g_array_index(servers, SERVER, i));
1433                                 if(FD_ISSET(serve->socket, &rset)) {
1434                                         int sock_flags;
1435                                         if ((net=accept(serve->socket, (struct sockaddr *) &addrin, &addrinlen)) < 0)
1436                                                 err("accept: %m");
1437
1438                                         if((sock_flags = fcntl(net, F_GETFL, 0))==-1) {
1439                                                 err("fcntl F_GETFL");
1440                                         }
1441                                         if(fcntl(net, F_SETFL, sock_flags &~O_NONBLOCK)==-1) {
1442                                                 err("fcntl F_SETFL ~O_NONBLOCK");
1443                                         }
1444                                         client = g_malloc(sizeof(CLIENT));
1445                                         client->server=serve;
1446                                         client->exportsize=OFFT_MAX;
1447                                         client->net=net;
1448                                         set_peername(net, client);
1449                                         if (!authorized_client(client)) {
1450                                                 msg2(LOG_INFO,"Unauthorized client") ;
1451                                                 close(net);
1452                                                 continue;
1453                                         }
1454                                         msg2(LOG_INFO,"Authorized client") ;
1455                                         pid=g_malloc(sizeof(pid_t));
1456 #ifndef NOFORK
1457                                         if ((*pid=fork())<0) {
1458                                                 msg3(LOG_INFO,"Could not fork (%s)",strerror(errno)) ;
1459                                                 close(net);
1460                                                 continue;
1461                                         }
1462                                         if (*pid>0) { /* parent */
1463                                                 close(net);
1464                                                 g_hash_table_insert(children, pid, pid);
1465                                                 continue;
1466                                         }
1467                                         /* child */
1468                                         g_hash_table_destroy(children);
1469                                         for(i=0;i<servers->len;i++) {
1470                                                 serve=&g_array_index(servers, SERVER, i);
1471                                                 close(serve->socket);
1472                                         }
1473                                         /* FALSE does not free the
1474                                         actual data. This is required,
1475                                         because the client has a
1476                                         direct reference into that
1477                                         data, and otherwise we get a
1478                                         segfault... */
1479                                         g_array_free(servers, FALSE);
1480 #endif // NOFORK
1481                                         msg2(LOG_INFO,"Starting to serve");
1482                                         serveconnection(client);
1483                                         exit(EXIT_SUCCESS);
1484                                 }
1485                         }
1486                 }
1487         }
1488 }
1489
1490 /**
1491  * Connect a server's socket.
1492  *
1493  * @param serve the server we want to connect.
1494  **/
1495 void setup_serve(SERVER *serve) {
1496         struct sockaddr_in addrin;
1497         struct sigaction sa;
1498         int addrinlen = sizeof(addrin);
1499         int sock_flags;
1500         int af;
1501 #ifndef sun
1502         int yes=1;
1503 #else
1504         char yes='1';
1505 #endif /* sun */
1506
1507         af = AF_INET;
1508 #ifdef WITH_SDP
1509         if ((serve->flags) && F_SDP) {
1510                 af = AF_INET_SDP;
1511         }
1512 #endif
1513         if ((serve->socket = socket(af, SOCK_STREAM, IPPROTO_TCP)) < 0)
1514                 err("socket: %m");
1515
1516         /* lose the pesky "Address already in use" error message */
1517         if (setsockopt(serve->socket,SOL_SOCKET,SO_REUSEADDR,&yes,sizeof(int)) == -1) {
1518                 err("setsockopt SO_REUSEADDR");
1519         }
1520         if (setsockopt(serve->socket,SOL_SOCKET,SO_KEEPALIVE,&yes,sizeof(int)) == -1) {
1521                 err("setsockopt SO_KEEPALIVE");
1522         }
1523
1524         /* make the listening socket non-blocking */
1525         if ((sock_flags = fcntl(serve->socket, F_GETFL, 0)) == -1) {
1526                 err("fcntl F_GETFL");
1527         }
1528         if (fcntl(serve->socket, F_SETFL, sock_flags | O_NONBLOCK) == -1) {
1529                 err("fcntl F_SETFL O_NONBLOCK");
1530         }
1531
1532         DEBUG("Waiting for connections... bind, ");
1533         addrin.sin_family = AF_INET;
1534 #ifdef WITH_SDP
1535         if(serve->flags & F_SDP) {
1536                 addrin.sin_family = AF_INET_SDP;
1537         }
1538 #endif
1539         addrin.sin_port = htons(serve->port);
1540         if(!inet_aton(serve->listenaddr, &(addrin.sin_addr)))
1541                 err("could not parse listen address");
1542         if (bind(serve->socket, (struct sockaddr *) &addrin, addrinlen) < 0)
1543                 err("bind: %m");
1544         DEBUG("listen, ");
1545         if (listen(serve->socket, 1) < 0)
1546                 err("listen: %m");
1547         sa.sa_handler = sigchld_handler;
1548         sigemptyset(&sa.sa_mask);
1549         sa.sa_flags = SA_RESTART;
1550         if(sigaction(SIGCHLD, &sa, NULL) == -1)
1551                 err("sigaction: %m");
1552         sa.sa_handler = sigterm_handler;
1553         sigemptyset(&sa.sa_mask);
1554         sa.sa_flags = SA_RESTART;
1555         if(sigaction(SIGTERM, &sa, NULL) == -1)
1556                 err("sigaction: %m");
1557 }
1558
1559 /**
1560  * Connect our servers.
1561  **/
1562 void setup_servers(GArray* servers) {
1563         int i;
1564
1565         for(i=0;i<servers->len;i++) {
1566                 setup_serve(&(g_array_index(servers, SERVER, i)));
1567         }
1568         children=g_hash_table_new_full(g_int_hash, g_int_equal, NULL, destroy_pid_t);
1569 }
1570
1571 /**
1572  * Go daemon (unless we specified at compile time that we didn't want this)
1573  * @param serve the first server of our configuration. If its port is zero,
1574  *      then do not daemonize, because we're doing inetd then. This parameter
1575  *      is only used to create a PID file of the form
1576  *      /var/run/nbd-server.&lt;port&gt;.pid; it's not modified in any way.
1577  **/
1578 #if !defined(NODAEMON) && !defined(NOFORK)
1579 void daemonize(SERVER* serve) {
1580         FILE*pidf;
1581
1582         if(serve && !(serve->port)) {
1583                 return;
1584         }
1585         if(daemon(0,0)<0) {
1586                 err("daemon");
1587         }
1588         if(!*pidftemplate) {
1589                 if(serve) {
1590                         strncpy(pidftemplate, "/var/run/nbd-server.%d.pid", 255);
1591                 } else {
1592                         strncpy(pidftemplate, "/var/run/nbd-server.pid", 255);
1593                 }
1594         }
1595         snprintf(pidfname, 255, pidftemplate, serve ? serve->port : 0);
1596         pidf=fopen(pidfname, "w");
1597         if(pidf) {
1598                 fprintf(pidf,"%d\n", (int)getpid());
1599                 fclose(pidf);
1600         } else {
1601                 perror("fopen");
1602                 fprintf(stderr, "Not fatal; continuing");
1603         }
1604 }
1605 #else
1606 #define daemonize(serve)
1607 #endif /* !defined(NODAEMON) && !defined(NOFORK) */
1608
1609 /*
1610  * Everything beyond this point (in the file) is run in non-daemon mode.
1611  * The stuff above daemonize() isn't.
1612  */
1613
1614 void serve_err(SERVER* serve, const char* msg) G_GNUC_NORETURN;
1615
1616 void serve_err(SERVER* serve, const char* msg) {
1617         g_message("Export of %s on port %d failed:", serve->exportname,
1618                         serve->port);
1619         err(msg);
1620 }
1621
1622 /**
1623  * Set up user-ID and/or group-ID
1624  **/
1625 void dousers(void) {
1626         struct passwd *pw;
1627         struct group *gr;
1628         gchar* str;
1629         if(rungroup) {
1630                 gr=getgrnam(rungroup);
1631                 if(!gr) {
1632                         str = g_strdup_printf("Invalid group name: %s", rungroup);
1633                         err(str);
1634                 }
1635                 if(setgid(gr->gr_gid)<0) {
1636                         err("Could not set GID: %m");
1637                 }
1638         }
1639         if(runuser) {
1640                 pw=getpwnam(runuser);
1641                 if(!pw) {
1642                         str = g_strdup_printf("Invalid user name: %s", runuser);
1643                         err(str);
1644                 }
1645                 if(setuid(pw->pw_uid)<0) {
1646                         err("Could not set UID: %m");
1647                 }
1648         }
1649 }
1650
1651 #ifndef ISSERVER
1652 void glib_message_syslog_redirect(const gchar *log_domain,
1653                                   GLogLevelFlags log_level,
1654                                   const gchar *message,
1655                                   gpointer user_data)
1656 {
1657     int level=LOG_DEBUG;
1658
1659     switch( log_level )
1660     {
1661       case G_LOG_FLAG_FATAL:
1662       case G_LOG_LEVEL_CRITICAL:
1663       case G_LOG_LEVEL_ERROR:
1664         level=LOG_ERR;
1665         break;
1666       case G_LOG_LEVEL_WARNING:
1667         level=LOG_WARNING;
1668         break;
1669       case G_LOG_LEVEL_MESSAGE:
1670       case G_LOG_LEVEL_INFO:
1671         level=LOG_INFO;
1672         break;
1673       case G_LOG_LEVEL_DEBUG:
1674         level=LOG_DEBUG;
1675     }
1676     syslog(level, message);
1677 }
1678 #endif
1679
1680 /**
1681  * Main entry point...
1682  **/
1683 int main(int argc, char *argv[]) {
1684         SERVER *serve;
1685         GArray *servers;
1686         GError *err=NULL;
1687
1688         if (sizeof( struct nbd_request )!=28) {
1689                 fprintf(stderr,"Bad size of structure. Alignment problems?\n");
1690                 exit(EXIT_FAILURE) ;
1691         }
1692
1693         memset(pidftemplate, '\0', 256);
1694
1695         logging();
1696         config_file_pos = g_strdup(CFILE);
1697         serve=cmdline(argc, argv);
1698         servers = parse_cfile(config_file_pos, &err);
1699
1700         if(serve) {
1701                 g_array_append_val(servers, *serve);
1702
1703                 if (!(serve->port)) {
1704                         CLIENT *client;
1705 #ifndef ISSERVER
1706                         /* You really should define ISSERVER if you're going to use
1707                          * inetd mode, but if you don't, closing stdout and stderr
1708                          * (which inetd had connected to the client socket) will let it
1709                          * work. */
1710                         close(1);
1711                         close(2);
1712                         open("/dev/null", O_WRONLY);
1713                         open("/dev/null", O_WRONLY);
1714                         g_log_set_default_handler( glib_message_syslog_redirect, NULL );
1715 #endif
1716                         client=g_malloc(sizeof(CLIENT));
1717                         client->server=serve;
1718                         client->net=0;
1719                         client->exportsize=OFFT_MAX;
1720                         set_peername(0,client);
1721                         serveconnection(client);
1722                         return 0;
1723                 }
1724         }
1725
1726     if(!servers || !servers->len) {
1727                 g_warning("Could not parse config file: %s",
1728                                 err ? err->message : "Unknown error");
1729         }
1730
1731         if((!serve) && (!servers||!servers->len)) {
1732                 g_message("Nothing to do! Bye!");
1733                 exit(EXIT_FAILURE);
1734         }
1735         daemonize(serve);
1736         setup_servers(servers);
1737         dousers();
1738         serveloop(servers);
1739         return 0 ;
1740 }