nbd-server.c

   1 /*
   2  * Network Block Device - server
   3  *
   4  * Copyright 1996-1998 Pavel Machek, distribute under GPL
   5  *  <pavel@atrey.karlin.mff.cuni.cz>
   6  * Copyright 2001-2004 Wouter Verhelst <wouter@debian.org>
   7  * Copyright 2002 Anton Altaparmakov <aia21@cam.ac.uk>
   8  *
   9  * Version 1.0 - hopefully 64-bit-clean
  10  * Version 1.1 - merging enhancements from Josh Parsons, <josh@coombs.anu.edu.au>
  11  * Version 1.2 - autodetect size of block devices, thanx to Peter T. Breuer" <ptb@it.uc3m.es>
  12  * Version 1.5 - can compile on Unix systems that don't have 64 bit integer
  13  *      type, or don't have 64 bit file offsets by defining FS_32BIT
  14  *      in compile options for nbd-server *only*. This can be done
  15  *      with make FSCHOICE=-DFS_32BIT nbd-server. (I don't have the
  16  *      original autoconf input file, or I would make it a configure
  17  *      option.) Ken Yap <ken@nlc.net.au>.
  18  * Version 1.6 - fix autodetection of block device size and really make 64 bit
  19  *      clean on 32 bit machines. Anton Altaparmakov <aia21@cam.ac.uk>
  20  * Version 2.0 - Version synchronised with client
  21  * Version 2.1 - Reap zombie client processes when they exit. Removed
  22  *      (uncommented) the _IO magic, it's no longer necessary. Wouter
  23  *      Verhelst <wouter@debian.org>
  24  * Version 2.2 - Auto switch to read-only mode (usefull for floppies).
  25  * Version 2.3 - Fixed code so that Large File Support works. This
  26  *      removes the FS_32BIT compile-time directive; define
  27  *      _FILE_OFFSET_BITS=64 and _LARGEFILE_SOURCE if you used to be
  28  *      using FS_32BIT. This will allow you to use files >2GB instead of
  29  *      having to use the -m option. Wouter Verhelst <wouter@debian.org>
  30  * Version 2.4 - Added code to keep track of children, so that we can
  31  *      properly kill them from initscripts. Add a call to daemon(),
  32  *      so that processes don't think they have to wait for us, which is
  33  *      interesting for initscripts as well. Wouter Verhelst
  34  *      <wouter@debian.org>
  35  * Version 2.5 - Bugfix release: forgot to reset child_arraysize to
  36  *      zero after fork()ing, resulting in nbd-server going berserk
  37  *      when it receives a signal with at least one child open. Wouter
  38  *      Verhelst <wouter@debian.org>
  39  * 10/10/2003 - Added socket option SO_KEEPALIVE (sf.net bug 819235);
  40  *      rectified type of mainloop::size_host (sf.net bugs 814435 and
  41  *      817385); close the PID file after writing to it, so that the
  42  *      daemon can actually be found. Wouter Verhelst
  43  *      <wouter@debian.org>
  44  * 10/10/2003 - Size of the data "size_host" was wrong and so was not
  45  *      correctly put in network endianness. Many types were corrected
  46  *      (size_t and off_t instead of int).  <vspaceg@sourceforge.net>
  47  * Version 2.6 - Some code cleanup.
  48  * Version 2.7 - Better build system.
  49  * 11/02/2004 - Doxygenified the source, modularized it a bit. Needs a
  50  *      lot more work, but this is a start. Wouter Verhelst
  51  *      <wouter@debian.org>
  52  */
  53
  54 /* Includes LFS defines, which defines behaviours of some of the following
  55  * headers, so must come before those */
  56 #include "lfs.h"
  57
  58 #include <sys/types.h>
  59 #include <sys/socket.h>
  60 #include <sys/stat.h>
  61 #include <sys/select.h>         /* select */
  62 #include <sys/wait.h>           /* wait */
  63 #ifdef HAVE_SYS_IOCTL_H
  64 #include <sys/ioctl.h>
  65 #endif
  66 #include <sys/param.h>
  67 #ifdef HAVE_SYS_MOUNT_H
  68 #include <sys/mount.h>          /* For BLKGETSIZE */
  69 #endif
  70 #include <signal.h>             /* sigaction */
  71 #include <errno.h>
  72 #include <netinet/tcp.h>
  73 #include <netinet/in.h>         /* sockaddr_in, htons, in_addr */
  74 #include <netdb.h>              /* hostent, gethostby*, getservby* */
  75 #include <syslog.h>
  76 #include <unistd.h>
  77 #include <stdio.h>
  78 #include <stdlib.h>
  79 #include <string.h>
  80 #include <fcntl.h>
  81 #include <arpa/inet.h>
  82 #include <strings.h>
  83 #include <dirent.h>
  84 #include <unistd.h>
  85 #include <getopt.h>
  86 #include <pwd.h>
  87 #include <grp.h>
  88
  89 #include <glib.h>
  90
  91 /* used in cliserv.h, so must come first */
  92 #define MY_NAME "nbd_server"
  93 #include "cliserv.h"
  94
  95 /** Default position of the config file */
  96 #ifndef SYSCONFDIR
  97 #define SYSCONFDIR "/etc"
  98 #endif
  99 #define CFILE SYSCONFDIR "/nbd-server/config"
 100
 101 /** Where our config file actually is */
 102 gchar* config_file_pos;
 103
 104 /** What user we're running as */
 105 gchar* runuser=NULL;
 106 /** What group we're running as */
 107 gchar* rungroup=NULL;
 108
 109 /** Logging macros, now nothing goes to syslog unless you say ISSERVER */
 110 #ifdef ISSERVER
 111 #define msg2(a,b) syslog(a,b)
 112 #define msg3(a,b,c) syslog(a,b,c)
 113 #define msg4(a,b,c,d) syslog(a,b,c,d)
 114 #else
 115 #define msg2(a,b) g_message(b)
 116 #define msg3(a,b,c) g_message(b,c)
 117 #define msg4(a,b,c,d) g_message(b,c,d)
 118 #endif
 119
 120 /* Debugging macros */
 121 //#define DODBG
 122 #ifdef DODBG
 123 #define DEBUG( a ) printf( a )
 124 #define DEBUG2( a,b ) printf( a,b )
 125 #define DEBUG3( a,b,c ) printf( a,b,c )
 126 #define DEBUG4( a,b,c,d ) printf( a,b,c,d )
 127 #else
 128 #define DEBUG( a )
 129 #define DEBUG2( a,b )
 130 #define DEBUG3( a,b,c )
 131 #define DEBUG4( a,b,c,d )
 132 #endif
 133 #ifndef PACKAGE_VERSION
 134 #define PACKAGE_VERSION ""
 135 #endif
 136 /**
 137  * The highest value a variable of type off_t can reach. This is a signed
 138  * integer, so set all bits except for the leftmost one.
 139  **/
 140 #define OFFT_MAX ~((off_t)1<<(sizeof(off_t)*8-1))
 141 #define LINELEN 256       /**< Size of static buffer used to read the
 142                                authorization file (yuck) */
 143 #define BUFSIZE (1024*1024) /**< Size of buffer that can hold requests */
 144 #define DIFFPAGESIZE 4096 /**< diff file uses those chunks */
 145 #define F_READONLY 1      /**< flag to tell us a file is readonly */
 146 #define F_MULTIFILE 2     /**< flag to tell us a file is exported using -m */
 147 #define F_COPYONWRITE 4   /**< flag to tell us a file is exported using
 148                             copyonwrite */
 149 #define F_AUTOREADONLY 8  /**< flag to tell us a file is set to autoreadonly */
 150 #define F_SPARSE 16       /**< flag to tell us copyronwrite should use a sparse file */
 151 #define F_SDP 32          /**< flag to tell us the export should be done using the Socket Direct Protocol for RDMA */
 152 GHashTable *children;
 153 char pidfname[256]; /**< name of our PID file */
 154 char pidftemplate[256]; /**< template to be used for the filename of the PID file */
 155 char default_authname[] = SYSCONFDIR "/nbd-server/allow"; /**< default name of allow file */
 156
 157 /**
 158  * Types of virtuatlization
 159  **/
 160 typedef enum {
 161         VIRT_NONE=0,    /**< No virtualization */
 162         VIRT_IPLIT,     /**< Literal IP address as part of the filename */
 163         VIRT_IPHASH,    /**< Replacing all dots in an ip address by a / before
 164                              doing the same as in IPLIT */
 165         VIRT_CIDR,      /**< Every subnet in its own directory */
 166 } VIRT_STYLE;
 167
 168 /**
 169  * Variables associated with a server.
 170  **/
 171 typedef struct {
 172         gchar* exportname;    /**< (unprocessed) filename of the file we're exporting */
 173         off_t expected_size; /**< size of the exported file as it was told to
 174                                us through configuration */
 175         gchar* listenaddr;   /**< The IP address we're listening on */
 176         unsigned int port;   /**< port we're exporting this file at */
 177         char* authname;      /**< filename of the authorization file */
 178         int flags;           /**< flags associated with this exported file */
 179         int socket;          /**< The socket of this server. */
 180         VIRT_STYLE virtstyle;/**< The style of virtualization, if any */
 181         uint8_t cidrlen;     /**< The length of the mask when we use
 182                                   CIDR-style virtualization */
 183         gchar* prerun;       /**< command to be ran after connecting a client,
 184                                   but before starting to serve */
 185         gchar* postrun;      /**< command that will be ran after the client
 186                                   disconnects */
 187 } SERVER;
 188
 189 /**
 190  * Variables associated with a client socket.
 191  **/
 192 typedef struct {
 193         int fhandle;      /**< file descriptor */
 194         off_t startoff;   /**< starting offset of this file */
 195 } FILE_INFO;
 196
 197 typedef struct {
 198         off_t exportsize;    /**< size of the file we're exporting */
 199         char *clientname;    /**< peer */
 200         char *exportname;    /**< (processed) filename of the file we're exporting */
 201         GArray *export;    /**< array of FILE_INFO of exported files;
 202                                array size is always 1 unless we're
 203                                doing the multiple file option */
 204         int net;             /**< The actual client socket */
 205         SERVER *server;      /**< The server this client is getting data from */
 206         char* difffilename;  /**< filename of the copy-on-write file, if any */
 207         int difffile;        /**< filedescriptor of copyonwrite file. @todo
 208                                shouldn't this be an array too? (cfr export) Or
 209                                make -m and -c mutually exclusive */
 210         u32 difffilelen;     /**< number of pages in difffile */
 211         u32 *difmap;         /**< see comment on the global difmap for this one */
 212 } CLIENT;
 213
 214 /**
 215  * Type of configuration file values
 216  **/
 217 typedef enum {
 218         PARAM_INT,              /**< This parameter is an integer */
 219         PARAM_STRING,           /**< This parameter is a string */
 220         PARAM_BOOL,             /**< This parameter is a boolean */
 221 } PARAM_TYPE;
 222
 223 /**
 224  * Configuration file values
 225  **/
 226 typedef struct {
 227         gchar *paramname;       /**< Name of the parameter, as it appears in
 228                                   the config file */
 229         gboolean required;      /**< Whether this is a required (as opposed to
 230                                   optional) parameter */
 231         PARAM_TYPE ptype;       /**< Type of the parameter. */
 232         gpointer target;        /**< Pointer to where the data of this
 233                                   parameter should be written. If ptype is
 234                                   PARAM_BOOL, the data is or'ed rather than
 235                                   overwritten. */
 236         gint flagval;           /**< Flag mask for this parameter in case ptype
 237                                   is PARAM_BOOL. */
 238 } PARAM;
 239
 240 /**
 241  * Check whether a client is allowed to connect. Works with an authorization
 242  * file which contains one line per machine, no wildcards.
 243  *
 244  * @param opts The client who's trying to connect.
 245  * @return 0 - authorization refused, 1 - OK
 246  **/
 247 int authorized_client(CLIENT *opts) {
 248         const char *ERRMSG="Invalid entry '%s' in authfile '%s', so, refusing all connections.";
 249         FILE *f ;
 250         char line[LINELEN];
 251         char *tmp;
 252         struct in_addr addr;
 253         struct in_addr client;
 254         struct in_addr cltemp;
 255         int len;
 256
 257         if ((f=fopen(opts->server->authname,"r"))==NULL) {
 258                 msg4(LOG_INFO,"Can't open authorization file %s (%s).",
 259                      opts->server->authname,strerror(errno)) ;
 260                 return 1 ;
 261         }
 262
 263         inet_aton(opts->clientname, &client);
 264         while (fgets(line,LINELEN,f)!=NULL) {
 265                 if((tmp=index(line, '/'))) {
 266                         if(strlen(line)<=tmp-line) {
 267                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 268                                 return 0;
 269                         }
 270                         *(tmp++)=0;
 271                         if(inet_aton(line,&addr)) {
 272                                 msg4(LOG_CRIT, ERRMSG, line, opts->server->authname);
 273                                 return 0;
 274                         }
 275                         len=strtol(tmp, NULL, 0);
 276                         addr.s_addr>>=32-len;
 277                         addr.s_addr<<=32-len;
 278                         memcpy(&cltemp,&client,sizeof(client));
 279                         cltemp.s_addr>>=32-len;
 280                         cltemp.s_addr<<=32-len;
 281                         if(addr.s_addr == cltemp.s_addr) {
 282                                 return 1;
 283                         }
 284                 }
 285                 if (strncmp(line,opts->clientname,strlen(opts->clientname))==0) {
 286                         fclose(f);
 287                         return 1;
 288                 }
 289         }
 290         fclose(f);
 291         return 0;
 292 }
 293
 294 /**
 295  * Read data from a file descriptor into a buffer
 296  *
 297  * @param f a file descriptor
 298  * @param buf a buffer
 299  * @param len the number of bytes to be read
 300  **/
 301 inline void readit(int f, void *buf, size_t len) {
 302         ssize_t res;
 303         while (len > 0) {
 304                 DEBUG("*");
 305                 if ((res = read(f, buf, len)) <= 0)
 306                         err("Read failed: %m");
 307                 len -= res;
 308                 buf += res;
 309         }
 310 }
 311
 312 /**
 313  * Write data from a buffer into a filedescriptor
 314  *
 315  * @param f a file descriptor
 316  * @param buf a buffer containing data
 317  * @param len the number of bytes to be written
 318  **/
 319 inline void writeit(int f, void *buf, size_t len) {
 320         ssize_t res;
 321         while (len > 0) {
 322                 DEBUG("+");
 323                 if ((res = write(f, buf, len)) <= 0)
 324                         err("Send failed: %m");
 325                 len -= res;
 326                 buf += res;
 327         }
 328 }
 329
 330 /**
 331  * Print out a message about how to use nbd-server. Split out to a separate
 332  * function so that we can call it from multiple places
 333  */
 334 void usage() {
 335         printf("This is nbd-server version " VERSION "\n");
 336         printf("Usage: [ip:]port file_to_export [size][kKmM] [-l authorize_file] [-r] [-m] [-c] [-C configuration file] [-p PID file name] [-o section name]\n"
 337                "\t-r|--read-only\t\tread only\n"
 338                "\t-m|--multi-file\t\tmultiple file\n"
 339                "\t-c|--copy-on-write\tcopy on write\n"
 340                "\t-C|--config-file\tspecify an alternate configuration file\n"
 341                "\t-l|--authorize-file\tfile with list of hosts that are allowed to\n\t\t\t\tconnect.\n"
 342                "\t-a|--idle-time\t\tmaximum idle seconds; server terminates when\n\t\t\t\tidle time exceeded\n"
 343                "\t-p|--pid-file\t\tspecify a filename to write our PID to\n"
 344                "\t-o|--output-config\toutput a config file section for what you\n\t\t\t\tspecified on the command line, with the\n\t\t\t\tspecified section name\n\n"
 345                "\tif port is set to 0, stdin is used (for running from inetd)\n"
 346                "\tif file_to_export contains '%%s', it is substituted with the IP\n"
 347                "\t\taddress of the machine trying to connect\n"
 348                "\tif ip is set, it contains the local IP address on which we're listening.\n\tif not, the server will listen on all local IP addresses\n");
 349         printf("Using configuration file %s\n", CFILE);
 350 }
 351
 352 /* Dumps a config file section of the given SERVER*, and exits. */
 353 void dump_section(SERVER* serve, gchar* section_header) {
 354         printf("[%s]\n", section_header);
 355         printf("\texportname = %s\n", serve->exportname);
 356         printf("\tlistenaddr = %s\n", serve->listenaddr);
 357         printf("\tport = %d\n", serve->port);
 358         if(serve->flags & F_READONLY) {
 359                 printf("\treadonly = true\n");
 360         }
 361         if(serve->flags & F_MULTIFILE) {
 362                 printf("\tmultifile = true\n");
 363         }
 364         if(serve->flags & F_COPYONWRITE) {
 365                 printf("\tcopyonwrite = true\n");
 366         }
 367         if(serve->expected_size) {
 368                 printf("\tfilesize = %lld\n", (long long int)serve->expected_size);
 369         }
 370         if(serve->authname) {
 371                 printf("\tauthfile = %s\n", serve->authname);
 372         }
 373         exit(EXIT_SUCCESS);
 374 }
 375
 376 /**
 377  * Parse the command line.
 378  *
 379  * @param argc the argc argument to main()
 380  * @param argv the argv argument to main()
 381  **/
 382 SERVER* cmdline(int argc, char *argv[]) {
 383         int i=0;
 384         int nonspecial=0;
 385         int c;
 386         struct option long_options[] = {
 387                 {"read-only", no_argument, NULL, 'r'},
 388                 {"multi-file", no_argument, NULL, 'm'},
 389                 {"copy-on-write", no_argument, NULL, 'c'},
 390                 {"authorize-file", required_argument, NULL, 'l'},
 391                 {"idle-time", required_argument, NULL, 'a'},
 392                 {"config-file", required_argument, NULL, 'C'},
 393                 {"pid-file", required_argument, NULL, 'p'},
 394                 {"output-config", required_argument, NULL, 'o'},
 395                 {0,0,0,0}
 396         };
 397         SERVER *serve;
 398         off_t es;
 399         size_t last;
 400         char suffix;
 401         gboolean do_output=FALSE;
 402         gchar* section_header="";
 403         gchar** addr_port;
 404
 405         if(argc==1) {
 406                 return NULL;
 407         }
 408         serve=g_new0(SERVER, 1);
 409         serve->authname = g_strdup(default_authname);
 410         serve->virtstyle=VIRT_IPLIT;
 411         while((c=getopt_long(argc, argv, "-a:C:cl:mo:rp:", long_options, &i))>=0) {
 412                 switch (c) {
 413                 case 1:
 414                         /* non-option argument */
 415                         switch(nonspecial++) {
 416                         case 0:
 417                                 addr_port=g_strsplit(optarg, ":", 2);
 418                                 if(addr_port[1]) {
 419                                         serve->port=strtol(addr_port[1], NULL, 0);
 420                                         serve->listenaddr=g_strdup(addr_port[0]);
 421                                 } else {
 422                                         serve->listenaddr=g_strdup("0.0.0.0");
 423                                         serve->port=strtol(addr_port[0], NULL, 0);
 424                                 }
 425                                 g_strfreev(addr_port);
 426                                 break;
 427                         case 1:
 428                                 serve->exportname = g_strdup(optarg);
 429                                 if(serve->exportname[0] != '/') {
 430                                         fprintf(stderr, "E: The to be exported file needs to be an absolute filename!\n");
 431                                         exit(EXIT_FAILURE);
 432                                 }
 433                                 break;
 434                         case 2:
 435                                 last=strlen(optarg)-1;
 436                                 suffix=optarg[last];
 437                                 if (suffix == 'k' || suffix == 'K' ||
 438                                     suffix == 'm' || suffix == 'M')
 439                                         optarg[last] = '\0';
 440                                 es = (off_t)atoll(optarg);
 441                                 switch (suffix) {
 442                                         case 'm':
 443                                         case 'M':  es <<= 10;
 444                                         case 'k':
 445                                         case 'K':  es <<= 10;
 446                                         default :  break;
 447                                 }
 448                                 serve->expected_size = es;
 449                                 break;
 450                         }
 451                         break;
 452                 case 'r':
 453                         serve->flags |= F_READONLY;
 454                         break;
 455                 case 'm':
 456                         serve->flags |= F_MULTIFILE;
 457                         break;
 458                 case 'o':
 459                         do_output = TRUE;
 460                         section_header = g_strdup(optarg);
 461                         break;
 462                 case 'p':
 463                         strncpy(pidftemplate, optarg, 256);
 464                         break;
 465                 case 'c':
 466                         serve->flags |=F_COPYONWRITE;
 467                         break;
 468                 case 'C':
 469                         g_free(config_file_pos);
 470                         config_file_pos=g_strdup(optarg);
 471                         break;
 472                 case 'l':
 473                         g_free(serve->authname);
 474                         serve->authname=g_strdup(optarg);
 475                         break;
 476                 default:
 477                         usage();
 478                         exit(EXIT_FAILURE);
 479                         break;
 480                 }
 481         }
 482         /* What's left: the port to export, the name of the to be exported
 483          * file, and, optionally, the size of the file, in that order. */
 484         if(nonspecial<2) {
 485                 g_free(serve);
 486                 serve=NULL;
 487         }
 488         if(do_output) {
 489                 if(!serve) {
 490                         g_critical("Need a complete configuration on the command line to output a config file section!");
 491                         exit(EXIT_FAILURE);
 492                 }
 493                 dump_section(serve, section_header);
 494         }
 495         return serve;
 496 }
 497
 498 /**
 499  * Error codes for config file parsing
 500  **/
 501 typedef enum {
 502         CFILE_NOTFOUND,         /**< The configuration file is not found */
 503         CFILE_MISSING_GENERIC,  /**< The (required) group "generic" is missing */
 504         CFILE_KEY_MISSING,      /**< A (required) key is missing */
 505         CFILE_VALUE_INVALID,    /**< A value is syntactically invalid */
 506         CFILE_VALUE_UNSUPPORTED,/**< A value is not supported in this build */
 507         CFILE_PROGERR,          /**< Programmer error */
 508         CFILE_NO_EXPORTS        /**< A config file was specified that does not
 509                                      define any exports */
 510 } CFILE_ERRORS;
 511
 512 /**
 513  * Remove a SERVER from memory. Used from the hash table
 514  **/
 515 void remove_server(gpointer s) {
 516         SERVER *server;
 517
 518         server=(SERVER*)s;
 519         g_free(server->exportname);
 520         if(server->authname)
 521                 g_free(server->authname);
 522         g_free(server);
 523 }
 524
 525 /**
 526  * Parse the config file.
 527  *
 528  * @param f the name of the config file
 529  * @param e a GError. @see CFILE_ERRORS for what error values this function can
 530  *      return.
 531  * @return a Array of SERVER* pointers, If the config file is empty or does not
 532  *      exist, returns an empty GHashTable; if the config file contains an
 533  *      error, returns NULL, and e is set appropriately
 534  **/
 535 GArray* parse_cfile(gchar* f, GError** e) {
 536         const char* DEFAULT_ERROR = "Could not parse %s in group %s: %s";
 537         const char* MISSING_REQUIRED_ERROR = "Could not find required value %s in group %s: %s";
 538         SERVER s;
 539         gchar *virtstyle=NULL;
 540         PARAM lp[] = {
 541                 { "exportname", TRUE,   PARAM_STRING,   NULL, 0 },
 542                 { "port",       TRUE,   PARAM_INT,      NULL, 0 },
 543                 { "authfile",   FALSE,  PARAM_STRING,   NULL, 0 },
 544                 { "filesize",   FALSE,  PARAM_INT,      NULL, 0 },
 545                 { "virtstyle",  FALSE,  PARAM_STRING,   NULL, 0 },
 546                 { "prerun",     FALSE,  PARAM_STRING,   NULL, 0 },
 547                 { "postrun",    FALSE,  PARAM_STRING,   NULL, 0 },
 548                 { "readonly",   FALSE,  PARAM_BOOL,     NULL, F_READONLY },
 549                 { "multifile",  FALSE,  PARAM_BOOL,     NULL, F_MULTIFILE },
 550                 { "copyonwrite", FALSE, PARAM_BOOL,     NULL, F_COPYONWRITE },
 551                 { "sparse_cow", FALSE,  PARAM_BOOL,     NULL, F_SPARSE },
 552                 { "sdp",        FALSE,  PARAM_BOOL,     NULL, F_SDP },
 553                 { "listenaddr", FALSE,  PARAM_STRING,   NULL, 0 },
 554         };
 555         const int lp_size=sizeof(lp)/sizeof(PARAM);
 556         PARAM gp[] = {
 557                 { "user",       FALSE, PARAM_STRING,    &runuser,       0 },
 558                 { "group",      FALSE, PARAM_STRING,    &rungroup,      0 },
 559         };
 560         PARAM* p=gp;
 561         int p_size=sizeof(gp)/sizeof(PARAM);
 562         GKeyFile *cfile;
 563         GError *err = NULL;
 564         const char *err_msg=NULL;
 565         GQuark errdomain;
 566         GArray *retval=NULL;
 567         gchar **groups;
 568         gboolean value;
 569         gchar* startgroup;
 570         gint i;
 571         gint j;
 572
 573         errdomain = g_quark_from_string("parse_cfile");
 574         cfile = g_key_file_new();
 575         retval = g_array_new(FALSE, TRUE, sizeof(SERVER));
 576         if(!g_key_file_load_from_file(cfile, f, G_KEY_FILE_KEEP_COMMENTS |
 577                         G_KEY_FILE_KEEP_TRANSLATIONS, &err)) {
 578                 g_set_error(e, errdomain, CFILE_NOTFOUND, "Could not open config file.");
 579                 g_key_file_free(cfile);
 580                 return retval;
 581         }
 582         startgroup = g_key_file_get_start_group(cfile);
 583         if(!startgroup || strcmp(startgroup, "generic")) {
 584                 g_set_error(e, errdomain, CFILE_MISSING_GENERIC, "Config file does not contain the [generic] group!");
 585                 g_key_file_free(cfile);
 586                 return NULL;
 587         }
 588         groups = g_key_file_get_groups(cfile, NULL);
 589         for(i=0;groups[i];i++) {
 590                 memset(&s, '\0', sizeof(SERVER));
 591                 lp[0].target=&(s.exportname);
 592                 lp[1].target=&(s.port);
 593                 lp[2].target=&(s.authname);
 594                 lp[3].target=&(s.expected_size);
 595                 lp[4].target=&(virtstyle);
 596                 lp[5].target=&(s.prerun);
 597                 lp[6].target=&(s.postrun);
 598                 lp[7].target=lp[8].target=lp[9].target=
 599                                 lp[10].target=lp[11].target=&(s.flags);
 600                 lp[12].target=&(s.listenaddr);
 601
 602                 /* After the [generic] group, start parsing exports */
 603                 if(i==1) {
 604                         p=lp;
 605                         p_size=lp_size;
 606                 }
 607                 for(j=0;j<p_size;j++) {
 608                         g_assert(p[j].target != NULL);
 609                         g_assert(p[j].ptype==PARAM_INT||p[j].ptype==PARAM_STRING||p[j].ptype==PARAM_BOOL);
 610                         switch(p[j].ptype) {
 611                                 case PARAM_INT:
 612                                         *((gint*)p[j].target) =
 613                                                 g_key_file_get_integer(cfile,
 614                                                                 groups[i],
 615                                                                 p[j].paramname,
 616                                                                 &err);
 617                                         break;
 618                                 case PARAM_STRING:
 619                                         *((gchar**)p[j].target) =
 620                                                 g_key_file_get_string(cfile,
 621                                                                 groups[i],
 622                                                                 p[j].paramname,
 623                                                                 &err);
 624                                         break;
 625                                 case PARAM_BOOL:
 626                                         value = g_key_file_get_boolean(cfile,
 627                                                         groups[i],
 628                                                         p[j].paramname, &err);
 629                                         if(!err) {
 630                                                 if(value) {
 631                                                         *((gint*)p[j].target) |= p[j].flagval;
 632                                                 } else {
 633                                                         *((gint*)p[j].target) &= ~(p[j].flagval);
 634                                                 }
 635                                         }
 636                                         break;
 637                         }
 638                         if(err) {
 639                                 if(err->code == G_KEY_FILE_ERROR_KEY_NOT_FOUND) {
 640                                         if(!p[j].required) {
 641                                                 /* Ignore not-found error for optional values */
 642                                                 g_clear_error(&err);
 643                                                 continue;
 644                                         } else {
 645                                                 err_msg = MISSING_REQUIRED_ERROR;
 646                                         }
 647                                 } else {
 648                                         err_msg = DEFAULT_ERROR;
 649                                 }
 650                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, err_msg, p[j].paramname, groups[i], err->message);
 651                                 g_array_free(retval, TRUE);
 652                                 g_error_free(err);
 653                                 g_key_file_free(cfile);
 654                                 return NULL;
 655                         }
 656                 }
 657                 if(virtstyle) {
 658                         if(!strncmp(virtstyle, "none", 4)) {
 659                                 s.virtstyle=VIRT_NONE;
 660                         } else if(!strncmp(virtstyle, "ipliteral", 9)) {
 661                                 s.virtstyle=VIRT_IPLIT;
 662                         } else if(!strncmp(virtstyle, "iphash", 6)) {
 663                                 s.virtstyle=VIRT_IPHASH;
 664                         } else if(!strncmp(virtstyle, "cidrhash", 8)) {
 665                                 s.virtstyle=VIRT_CIDR;
 666                                 if(strlen(virtstyle)<10) {
 667                                         g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s: missing length", virtstyle, groups[i]);
 668                                         g_array_free(retval, TRUE);
 669                                         g_key_file_free(cfile);
 670                                         return NULL;
 671                                 }
 672                                 s.cidrlen=strtol(virtstyle+8, NULL, 0);
 673                         } else {
 674                                 g_set_error(e, errdomain, CFILE_VALUE_INVALID, "Invalid value %s for parameter virtstyle in group %s", virtstyle, groups[i]);
 675                                 g_array_free(retval, TRUE);
 676                                 g_key_file_free(cfile);
 677                                 return NULL;
 678                         }
 679                 } else {
 680                         s.virtstyle=VIRT_IPLIT;
 681                 }
 682                 /* Don't need to free this, it's not our string */
 683                 virtstyle=NULL;
 684                 /* Don't append values for the [generic] group */
 685                 if(i>0) {
 686                         if(!s.listenaddr) {
 687                                 s.listenaddr = g_strdup("0.0.0.0");
 688                         }
 689                         g_array_append_val(retval, s);
 690                 }
 691 #ifndef WITH_SDP
 692                 if(s.flags & F_SDP) {
 693                         g_set_error(e, errdomain, CFILE_VALUE_UNSUPPORTED, "This nbd-server was built without support for SDP, yet group %s uses it", groups[i]);
 694                         g_array_free(retval, TRUE);
 695                         g_key_file_free(cfile);
 696                         return NULL;
 697                 }
 698 #endif
 699         }
 700         if(i==1) {
 701                 g_set_error(e, errdomain, CFILE_NO_EXPORTS, "The config file does not specify any exports");
 702         }
 703         g_key_file_free(cfile);
 704         return retval;
 705 }
 706
 707 /**
 708  * Signal handler for SIGCHLD
 709  * @param s the signal we're handling (must be SIGCHLD, or something
 710  * is severely wrong)
 711  **/
 712 void sigchld_handler(int s) {
 713         int status;
 714         int* i;
 715         pid_t pid;
 716
 717         while((pid=waitpid(-1, &status, WNOHANG)) > 0) {
 718                 if(WIFEXITED(status)) {
 719                         msg3(LOG_INFO, "Child exited with %d", WEXITSTATUS(status));
 720                 }
 721                 i=g_hash_table_lookup(children, &pid);
 722                 if(!i) {
 723                         msg3(LOG_INFO, "SIGCHLD received for an unknown child with PID %ld", (long)pid);
 724                 } else {
 725                         DEBUG2("Removing %d from the list of children", pid);
 726                         g_hash_table_remove(children, &pid);
 727                 }
 728         }
 729 }
 730
 731 /**
 732  * Kill a child. Called from sigterm_handler::g_hash_table_foreach.
 733  *
 734  * @param key the key
 735  * @param value the value corresponding to the above key
 736  * @param user_data a pointer which we always set to 1, so that we know what
 737  * will happen next.
 738  **/
 739 void killchild(gpointer key, gpointer value, gpointer user_data) {
 740         pid_t *pid=value;
 741         int *parent=user_data;
 742
 743         kill(*pid, SIGTERM);
 744         *parent=1;
 745 }
 746
 747 /**
 748  * Handle SIGTERM and dispatch it to our children
 749  * @param s the signal we're handling (must be SIGTERM, or something
 750  * is severely wrong).
 751  **/
 752 void sigterm_handler(int s) {
 753         int parent=0;
 754
 755         g_hash_table_foreach(children, killchild, &parent);
 756
 757         if(parent) {
 758                 unlink(pidfname);
 759         }
 760
 761         exit(EXIT_SUCCESS);
 762 }
 763
 764 /**
 765  * Detect the size of a file.
 766  *
 767  * @param fhandle An open filedescriptor
 768  * @return the size of the file, or OFFT_MAX if detection was
 769  * impossible.
 770  **/
 771 off_t size_autodetect(int fhandle) {
 772         off_t es;
 773         unsigned long sectors;
 774         struct stat stat_buf;
 775         int error;
 776
 777 #ifdef HAVE_SYS_MOUNT_H
 778 #ifdef HAVE_SYS_IOCTL_H
 779 #ifdef BLKGETSIZE
 780         DEBUG("looking for export size with ioctl BLKGETSIZE\n");
 781         if (!ioctl(fhandle, BLKGETSIZE, &sectors) && sectors) {
 782                 es = (off_t)sectors * (off_t)512;
 783                 return es;
 784         }
 785 #endif /* BLKGETSIZE */
 786 #endif /* HAVE_SYS_IOCTL_H */
 787 #endif /* HAVE_SYS_MOUNT_H */
 788
 789         DEBUG("looking for fhandle size with fstat\n");
 790         stat_buf.st_size = 0;
 791         error = fstat(fhandle, &stat_buf);
 792         if (!error) {
 793                 if(stat_buf.st_size > 0)
 794                         return (off_t)stat_buf.st_size;
 795         } else {
 796                 err("fstat failed: %m");
 797         }
 798
 799         DEBUG("looking for fhandle size with lseek SEEK_END\n");
 800         es = lseek(fhandle, (off_t)0, SEEK_END);
 801         if (es > ((off_t)0)) {
 802                 return es;
 803         } else {
 804                 DEBUG2("lseek failed: %d", errno==EBADF?1:(errno==ESPIPE?2:(errno==EINVAL?3:4)));
 805         }
 806
 807         err("Could not find size of exported block device: %m");
 808         return OFFT_MAX;
 809 }
 810
 811 /**
 812  * Get the file handle and offset, given an export offset.
 813  *
 814  * @param export An array of export files
 815  * @param a The offset to get corresponding file/offset for
 816  * @param fhandle [out] File descriptor
 817  * @param foffset [out] Offset into fhandle
 818  * @param maxbytes [out] Tells how many bytes can be read/written
 819  * from fhandle starting at foffset (0 if there is no limit)
 820  * @return 0 on success, -1 on failure
 821  **/
 822 int get_filepos(GArray* export, off_t a, int* fhandle, off_t* foffset, size_t* maxbytes ) {
 823         /* Negative offset not allowed */
 824         if(a < 0)
 825                 return -1;
 826
 827         /* Binary search for last file with starting offset <= a */
 828         FILE_INFO fi;
 829         int start = 0;
 830         int end = export->len - 1;
 831         while( start <= end ) {
 832                 int mid = (start + end) / 2;
 833                 fi = g_array_index(export, FILE_INFO, mid);
 834                 if( fi.startoff < a ) {
 835                         start = mid + 1;
 836                 } else if( fi.startoff > a ) {
 837                         end = mid - 1;
 838                 } else {
 839                         start = end = mid;
 840                         break;
 841                 }
 842         }
 843
 844         /* end should never go negative, since first startoff is 0 and a >= 0 */
 845         g_assert(end >= 0);
 846
 847         fi = g_array_index(export, FILE_INFO, end);
 848         *fhandle = fi.fhandle;
 849         *foffset = a - fi.startoff;
 850         *maxbytes = 0;
 851         if( end+1 < export->len ) {
 852                 FILE_INFO fi_next = g_array_index(export, FILE_INFO, end+1);
 853                 *maxbytes = fi_next.startoff - a;
 854         }
 855
 856         return 0;
 857 }
 858
 859 /**
 860  * seek to a position in a file, with error handling.
 861  * @param handle a filedescriptor
 862  * @param a position to seek to
 863  * @todo get rid of this; lastpoint is a global variable right now, but it
 864  * shouldn't be. If we pass it on as a parameter, that makes things a *lot*
 865  * easier.
 866  **/
 867 void myseek(int handle,off_t a) {
 868         if (lseek(handle, a, SEEK_SET) < 0) {
 869                 err("Can not seek locally!\n");
 870         }
 871 }
 872
 873 /**
 874  * Write an amount of bytes at a given offset to the right file. This
 875  * abstracts the write-side of the multiple file option.
 876  *
 877  * @param a The offset where the write should start
 878  * @param buf The buffer to write from
 879  * @param len The length of buf
 880  * @param client The client we're serving for
 881  * @return The number of bytes actually written, or -1 in case of an error
 882  **/
 883 ssize_t rawexpwrite(off_t a, char *buf, size_t len, CLIENT *client) {
 884         int fhandle;
 885         off_t foffset;
 886         size_t maxbytes;
 887
 888         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 889                 return -1;
 890         if(maxbytes && len > maxbytes)
 891                 len = maxbytes;
 892
 893         DEBUG4("(WRITE to fd %d offset %llu len %u), ", fhandle, foffset, len);
 894
 895         myseek(fhandle, foffset);
 896         return write(fhandle, buf, len);
 897 }
 898
 899 /**
 900  * Call rawexpwrite repeatedly until all data has been written.
 901  * @return 0 on success, nonzero on failure
 902  **/
 903 int rawexpwrite_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 904         ssize_t ret=0;
 905
 906         while(len > 0 && (ret=rawexpwrite(a, buf, len, client)) > 0 ) {
 907                 a += ret;
 908                 buf += ret;
 909                 len -= ret;
 910         }
 911         return (ret < 0 || len != 0);
 912 }
 913
 914 /**
 915  * Read an amount of bytes at a given offset from the right file. This
 916  * abstracts the read-side of the multiple files option.
 917  *
 918  * @param a The offset where the read should start
 919  * @param buf A buffer to read into
 920  * @param len The size of buf
 921  * @param client The client we're serving for
 922  * @return The number of bytes actually read, or -1 in case of an
 923  * error.
 924  **/
 925 ssize_t rawexpread(off_t a, char *buf, size_t len, CLIENT *client) {
 926         int fhandle;
 927         off_t foffset;
 928         size_t maxbytes;
 929
 930         if(get_filepos(client->export, a, &fhandle, &foffset, &maxbytes))
 931                 return -1;
 932         if(maxbytes && len > maxbytes)
 933                 len = maxbytes;
 934
 935         DEBUG4("(READ from fd %d offset %llu len %u), ", fhandle, foffset, len);
 936
 937         myseek(fhandle, foffset);
 938         return read(fhandle, buf, len);
 939 }
 940
 941 /**
 942  * Call rawexpread repeatedly until all data has been read.
 943  * @return 0 on success, nonzero on failure
 944  **/
 945 int rawexpread_fully(off_t a, char *buf, size_t len, CLIENT *client) {
 946         ssize_t ret=0;
 947
 948         while(len > 0 && (ret=rawexpread(a, buf, len, client)) > 0 ) {
 949                 a += ret;
 950                 buf += ret;
 951                 len -= ret;
 952         }
 953         return (ret < 0 || len != 0);
 954 }
 955
 956 /**
 957  * Read an amount of bytes at a given offset from the right file. This
 958  * abstracts the read-side of the copyonwrite stuff, and calls
 959  * rawexpread() with the right parameters to do the actual work.
 960  * @param a The offset where the read should start
 961  * @param buf A buffer to read into
 962  * @param len The size of buf
 963  * @param client The client we're going to read for
 964  * @return 0 on success, nonzero on failure
 965  **/
 966 int expread(off_t a, char *buf, size_t len, CLIENT *client) {
 967         off_t rdlen, offset;
 968         off_t mapcnt, mapl, maph, pagestart;
 969
 970         if (!(client->server->flags & F_COPYONWRITE))
 971                 return(rawexpread_fully(a, buf, len, client));
 972         DEBUG3("Asked to read %d bytes at %llu.\n", len, (unsigned long long)a);
 973
 974         mapl=a/DIFFPAGESIZE; maph=(a+len-1)/DIFFPAGESIZE;
 975
 976         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
 977                 pagestart=mapcnt*DIFFPAGESIZE;
 978                 offset=a-pagestart;
 979                 rdlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
 980                         len : (size_t)DIFFPAGESIZE-offset;
 981                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
 982                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
 983                                (unsigned long)(client->difmap[mapcnt]));
 984                         myseek(client->difffile, client->difmap[mapcnt]*DIFFPAGESIZE+offset);
 985                         if (read(client->difffile, buf, rdlen) != rdlen) return -1;
 986                 } else { /* the block is not there */
 987                         DEBUG2("Page %llu is not here, we read the original one\n",
 988                                (unsigned long long)mapcnt);
 989                         if(rawexpread_fully(a, buf, rdlen, client)) return -1;
 990                 }
 991                 len-=rdlen; a+=rdlen; buf+=rdlen;
 992         }
 993         return 0;
 994 }
 995
 996 /**
 997  * Write an amount of bytes at a given offset to the right file. This
 998  * abstracts the write-side of the copyonwrite option, and calls
 999  * rawexpwrite() with the right parameters to do the actual work.
1000  *
1001  * @param a The offset where the write should start
1002  * @param buf The buffer to write from
1003  * @param len The length of buf
1004  * @param client The client we're going to write for.
1005  * @return 0 on success, nonzero on failure
1006  **/
1007 int expwrite(off_t a, char *buf, size_t len, CLIENT *client) {
1008         char pagebuf[DIFFPAGESIZE];
1009         off_t mapcnt,mapl,maph;
1010         off_t wrlen,rdlen;
1011         off_t pagestart;
1012         off_t offset;
1013
1014         if (!(client->server->flags & F_COPYONWRITE))
1015                 return(rawexpwrite_fully(a, buf, len, client));
1016         DEBUG3("Asked to write %d bytes at %llu.\n", len, (unsigned long long)a);
1017
1018         mapl=a/DIFFPAGESIZE ; maph=(a+len-1)/DIFFPAGESIZE ;
1019
1020         for (mapcnt=mapl;mapcnt<=maph;mapcnt++) {
1021                 pagestart=mapcnt*DIFFPAGESIZE ;
1022                 offset=a-pagestart ;
1023                 wrlen=(0<DIFFPAGESIZE-offset && len<(size_t)(DIFFPAGESIZE-offset)) ?
1024                         len : (size_t)DIFFPAGESIZE-offset;
1025
1026                 if (client->difmap[mapcnt]!=(u32)(-1)) { /* the block is already there */
1027                         DEBUG3("Page %llu is at %lu\n", (unsigned long long)mapcnt,
1028                                (unsigned long)(client->difmap[mapcnt])) ;
1029                         myseek(client->difffile,
1030                                         client->difmap[mapcnt]*DIFFPAGESIZE+offset);
1031                         if (write(client->difffile, buf, wrlen) != wrlen) return -1 ;
1032                 } else { /* the block is not there */
1033                         myseek(client->difffile,client->difffilelen*DIFFPAGESIZE) ;
1034                         client->difmap[mapcnt]=(client->server->flags&F_SPARSE)?mapcnt:client->difffilelen++;
1035                         DEBUG3("Page %llu is not here, we put it at %lu\n",
1036                                (unsigned long long)mapcnt,
1037                                (unsigned long)(client->difmap[mapcnt]));
1038                         rdlen=DIFFPAGESIZE ;
1039                         if (rawexpread_fully(pagestart, pagebuf, rdlen, client))
1040                                 return -1;
1041                         memcpy(pagebuf+offset,buf,wrlen) ;
1042                         if (write(client->difffile, pagebuf, DIFFPAGESIZE) !=
1043                                         DIFFPAGESIZE)
1044                                 return -1;
1045                 }
1046                 len-=wrlen ; a+=wrlen ; buf+=wrlen ;
1047         }
1048         return 0;
1049 }
1050
1051 /**
1052  * Do the initial negotiation.
1053  *
1054  * @param client The client we're negotiating with.
1055  **/
1056 void negotiate(CLIENT *client) {
1057         char zeros[128];
1058         u64 size_host;
1059         u32 flags = NBD_FLAG_HAS_FLAGS;
1060
1061         memset(zeros, '\0', sizeof(zeros));
1062         if (write(client->net, INIT_PASSWD, 8) < 0)
1063                 err("Negotiation failed: %m");
1064         cliserv_magic = htonll(cliserv_magic);
1065         if (write(client->net, &cliserv_magic, sizeof(cliserv_magic)) < 0)
1066                 err("Negotiation failed: %m");
1067         size_host = htonll((u64)(client->exportsize));
1068         if (write(client->net, &size_host, 8) < 0)
1069                 err("Negotiation failed: %m");
1070         if (client->server->flags & F_READONLY)
1071                 flags |= NBD_FLAG_READ_ONLY;
1072         flags = htonl(flags);
1073         if (write(client->net, &flags, 4) < 0)
1074                 err("Negotiation failed: %m");
1075         if (write(client->net, zeros, 124) < 0)
1076                 err("Negotiation failed: %m");
1077 }
1078
1079 /** sending macro. */
1080 #define SEND(net,reply) writeit( net, &reply, sizeof( reply ));
1081 /** error macro. */
1082 #define ERROR(client,reply,errcode) { reply.error = htonl(errcode); SEND(client->net,reply); reply.error = 0; }
1083 /**
1084  * Serve a file to a single client.
1085  *
1086  * @todo This beast needs to be split up in many tiny little manageable
1087  * pieces. Preferably with a chainsaw.
1088  *
1089  * @param client The client we're going to serve to.
1090  * @return when the client disconnects
1091  **/
1092 int mainloop(CLIENT *client) {
1093         struct nbd_request request;
1094         struct nbd_reply reply;
1095         gboolean go_on=TRUE;
1096 #ifdef DODBG
1097         int i = 0;
1098 #endif
1099         negotiate(client);
1100         DEBUG("Entering request loop!\n");
1101         reply.magic = htonl(NBD_REPLY_MAGIC);
1102         reply.error = 0;
1103         while (go_on) {
1104                 char buf[BUFSIZE];
1105                 size_t len;
1106 #ifdef DODBG
1107                 i++;
1108                 printf("%d: ", i);
1109 #endif
1110                 readit(client->net, &request, sizeof(request));
1111                 request.from = ntohll(request.from);
1112                 request.type = ntohl(request.type);
1113
1114                 if (request.type==NBD_CMD_DISC) {
1115                         msg2(LOG_INFO, "Disconnect request received.");
1116                         if (client->server->flags & F_COPYONWRITE) {
1117                                 if (client->difmap) g_free(client->difmap) ;
1118                                 close(client->difffile);
1119                                 unlink(client->difffilename);
1120                                 free(client->difffilename);
1121                         }
1122                         go_on=FALSE;
1123                         continue;
1124                 }
1125
1126                 len = ntohl(request.len);
1127
1128                 if (request.magic != htonl(NBD_REQUEST_MAGIC))
1129                         err("Not enough magic.");
1130                 if (len > BUFSIZE + sizeof(struct nbd_reply))
1131                         err("Request too big!");
1132 #ifdef DODBG
1133                 printf("%s from %llu (%llu) len %d, ", request.type ? "WRITE" :
1134                                 "READ", (unsigned long long)request.from,
1135                                 (unsigned long long)request.from / 512, len);
1136 #endif
1137                 memcpy(reply.handle, request.handle, sizeof(reply.handle));
1138                 if ((request.from + len) > (OFFT_MAX)) {
1139                         DEBUG("[Number too large!]");
1140                         ERROR(client, reply, EINVAL);
1141                         continue;
1142                 }
1143
1144                 if (((ssize_t)((off_t)request.from + len) > client->exportsize)) {
1145                         DEBUG("[RANGE!]");
1146                         ERROR(client, reply, EINVAL);
1147                         continue;
1148                 }
1149
1150                 if (request.type==NBD_CMD_WRITE) {
1151                         DEBUG("wr: net->buf, ");
1152                         readit(client->net, buf, len);
1153                         DEBUG("buf->exp, ");
1154                         if ((client->server->flags & F_READONLY) ||
1155                             (client->server->flags & F_AUTOREADONLY)) {
1156                                 DEBUG("[WRITE to READONLY!]");
1157                                 ERROR(client, reply, EPERM);
1158                                 continue;
1159                         }
1160                         if (expwrite(request.from, buf, len, client)) {
1161                                 DEBUG("Write failed: %m" );
1162                                 ERROR(client, reply, errno);
1163                                 continue;
1164                         }
1165                         SEND(client->net, reply);
1166                         DEBUG("OK!\n");
1167                         continue;
1168                 }
1169                 /* READ */
1170
1171                 DEBUG("exp->buf, ");
1172                 if (expread(request.from, buf + sizeof(struct nbd_reply), len, client)) {
1173                         DEBUG("Read failed: %m");
1174                         ERROR(client, reply, errno);
1175                         continue;
1176                 }
1177
1178                 DEBUG("buf->net, ");
1179                 memcpy(buf, &reply, sizeof(struct nbd_reply));
1180                 writeit(client->net, buf, len + sizeof(struct nbd_reply));
1181                 DEBUG("OK!\n");
1182         }
1183         return 0;
1184 }
1185
1186 /**
1187  * Set up client export array, which is an array of FILE_INFO.
1188  * Also, split a single exportfile into multiple ones, if that was asked.
1189  * @param client information on the client which we want to setup export for
1190  **/
1191 void setupexport(CLIENT* client) {
1192         int i;
1193         off_t laststartoff = 0, lastsize = 0;
1194         int multifile = (client->server->flags & F_MULTIFILE);
1195
1196         client->export = g_array_new(TRUE, TRUE, sizeof(FILE_INFO));
1197
1198         /* If multi-file, open as many files as we can.
1199          * If not, open exactly one file.
1200          * Calculate file sizes as we go to get total size. */
1201         for(i=0; ; i++) {
1202                 FILE_INFO fi;
1203                 gchar *tmpname;
1204                 mode_t mode = (client->server->flags & F_READONLY) ? O_RDONLY : O_RDWR;
1205
1206                 if(multifile) {
1207                         tmpname=g_strdup_printf("%s.%d", client->exportname, i);
1208                 } else {
1209                         tmpname=g_strdup(client->exportname);
1210                 }
1211                 DEBUG2( "Opening %s\n", tmpname );
1212                 fi.fhandle = open(tmpname, mode);
1213                 if(fi.fhandle == -1 && mode == O_RDWR) {
1214                         /* Try again because maybe media was read-only */
1215                         fi.fhandle = open(tmpname, O_RDONLY);
1216                         if(fi.fhandle != -1) {
1217                                 /* Opening the base file in copyonwrite mode is
1218                                  * okay */
1219                                 if(!(client->server->flags & F_COPYONWRITE)) {
1220                                         client->server->flags |= F_AUTOREADONLY;
1221                                         client->server->flags |= F_READONLY;
1222                                 }
1223                         }
1224                 }
1225                 if(fi.fhandle == -1) {
1226                         if(multifile && i>0)
1227                                 break;
1228                         err("Could not open exported file: %m");
1229                 }
1230                 fi.startoff = laststartoff + lastsize;
1231                 g_array_append_val(client->export, fi);
1232                 g_free(tmpname);
1233
1234                 /* Starting offset and size of this file will be used to
1235                  * calculate starting offset of next file */
1236                 laststartoff = fi.startoff;
1237                 lastsize = size_autodetect(fi.fhandle);
1238
1239                 if(!multifile)
1240                         break;
1241         }
1242
1243         /* Set export size to total calculated size */
1244         client->exportsize = laststartoff + lastsize;
1245
1246         /* Export size may be overridden */
1247         if(client->server->expected_size) {
1248                 /* desired size must be <= total calculated size */
1249                 if(client->server->expected_size > client->exportsize) {
1250                         err("Size of exported file is too big\n");
1251                 }
1252
1253                 client->exportsize = client->server->expected_size;
1254         }
1255
1256         msg3(LOG_INFO, "Size of exported file/device is %llu", (unsigned long long)client->exportsize);
1257         if(multifile) {
1258                 msg3(LOG_INFO, "Total number of files: %d", i);
1259         }
1260 }
1261
1262 int copyonwrite_prepare(CLIENT* client) {
1263         off_t i;
1264         if ((client->difffilename = malloc(1024))==NULL)
1265                 err("Failed to allocate string for diff file name");
1266         snprintf(client->difffilename, 1024, "%s-%s-%d.diff",client->exportname,client->clientname,
1267                 (int)getpid()) ;
1268         client->difffilename[1023]='\0';
1269         msg3(LOG_INFO,"About to create map and diff file %s",client->difffilename) ;
1270         client->difffile=open(client->difffilename,O_RDWR | O_CREAT | O_TRUNC,0600) ;
1271         if (client->difffile<0) err("Could not create diff file (%m)") ;
1272         if ((client->difmap=calloc(client->exportsize/DIFFPAGESIZE,sizeof(u32)))==NULL)
1273                 err("Could not allocate memory") ;
1274         for (i=0;i<client->exportsize/DIFFPAGESIZE;i++) client->difmap[i]=(u32)-1 ;
1275
1276         return 0;
1277 }
1278
1279 /**
1280  * Run a command. This is used for the ``prerun'' and ``postrun'' config file
1281  * options
1282  *
1283  * @param command the command to be ran. Read from the config file
1284  * @param file the file name we're about to export
1285  **/
1286 int do_run(gchar* command, gchar* file) {
1287         gchar* cmd;
1288         int retval=0;
1289
1290         if(command && *command) {
1291                 cmd = g_strdup_printf(command, file);
1292                 retval=system(cmd);
1293                 g_free(cmd);
1294         }
1295         return retval;
1296 }
1297
1298 /**
1299  * Serve a connection.
1300  *
1301  * @todo allow for multithreading, perhaps use libevent. Not just yet, though;
1302  * follow the road map.
1303  *
1304  * @param client a connected client
1305  **/
1306 void serveconnection(CLIENT *client) {
1307         if(do_run(client->server->prerun, client->exportname)) {
1308                 exit(EXIT_FAILURE);
1309         }
1310         setupexport(client);
1311
1312         if (client->server->flags & F_COPYONWRITE) {
1313                 copyonwrite_prepare(client);
1314         }
1315
1316         setmysockopt(client->net);
1317
1318         mainloop(client);
1319         do_run(client->server->postrun, client->exportname);
1320 }
1321
1322 /**
1323  * Find the name of the file we have to serve. This will use g_strdup_printf
1324  * to put the IP address of the client inside a filename containing
1325  * "%s" (in the form as specified by the "virtstyle" option). That name
1326  * is then written to client->exportname.
1327  *
1328  * @param net A socket connected to an nbd client
1329  * @param client information about the client. The IP address in human-readable
1330  * format will be written to a new char* buffer, the address of which will be
1331  * stored in client->clientname.
1332  **/
1333 void set_peername(int net, CLIENT *client) {
1334         struct sockaddr_in addrin;
1335         struct sockaddr_in netaddr;
1336         size_t addrinlen = sizeof( addrin );
1337         char *peername;
1338         char *netname;
1339         char *tmp;
1340         int i;
1341
1342         if (getpeername(net, (struct sockaddr *) &addrin, (socklen_t *)&addrinlen) < 0)
1343                 err("getsockname failed: %m");
1344         peername = g_strdup(inet_ntoa(addrin.sin_addr));
1345         switch(client->server->virtstyle) {
1346                 case VIRT_NONE:
1347                         client->exportname=g_strdup(client->server->exportname);
1348                         break;
1349                 case VIRT_IPHASH:
1350                         for(i=0;i<strlen(peername);i++) {
1351                                 if(peername[i]=='.') {
1352                                         peername[i]='/';
1353                                 }
1354                         }
1355                 case VIRT_IPLIT:
1356                         client->exportname=g_strdup_printf(client->server->exportname, peername);
1357                         break;
1358                 case VIRT_CIDR:
1359                         memcpy(&netaddr, &addrin, addrinlen);
1360                         netaddr.sin_addr.s_addr>>=32-(client->server->cidrlen);
1361                         netaddr.sin_addr.s_addr<<=32-(client->server->cidrlen);
1362                         netname = inet_ntoa(netaddr.sin_addr);
1363                         tmp=g_strdup_printf("%s/%s", netname, peername);
1364                         client->exportname=g_strdup_printf(client->server->exportname, tmp);
1365                         break;
1366         }
1367
1368         msg4(LOG_INFO, "connect from %s, assigned file is %s",
1369              peername, client->exportname);
1370         client->clientname=g_strdup(peername);
1371         g_free(peername);
1372 }
1373
1374 /**
1375  * Destroy a pid_t*
1376  * @param data a pointer to pid_t which should be freed
1377  **/
1378 void destroy_pid_t(gpointer data) {
1379         g_free(data);
1380 }
1381
1382 /**
1383  * Loop through the available servers, and serve them. Never returns.
1384  **/
1385 int serveloop(GArray* servers) {
1386         struct sockaddr_in addrin;
1387         socklen_t addrinlen=sizeof(addrin);
1388         SERVER *serve;
1389         int i;
1390         int max;
1391         int sock;
1392         fd_set mset;
1393         fd_set rset;
1394
1395         /*
1396          * Set up the master fd_set. The set of descriptors we need
1397          * to select() for never changes anyway and it buys us a *lot*
1398          * of time to only build this once. However, if we ever choose
1399          * to not fork() for clients anymore, we may have to revisit
1400          * this.
1401          */
1402         max=0;
1403         FD_ZERO(&mset);
1404         for(i=0;i<servers->len;i++) {
1405                 sock=(g_array_index(servers, SERVER, i)).socket;
1406                 FD_SET(sock, &mset);
1407                 max=sock>max?sock:max;
1408         }
1409         for(;;) {
1410                 CLIENT *client;
1411                 int net;
1412                 pid_t *pid;
1413
1414                 memcpy(&rset, &mset, sizeof(fd_set));
1415                 if(select(max+1, &rset, NULL, NULL, NULL)>0) {
1416                         DEBUG("accept, ");
1417                         for(i=0;i<servers->len;i++) {
1418                                 serve=&(g_array_index(servers, SERVER, i));
1419                                 if(FD_ISSET(serve->socket, &rset)) {
1420                                         int sock_flags;
1421                                         if ((net=accept(serve->socket, (struct sockaddr *) &addrin, &addrinlen)) < 0)
1422                                                 err("accept: %m");
1423
1424                                         if((sock_flags = fcntl(net, F_GETFL, 0))==-1) {
1425                                                 err("fcntl F_GETFL");
1426                                         }
1427                                         if(fcntl(net, F_SETFL, sock_flags &~O_NONBLOCK)==-1) {
1428                                                 err("fcntl F_SETFL ~O_NONBLOCK");
1429                                         }
1430                                         client = g_malloc(sizeof(CLIENT));
1431                                         client->server=serve;
1432                                         client->exportsize=OFFT_MAX;
1433                                         client->net=net;
1434                                         set_peername(net, client);
1435                                         if (!authorized_client(client)) {
1436                                                 msg2(LOG_INFO,"Unauthorized client") ;
1437                                                 close(net);
1438                                                 continue;
1439                                         }
1440                                         msg2(LOG_INFO,"Authorized client") ;
1441                                         pid=g_malloc(sizeof(pid_t));
1442 #ifndef NOFORK
1443                                         if ((*pid=fork())<0) {
1444                                                 msg3(LOG_INFO,"Could not fork (%s)",strerror(errno)) ;
1445                                                 close(net);
1446                                                 continue;
1447                                         }
1448                                         if (*pid>0) { /* parent */
1449                                                 close(net);
1450                                                 g_hash_table_insert(children, pid, pid);
1451                                                 continue;
1452                                         }
1453                                         /* child */
1454                                         g_hash_table_destroy(children);
1455                                         for(i=0;i<servers->len;i++) {
1456                                                 serve=&g_array_index(servers, SERVER, i);
1457                                                 close(serve->socket);
1458                                         }
1459                                         /* FALSE does not free the
1460                                         actual data. This is required,
1461                                         because the client has a
1462                                         direct reference into that
1463                                         data, and otherwise we get a
1464                                         segfault... */
1465                                         g_array_free(servers, FALSE);
1466 #endif // NOFORK
1467                                         msg2(LOG_INFO,"Starting to serve");
1468                                         serveconnection(client);
1469                                         exit(EXIT_SUCCESS);
1470                                 }
1471                         }
1472                 }
1473         }
1474 }
1475
1476 /**
1477  * Connect a server's socket.
1478  *
1479  * @param serve the server we want to connect.
1480  **/
1481 void setup_serve(SERVER *serve) {
1482         struct sockaddr_in addrin;
1483         struct sigaction sa;
1484         int addrinlen = sizeof(addrin);
1485         int sock_flags;
1486         int af;
1487 #ifndef sun
1488         int yes=1;
1489 #else
1490         char yes='1';
1491 #endif /* sun */
1492
1493         af = AF_INET;
1494 #ifdef WITH_SDP
1495         if ((serve->flags) && F_SDP) {
1496                 af = AF_INET_SDP;
1497         }
1498 #endif
1499         if ((serve->socket = socket(af, SOCK_STREAM, IPPROTO_TCP)) < 0)
1500                 err("socket: %m");
1501
1502         /* lose the pesky "Address already in use" error message */
1503         if (setsockopt(serve->socket,SOL_SOCKET,SO_REUSEADDR,&yes,sizeof(int)) == -1) {
1504                 err("setsockopt SO_REUSEADDR");
1505         }
1506         if (setsockopt(serve->socket,SOL_SOCKET,SO_KEEPALIVE,&yes,sizeof(int)) == -1) {
1507                 err("setsockopt SO_KEEPALIVE");
1508         }
1509
1510         /* make the listening socket non-blocking */
1511         if ((sock_flags = fcntl(serve->socket, F_GETFL, 0)) == -1) {
1512                 err("fcntl F_GETFL");
1513         }
1514         if (fcntl(serve->socket, F_SETFL, sock_flags | O_NONBLOCK) == -1) {
1515                 err("fcntl F_SETFL O_NONBLOCK");
1516         }
1517
1518         DEBUG("Waiting for connections... bind, ");
1519         addrin.sin_family = AF_INET;
1520 #ifdef WITH_SDP
1521         if(serve->flags & F_SDP) {
1522                 addrin.sin_family = AF_INET_SDP;
1523         }
1524 #endif
1525         addrin.sin_port = htons(serve->port);
1526         if(!inet_aton(serve->listenaddr, &(addrin.sin_addr)))
1527                 err("could not parse listen address");
1528         if (bind(serve->socket, (struct sockaddr *) &addrin, addrinlen) < 0)
1529                 err("bind: %m");
1530         DEBUG("listen, ");
1531         if (listen(serve->socket, 1) < 0)
1532                 err("listen: %m");
1533         sa.sa_handler = sigchld_handler;
1534         sigemptyset(&sa.sa_mask);
1535         sa.sa_flags = SA_RESTART;
1536         if(sigaction(SIGCHLD, &sa, NULL) == -1)
1537                 err("sigaction: %m");
1538         sa.sa_handler = sigterm_handler;
1539         sigemptyset(&sa.sa_mask);
1540         sa.sa_flags = SA_RESTART;
1541         if(sigaction(SIGTERM, &sa, NULL) == -1)
1542                 err("sigaction: %m");
1543 }
1544
1545 /**
1546  * Connect our servers.
1547  **/
1548 void setup_servers(GArray* servers) {
1549         int i;
1550
1551         for(i=0;i<servers->len;i++) {
1552                 setup_serve(&(g_array_index(servers, SERVER, i)));
1553         }
1554         children=g_hash_table_new_full(g_int_hash, g_int_equal, NULL, destroy_pid_t);
1555 }
1556
1557 /**
1558  * Go daemon (unless we specified at compile time that we didn't want this)
1559  * @param serve the first server of our configuration. If its port is zero,
1560  *      then do not daemonize, because we're doing inetd then. This parameter
1561  *      is only used to create a PID file of the form
1562  *      /var/run/nbd-server.&lt;port&gt;.pid; it's not modified in any way.
1563  **/
1564 #if !defined(NODAEMON) && !defined(NOFORK)
1565 void daemonize(SERVER* serve) {
1566         FILE*pidf;
1567
1568         if(serve && !(serve->port)) {
1569                 return;
1570         }
1571         if(daemon(0,0)<0) {
1572                 err("daemon");
1573         }
1574         if(!*pidftemplate) {
1575                 if(serve) {
1576                         strncpy(pidftemplate, "/var/run/nbd-server.%d.pid", 255);
1577                 } else {
1578                         strncpy(pidftemplate, "/var/run/nbd-server.pid", 255);
1579                 }
1580         }
1581         snprintf(pidfname, 255, pidftemplate, serve ? serve->port : 0);
1582         pidf=fopen(pidfname, "w");
1583         if(pidf) {
1584                 fprintf(pidf,"%d\n", (int)getpid());
1585                 fclose(pidf);
1586         } else {
1587                 perror("fopen");
1588                 fprintf(stderr, "Not fatal; continuing");
1589         }
1590 }
1591 #else
1592 #define daemonize(serve)
1593 #endif /* !defined(NODAEMON) && !defined(NOFORK) */
1594
1595 /*
1596  * Everything beyond this point (in the file) is run in non-daemon mode.
1597  * The stuff above daemonize() isn't.
1598  */
1599
1600 void serve_err(SERVER* serve, const char* msg) G_GNUC_NORETURN;
1601
1602 void serve_err(SERVER* serve, const char* msg) {
1603         g_message("Export of %s on port %d failed:", serve->exportname,
1604                         serve->port);
1605         err(msg);
1606 }
1607
1608 /**
1609  * Set up user-ID and/or group-ID
1610  **/
1611 void dousers(void) {
1612         struct passwd *pw;
1613         struct group *gr;
1614         if(rungroup) {
1615                 gr=getgrnam(rungroup);
1616                 if(!gr) {
1617                         g_message("Invalid group name: %s", rungroup);
1618                         exit(EXIT_FAILURE);
1619                 }
1620                 if(setgid(gr->gr_gid)<0) {
1621                         g_message("Could not set GID: %s", strerror(errno));
1622                         exit(EXIT_FAILURE);
1623                 }
1624         }
1625         if(runuser) {
1626                 pw=getpwnam(runuser);
1627                 if(!pw) {
1628                         g_message("Invalid user name: %s", runuser);
1629                         exit(EXIT_FAILURE);
1630                 }
1631                 if(setuid(pw->pw_uid)<0) {
1632                         g_message("Could not set UID: %s", strerror(errno));
1633                         exit(EXIT_FAILURE);
1634                 }
1635         }
1636 }
1637
1638 #ifndef ISSERVER
1639 void glib_message_syslog_redirect(const gchar *log_domain,
1640                                   GLogLevelFlags log_level,
1641                                   const gchar *message,
1642                                   gpointer user_data)
1643 {
1644     int level=LOG_DEBUG;
1645
1646     switch( log_level )
1647     {
1648       case G_LOG_FLAG_FATAL:
1649       case G_LOG_LEVEL_CRITICAL:
1650       case G_LOG_LEVEL_ERROR:
1651         level=LOG_ERR;
1652         break;
1653       case G_LOG_LEVEL_WARNING:
1654         level=LOG_WARNING;
1655         break;
1656       case G_LOG_LEVEL_MESSAGE:
1657       case G_LOG_LEVEL_INFO:
1658         level=LOG_INFO;
1659         break;
1660       case G_LOG_LEVEL_DEBUG:
1661         level=LOG_DEBUG;
1662     }
1663     syslog(level, message);
1664 }
1665 #endif
1666
1667 /**
1668  * Main entry point...
1669  **/
1670 int main(int argc, char *argv[]) {
1671         SERVER *serve;
1672         GArray *servers;
1673         GError *err=NULL;
1674
1675         if (sizeof( struct nbd_request )!=28) {
1676                 fprintf(stderr,"Bad size of structure. Alignment problems?\n");
1677                 exit(EXIT_FAILURE) ;
1678         }
1679
1680         memset(pidftemplate, '\0', 256);
1681
1682         logging();
1683         config_file_pos = g_strdup(CFILE);
1684         serve=cmdline(argc, argv);
1685         servers = parse_cfile(config_file_pos, &err);
1686
1687         if(serve) {
1688                 g_array_append_val(servers, *serve);
1689
1690                 if (!(serve->port)) {
1691                         CLIENT *client;
1692 #ifndef ISSERVER
1693                         /* You really should define ISSERVER if you're going to use
1694                          * inetd mode, but if you don't, closing stdout and stderr
1695                          * (which inetd had connected to the client socket) will let it
1696                          * work. */
1697                         close(1);
1698                         close(2);
1699                         open("/dev/null", O_WRONLY);
1700                         open("/dev/null", O_WRONLY);
1701                         g_log_set_default_handler( glib_message_syslog_redirect, NULL );
1702 #endif
1703                         client=g_malloc(sizeof(CLIENT));
1704                         client->server=serve;
1705                         client->net=0;
1706                         client->exportsize=OFFT_MAX;
1707                         set_peername(0,client);
1708                         serveconnection(client);
1709                         return 0;
1710                 }
1711         }
1712
1713     if(!servers || !servers->len) {
1714                 g_warning("Could not parse config file: %s",
1715                                 err ? err->message : "Unknown error");
1716         }
1717
1718         if((!serve) && (!servers||!servers->len)) {
1719                 g_message("Nothing to do! Bye!");
1720                 exit(EXIT_FAILURE);
1721         }
1722         daemonize(serve);
1723         setup_servers(servers);
1724         dousers();
1725         serveloop(servers);
1726         return 0 ;
1727 }