block/genhd.c

   1 /*
   2  *  gendisk handling
   3  */
   4
   5 #include <linux/module.h>
   6 #include <linux/fs.h>
   7 #include <linux/genhd.h>
   8 #include <linux/kdev_t.h>
   9 #include <linux/kernel.h>
  10 #include <linux/blkdev.h>
  11 #include <linux/init.h>
  12 #include <linux/spinlock.h>
  13 #include <linux/seq_file.h>
  14 #include <linux/slab.h>
  15 #include <linux/kmod.h>
  16 #include <linux/kobj_map.h>
  17 #include <linux/buffer_head.h>
  18 #include <linux/mutex.h>
  19 #include <linux/idr.h>
  20
  21 #include "blk.h"
  22
  23 static DEFINE_MUTEX(block_class_lock);
  24 #ifndef CONFIG_SYSFS_DEPRECATED
  25 struct kobject *block_depr;
  26 #endif
  27
  28 /* for extended dynamic devt allocation, currently only one major is used */
  29 #define MAX_EXT_DEVT            (1 << MINORBITS)
  30
  31 /* For extended devt allocation.  ext_devt_mutex prevents look up
  32  * results from going away underneath its user.
  33  */
  34 static DEFINE_MUTEX(ext_devt_mutex);
  35 static DEFINE_IDR(ext_devt_idr);
  36
  37 static struct device_type disk_type;
  38
  39 /**
  40  * disk_get_part - get partition
  41  * @disk: disk to look partition from
  42  * @partno: partition number
  43  *
  44  * Look for partition @partno from @disk.  If found, increment
  45  * reference count and return it.
  46  *
  47  * CONTEXT:
  48  * Don't care.
  49  *
  50  * RETURNS:
  51  * Pointer to the found partition on success, NULL if not found.
  52  */
  53 struct hd_struct *disk_get_part(struct gendisk *disk, int partno)
  54 {
  55         struct hd_struct *part;
  56
  57         if (unlikely(partno < 0 || partno >= disk_max_parts(disk)))
  58                 return NULL;
  59         rcu_read_lock();
  60         part = rcu_dereference(disk->__part[partno]);
  61         if (part)
  62                 get_device(part_to_dev(part));
  63         rcu_read_unlock();
  64
  65         return part;
  66 }
  67 EXPORT_SYMBOL_GPL(disk_get_part);
  68
  69 /**
  70  * disk_part_iter_init - initialize partition iterator
  71  * @piter: iterator to initialize
  72  * @disk: disk to iterate over
  73  * @flags: DISK_PITER_* flags
  74  *
  75  * Initialize @piter so that it iterates over partitions of @disk.
  76  *
  77  * CONTEXT:
  78  * Don't care.
  79  */
  80 void disk_part_iter_init(struct disk_part_iter *piter, struct gendisk *disk,
  81                           unsigned int flags)
  82 {
  83         piter->disk = disk;
  84         piter->part = NULL;
  85
  86         if (flags & DISK_PITER_REVERSE)
  87                 piter->idx = disk_max_parts(piter->disk) - 1;
  88         else if (flags & DISK_PITER_INCL_PART0)
  89                 piter->idx = 0;
  90         else
  91                 piter->idx = 1;
  92
  93         piter->flags = flags;
  94 }
  95 EXPORT_SYMBOL_GPL(disk_part_iter_init);
  96
  97 /**
  98  * disk_part_iter_next - proceed iterator to the next partition and return it
  99  * @piter: iterator of interest
 100  *
 101  * Proceed @piter to the next partition and return it.
 102  *
 103  * CONTEXT:
 104  * Don't care.
 105  */
 106 struct hd_struct *disk_part_iter_next(struct disk_part_iter *piter)
 107 {
 108         int inc, end;
 109
 110         /* put the last partition */
 111         disk_put_part(piter->part);
 112         piter->part = NULL;
 113
 114         rcu_read_lock();
 115
 116         /* determine iteration parameters */
 117         if (piter->flags & DISK_PITER_REVERSE) {
 118                 inc = -1;
 119                 if (piter->flags & DISK_PITER_INCL_PART0)
 120                         end = -1;
 121                 else
 122                         end = 0;
 123         } else {
 124                 inc = 1;
 125                 end = disk_max_parts(piter->disk);
 126         }
 127
 128         /* iterate to the next partition */
 129         for (; piter->idx != end; piter->idx += inc) {
 130                 struct hd_struct *part;
 131
 132                 part = rcu_dereference(piter->disk->__part[piter->idx]);
 133                 if (!part)
 134                         continue;
 135                 if (!(piter->flags & DISK_PITER_INCL_EMPTY) && !part->nr_sects)
 136                         continue;
 137
 138                 get_device(part_to_dev(part));
 139                 piter->part = part;
 140                 piter->idx += inc;
 141                 break;
 142         }
 143
 144         rcu_read_unlock();
 145
 146         return piter->part;
 147 }
 148 EXPORT_SYMBOL_GPL(disk_part_iter_next);
 149
 150 /**
 151  * disk_part_iter_exit - finish up partition iteration
 152  * @piter: iter of interest
 153  *
 154  * Called when iteration is over.  Cleans up @piter.
 155  *
 156  * CONTEXT:
 157  * Don't care.
 158  */
 159 void disk_part_iter_exit(struct disk_part_iter *piter)
 160 {
 161         disk_put_part(piter->part);
 162         piter->part = NULL;
 163 }
 164 EXPORT_SYMBOL_GPL(disk_part_iter_exit);
 165
 166 /**
 167  * disk_map_sector_rcu - map sector to partition
 168  * @disk: gendisk of interest
 169  * @sector: sector to map
 170  *
 171  * Find out which partition @sector maps to on @disk.  This is
 172  * primarily used for stats accounting.
 173  *
 174  * CONTEXT:
 175  * RCU read locked.  The returned partition pointer is valid only
 176  * while preemption is disabled.
 177  *
 178  * RETURNS:
 179  * Found partition on success, NULL if there's no matching partition.
 180  */
 181 struct hd_struct *disk_map_sector_rcu(struct gendisk *disk, sector_t sector)
 182 {
 183         int i;
 184
 185         for (i = 1; i < disk_max_parts(disk); i++) {
 186                 struct hd_struct *part = rcu_dereference(disk->__part[i]);
 187
 188                 if (part && part->start_sect <= sector &&
 189                     sector < part->start_sect + part->nr_sects)
 190                         return part;
 191         }
 192         return NULL;
 193 }
 194 EXPORT_SYMBOL_GPL(disk_map_sector_rcu);
 195
 196 /*
 197  * Can be deleted altogether. Later.
 198  *
 199  */
 200 static struct blk_major_name {
 201         struct blk_major_name *next;
 202         int major;
 203         char name[16];
 204 } *major_names[BLKDEV_MAJOR_HASH_SIZE];
 205
 206 /* index in the above - for now: assume no multimajor ranges */
 207 static inline int major_to_index(int major)
 208 {
 209         return major % BLKDEV_MAJOR_HASH_SIZE;
 210 }
 211
 212 #ifdef CONFIG_PROC_FS
 213 void blkdev_show(struct seq_file *seqf, off_t offset)
 214 {
 215         struct blk_major_name *dp;
 216
 217         if (offset < BLKDEV_MAJOR_HASH_SIZE) {
 218                 mutex_lock(&block_class_lock);
 219                 for (dp = major_names[offset]; dp; dp = dp->next)
 220                         seq_printf(seqf, "%3d %s\n", dp->major, dp->name);
 221                 mutex_unlock(&block_class_lock);
 222         }
 223 }
 224 #endif /* CONFIG_PROC_FS */
 225
 226 int register_blkdev(unsigned int major, const char *name)
 227 {
 228         struct blk_major_name **n, *p;
 229         int index, ret = 0;
 230
 231         mutex_lock(&block_class_lock);
 232
 233         /* temporary */
 234         if (major == 0) {
 235                 for (index = ARRAY_SIZE(major_names)-1; index > 0; index--) {
 236                         if (major_names[index] == NULL)
 237                                 break;
 238                 }
 239
 240                 if (index == 0) {
 241                         printk("register_blkdev: failed to get major for %s\n",
 242                                name);
 243                         ret = -EBUSY;
 244                         goto out;
 245                 }
 246                 major = index;
 247                 ret = major;
 248         }
 249
 250         p = kmalloc(sizeof(struct blk_major_name), GFP_KERNEL);
 251         if (p == NULL) {
 252                 ret = -ENOMEM;
 253                 goto out;
 254         }
 255
 256         p->major = major;
 257         strlcpy(p->name, name, sizeof(p->name));
 258         p->next = NULL;
 259         index = major_to_index(major);
 260
 261         for (n = &major_names[index]; *n; n = &(*n)->next) {
 262                 if ((*n)->major == major)
 263                         break;
 264         }
 265         if (!*n)
 266                 *n = p;
 267         else
 268                 ret = -EBUSY;
 269
 270         if (ret < 0) {
 271                 printk("register_blkdev: cannot get major %d for %s\n",
 272                        major, name);
 273                 kfree(p);
 274         }
 275 out:
 276         mutex_unlock(&block_class_lock);
 277         return ret;
 278 }
 279
 280 EXPORT_SYMBOL(register_blkdev);
 281
 282 void unregister_blkdev(unsigned int major, const char *name)
 283 {
 284         struct blk_major_name **n;
 285         struct blk_major_name *p = NULL;
 286         int index = major_to_index(major);
 287
 288         mutex_lock(&block_class_lock);
 289         for (n = &major_names[index]; *n; n = &(*n)->next)
 290                 if ((*n)->major == major)
 291                         break;
 292         if (!*n || strcmp((*n)->name, name)) {
 293                 WARN_ON(1);
 294         } else {
 295                 p = *n;
 296                 *n = p->next;
 297         }
 298         mutex_unlock(&block_class_lock);
 299         kfree(p);
 300 }
 301
 302 EXPORT_SYMBOL(unregister_blkdev);
 303
 304 static struct kobj_map *bdev_map;
 305
 306 /**
 307  * blk_mangle_minor - scatter minor numbers apart
 308  * @minor: minor number to mangle
 309  *
 310  * Scatter consecutively allocated @minor number apart if MANGLE_DEVT
 311  * is enabled.  Mangling twice gives the original value.
 312  *
 313  * RETURNS:
 314  * Mangled value.
 315  *
 316  * CONTEXT:
 317  * Don't care.
 318  */
 319 static int blk_mangle_minor(int minor)
 320 {
 321 #ifdef CONFIG_DEBUG_BLOCK_EXT_DEVT
 322         int i;
 323
 324         for (i = 0; i < MINORBITS / 2; i++) {
 325                 int low = minor & (1 << i);
 326                 int high = minor & (1 << (MINORBITS - 1 - i));
 327                 int distance = MINORBITS - 1 - 2 * i;
 328
 329                 minor ^= low | high;    /* clear both bits */
 330                 low <<= distance;       /* swap the positions */
 331                 high >>= distance;
 332                 minor |= low | high;    /* and set */
 333         }
 334 #endif
 335         return minor;
 336 }
 337
 338 /**
 339  * blk_alloc_devt - allocate a dev_t for a partition
 340  * @part: partition to allocate dev_t for
 341  * @gfp_mask: memory allocation flag
 342  * @devt: out parameter for resulting dev_t
 343  *
 344  * Allocate a dev_t for block device.
 345  *
 346  * RETURNS:
 347  * 0 on success, allocated dev_t is returned in *@devt.  -errno on
 348  * failure.
 349  *
 350  * CONTEXT:
 351  * Might sleep.
 352  */
 353 int blk_alloc_devt(struct hd_struct *part, dev_t *devt)
 354 {
 355         struct gendisk *disk = part_to_disk(part);
 356         int idx, rc;
 357
 358         /* in consecutive minor range? */
 359         if (part->partno < disk->minors) {
 360                 *devt = MKDEV(disk->major, disk->first_minor + part->partno);
 361                 return 0;
 362         }
 363
 364         /* allocate ext devt */
 365         do {
 366                 if (!idr_pre_get(&ext_devt_idr, GFP_KERNEL))
 367                         return -ENOMEM;
 368                 rc = idr_get_new(&ext_devt_idr, part, &idx);
 369         } while (rc == -EAGAIN);
 370
 371         if (rc)
 372                 return rc;
 373
 374         if (idx > MAX_EXT_DEVT) {
 375                 idr_remove(&ext_devt_idr, idx);
 376                 return -EBUSY;
 377         }
 378
 379         *devt = MKDEV(BLOCK_EXT_MAJOR, blk_mangle_minor(idx));
 380         return 0;
 381 }
 382
 383 /**
 384  * blk_free_devt - free a dev_t
 385  * @devt: dev_t to free
 386  *
 387  * Free @devt which was allocated using blk_alloc_devt().
 388  *
 389  * CONTEXT:
 390  * Might sleep.
 391  */
 392 void blk_free_devt(dev_t devt)
 393 {
 394         might_sleep();
 395
 396         if (devt == MKDEV(0, 0))
 397                 return;
 398
 399         if (MAJOR(devt) == BLOCK_EXT_MAJOR) {
 400                 mutex_lock(&ext_devt_mutex);
 401                 idr_remove(&ext_devt_idr, blk_mangle_minor(MINOR(devt)));
 402                 mutex_unlock(&ext_devt_mutex);
 403         }
 404 }
 405
 406 static char *bdevt_str(dev_t devt, char *buf)
 407 {
 408         if (MAJOR(devt) <= 0xff && MINOR(devt) <= 0xff) {
 409                 char tbuf[BDEVT_SIZE];
 410                 snprintf(tbuf, BDEVT_SIZE, "%02x%02x", MAJOR(devt), MINOR(devt));
 411                 snprintf(buf, BDEVT_SIZE, "%-9s", tbuf);
 412         } else
 413                 snprintf(buf, BDEVT_SIZE, "%03x:%05x", MAJOR(devt), MINOR(devt));
 414
 415         return buf;
 416 }
 417
 418 /*
 419  * Register device numbers dev..(dev+range-1)
 420  * range must be nonzero
 421  * The hash chain is sorted on range, so that subranges can override.
 422  */
 423 void blk_register_region(dev_t devt, unsigned long range, struct module *module,
 424                          struct kobject *(*probe)(dev_t, int *, void *),
 425                          int (*lock)(dev_t, void *), void *data)
 426 {
 427         kobj_map(bdev_map, devt, range, module, probe, lock, data);
 428 }
 429
 430 EXPORT_SYMBOL(blk_register_region);
 431
 432 void blk_unregister_region(dev_t devt, unsigned long range)
 433 {
 434         kobj_unmap(bdev_map, devt, range);
 435 }
 436
 437 EXPORT_SYMBOL(blk_unregister_region);
 438
 439 static struct kobject *exact_match(dev_t devt, int *partno, void *data)
 440 {
 441         struct gendisk *p = data;
 442
 443         return &disk_to_dev(p)->kobj;
 444 }
 445
 446 static int exact_lock(dev_t devt, void *data)
 447 {
 448         struct gendisk *p = data;
 449
 450         if (!get_disk(p))
 451                 return -1;
 452         return 0;
 453 }
 454
 455 /**
 456  * add_disk - add partitioning information to kernel list
 457  * @disk: per-device partitioning information
 458  *
 459  * This function registers the partitioning information in @disk
 460  * with the kernel.
 461  */
 462 void add_disk(struct gendisk *disk)
 463 {
 464         struct backing_dev_info *bdi;
 465         int retval;
 466
 467         disk->flags |= GENHD_FL_UP;
 468         disk_to_dev(disk)->devt = MKDEV(disk->major, disk->first_minor);
 469         blk_register_region(disk_devt(disk), disk->minors, NULL,
 470                             exact_match, exact_lock, disk);
 471         register_disk(disk);
 472         blk_register_queue(disk);
 473
 474         bdi = &disk->queue->backing_dev_info;
 475         bdi_register_dev(bdi, disk_devt(disk));
 476         retval = sysfs_create_link(&disk_to_dev(disk)->kobj, &bdi->dev->kobj,
 477                                    "bdi");
 478         WARN_ON(retval);
 479 }
 480
 481 EXPORT_SYMBOL(add_disk);
 482 EXPORT_SYMBOL(del_gendisk);     /* in partitions/check.c */
 483
 484 void unlink_gendisk(struct gendisk *disk)
 485 {
 486         sysfs_remove_link(&disk_to_dev(disk)->kobj, "bdi");
 487         bdi_unregister(&disk->queue->backing_dev_info);
 488         blk_unregister_queue(disk);
 489         blk_unregister_region(disk_devt(disk), disk->minors);
 490 }
 491
 492 /**
 493  * get_gendisk - get partitioning information for a given device
 494  * @devt: device to get partitioning information for
 495  * @part: returned partition index
 496  *
 497  * This function gets the structure containing partitioning
 498  * information for the given device @devt.
 499  */
 500 struct gendisk *get_gendisk(dev_t devt, int *partno)
 501 {
 502         struct gendisk *disk = NULL;
 503
 504         if (MAJOR(devt) != BLOCK_EXT_MAJOR) {
 505                 struct kobject *kobj;
 506
 507                 kobj = kobj_lookup(bdev_map, devt, partno);
 508                 if (kobj)
 509                         disk = dev_to_disk(kobj_to_dev(kobj));
 510         } else {
 511                 struct hd_struct *part;
 512
 513                 mutex_lock(&ext_devt_mutex);
 514                 part = idr_find(&ext_devt_idr, blk_mangle_minor(MINOR(devt)));
 515                 if (part && get_disk(part_to_disk(part))) {
 516                         *partno = part->partno;
 517                         disk = part_to_disk(part);
 518                 }
 519                 mutex_unlock(&ext_devt_mutex);
 520         }
 521
 522         return disk;
 523 }
 524
 525 /**
 526  * bdget_disk - do bdget() by gendisk and partition number
 527  * @disk: gendisk of interest
 528  * @partno: partition number
 529  *
 530  * Find partition @partno from @disk, do bdget() on it.
 531  *
 532  * CONTEXT:
 533  * Don't care.
 534  *
 535  * RETURNS:
 536  * Resulting block_device on success, NULL on failure.
 537  */
 538 extern struct block_device *bdget_disk(struct gendisk *disk, int partno)
 539 {
 540         dev_t devt = MKDEV(0, 0);
 541
 542         if (partno == 0)
 543                 devt = disk_devt(disk);
 544         else {
 545                 struct hd_struct *part;
 546
 547                 part = disk_get_part(disk, partno);
 548                 if (part && part->nr_sects)
 549                         devt = part_devt(part);
 550                 disk_put_part(part);
 551         }
 552
 553         if (likely(devt != MKDEV(0, 0)))
 554                 return bdget(devt);
 555         return NULL;
 556 }
 557 EXPORT_SYMBOL(bdget_disk);
 558
 559 /*
 560  * print a full list of all partitions - intended for places where the root
 561  * filesystem can't be mounted and thus to give the victim some idea of what
 562  * went wrong
 563  */
 564 void __init printk_all_partitions(void)
 565 {
 566         struct class_dev_iter iter;
 567         struct device *dev;
 568
 569         class_dev_iter_init(&iter, &block_class, NULL, &disk_type);
 570         while ((dev = class_dev_iter_next(&iter))) {
 571                 struct gendisk *disk = dev_to_disk(dev);
 572                 struct disk_part_iter piter;
 573                 struct hd_struct *part;
 574                 char name_buf[BDEVNAME_SIZE];
 575                 char devt_buf[BDEVT_SIZE];
 576
 577                 /*
 578                  * Don't show empty devices or things that have been
 579                  * surpressed
 580                  */
 581                 if (get_capacity(disk) == 0 ||
 582                     (disk->flags & GENHD_FL_SUPPRESS_PARTITION_INFO))
 583                         continue;
 584
 585                 /*
 586                  * Note, unlike /proc/partitions, I am showing the
 587                  * numbers in hex - the same format as the root=
 588                  * option takes.
 589                  */
 590                 printk("%s %10llu %s",
 591                        bdevt_str(disk_devt(disk), devt_buf),
 592                        (unsigned long long)get_capacity(disk) >> 1,
 593                        disk_name(disk, 0, name_buf));
 594                 if (disk->driverfs_dev != NULL &&
 595                     disk->driverfs_dev->driver != NULL)
 596                         printk(" driver: %s\n",
 597                                disk->driverfs_dev->driver->name);
 598                 else
 599                         printk(" (driver?)\n");
 600
 601                 /* now show the partitions */
 602                 disk_part_iter_init(&piter, disk, 0);
 603                 while ((part = disk_part_iter_next(&piter)))
 604                         printk("  %s %10llu %s\n",
 605                                bdevt_str(part_devt(part), devt_buf),
 606                                (unsigned long long)part->nr_sects >> 1,
 607                                disk_name(disk, part->partno, name_buf));
 608                 disk_part_iter_exit(&piter);
 609         }
 610         class_dev_iter_exit(&iter);
 611 }
 612
 613 #ifdef CONFIG_PROC_FS
 614 /* iterator */
 615 static void *disk_seqf_start(struct seq_file *seqf, loff_t *pos)
 616 {
 617         loff_t skip = *pos;
 618         struct class_dev_iter *iter;
 619         struct device *dev;
 620
 621         iter = kmalloc(GFP_KERNEL, sizeof(*iter));
 622         if (!iter)
 623                 return ERR_PTR(-ENOMEM);
 624
 625         seqf->private = iter;
 626         class_dev_iter_init(iter, &block_class, NULL, &disk_type);
 627         do {
 628                 dev = class_dev_iter_next(iter);
 629                 if (!dev)
 630                         return NULL;
 631         } while (skip--);
 632
 633         return dev_to_disk(dev);
 634 }
 635
 636 static void *disk_seqf_next(struct seq_file *seqf, void *v, loff_t *pos)
 637 {
 638         struct device *dev;
 639
 640         (*pos)++;
 641         dev = class_dev_iter_next(seqf->private);
 642         if (dev)
 643                 return dev_to_disk(dev);
 644
 645         return NULL;
 646 }
 647
 648 static void disk_seqf_stop(struct seq_file *seqf, void *v)
 649 {
 650         struct class_dev_iter *iter = seqf->private;
 651
 652         /* stop is called even after start failed :-( */
 653         if (iter) {
 654                 class_dev_iter_exit(iter);
 655                 kfree(iter);
 656         }
 657 }
 658
 659 static void *show_partition_start(struct seq_file *seqf, loff_t *pos)
 660 {
 661         static void *p;
 662
 663         p = disk_seqf_start(seqf, pos);
 664         if (!IS_ERR(p) && p)
 665                 seq_puts(seqf, "major minor  #blocks  name\n\n");
 666         return p;
 667 }
 668
 669 static int show_partition(struct seq_file *seqf, void *v)
 670 {
 671         struct gendisk *sgp = v;
 672         struct disk_part_iter piter;
 673         struct hd_struct *part;
 674         char buf[BDEVNAME_SIZE];
 675
 676         /* Don't show non-partitionable removeable devices or empty devices */
 677         if (!get_capacity(sgp) || (!disk_partitionable(sgp) &&
 678                                    (sgp->flags & GENHD_FL_REMOVABLE)))
 679                 return 0;
 680         if (sgp->flags & GENHD_FL_SUPPRESS_PARTITION_INFO)
 681                 return 0;
 682
 683         /* show the full disk and all non-0 size partitions of it */
 684         seq_printf(seqf, "%4d  %7d %10llu %s\n",
 685                 MAJOR(disk_devt(sgp)), MINOR(disk_devt(sgp)),
 686                 (unsigned long long)get_capacity(sgp) >> 1,
 687                 disk_name(sgp, 0, buf));
 688
 689         disk_part_iter_init(&piter, sgp, 0);
 690         while ((part = disk_part_iter_next(&piter)))
 691                 seq_printf(seqf, "%4d  %7d %10llu %s\n",
 692                            MAJOR(part_devt(part)), MINOR(part_devt(part)),
 693                            (unsigned long long)part->nr_sects >> 1,
 694                            disk_name(sgp, part->partno, buf));
 695         disk_part_iter_exit(&piter);
 696
 697         return 0;
 698 }
 699
 700 const struct seq_operations partitions_op = {
 701         .start  = show_partition_start,
 702         .next   = disk_seqf_next,
 703         .stop   = disk_seqf_stop,
 704         .show   = show_partition
 705 };
 706 #endif
 707
 708
 709 static struct kobject *base_probe(dev_t devt, int *partno, void *data)
 710 {
 711         if (request_module("block-major-%d-%d", MAJOR(devt), MINOR(devt)) > 0)
 712                 /* Make old-style 2.4 aliases work */
 713                 request_module("block-major-%d", MAJOR(devt));
 714         return NULL;
 715 }
 716
 717 static int __init genhd_device_init(void)
 718 {
 719         int error;
 720
 721         block_class.dev_kobj = sysfs_dev_block_kobj;
 722         error = class_register(&block_class);
 723         if (unlikely(error))
 724                 return error;
 725         bdev_map = kobj_map_init(base_probe, &block_class_lock);
 726         blk_dev_init();
 727
 728 #ifndef CONFIG_SYSFS_DEPRECATED
 729         /* create top-level block dir */
 730         block_depr = kobject_create_and_add("block", NULL);
 731 #endif
 732         return 0;
 733 }
 734
 735 subsys_initcall(genhd_device_init);
 736
 737 static ssize_t disk_range_show(struct device *dev,
 738                                struct device_attribute *attr, char *buf)
 739 {
 740         struct gendisk *disk = dev_to_disk(dev);
 741
 742         return sprintf(buf, "%d\n", disk->minors);
 743 }
 744
 745 static ssize_t disk_ext_range_show(struct device *dev,
 746                                    struct device_attribute *attr, char *buf)
 747 {
 748         struct gendisk *disk = dev_to_disk(dev);
 749
 750         return sprintf(buf, "%d\n", disk_max_parts(disk));
 751 }
 752
 753 static ssize_t disk_removable_show(struct device *dev,
 754                                    struct device_attribute *attr, char *buf)
 755 {
 756         struct gendisk *disk = dev_to_disk(dev);
 757
 758         return sprintf(buf, "%d\n",
 759                        (disk->flags & GENHD_FL_REMOVABLE ? 1 : 0));
 760 }
 761
 762 static ssize_t disk_ro_show(struct device *dev,
 763                                    struct device_attribute *attr, char *buf)
 764 {
 765         struct gendisk *disk = dev_to_disk(dev);
 766
 767         return sprintf(buf, "%d\n", disk->policy ? 1 : 0);
 768 }
 769
 770 static ssize_t disk_size_show(struct device *dev,
 771                               struct device_attribute *attr, char *buf)
 772 {
 773         struct gendisk *disk = dev_to_disk(dev);
 774
 775         return sprintf(buf, "%llu\n", (unsigned long long)get_capacity(disk));
 776 }
 777
 778 static ssize_t disk_capability_show(struct device *dev,
 779                                     struct device_attribute *attr, char *buf)
 780 {
 781         struct gendisk *disk = dev_to_disk(dev);
 782
 783         return sprintf(buf, "%x\n", disk->flags);
 784 }
 785
 786 static ssize_t disk_stat_show(struct device *dev,
 787                               struct device_attribute *attr, char *buf)
 788 {
 789         struct gendisk *disk = dev_to_disk(dev);
 790         int cpu;
 791
 792         cpu = disk_stat_lock();
 793         disk_round_stats(cpu, disk);
 794         disk_stat_unlock();
 795         return sprintf(buf,
 796                 "%8lu %8lu %8llu %8u "
 797                 "%8lu %8lu %8llu %8u "
 798                 "%8u %8u %8u"
 799                 "\n",
 800                 disk_stat_read(disk, ios[READ]),
 801                 disk_stat_read(disk, merges[READ]),
 802                 (unsigned long long)disk_stat_read(disk, sectors[READ]),
 803                 jiffies_to_msecs(disk_stat_read(disk, ticks[READ])),
 804                 disk_stat_read(disk, ios[WRITE]),
 805                 disk_stat_read(disk, merges[WRITE]),
 806                 (unsigned long long)disk_stat_read(disk, sectors[WRITE]),
 807                 jiffies_to_msecs(disk_stat_read(disk, ticks[WRITE])),
 808                 disk->in_flight,
 809                 jiffies_to_msecs(disk_stat_read(disk, io_ticks)),
 810                 jiffies_to_msecs(disk_stat_read(disk, time_in_queue)));
 811 }
 812
 813 #ifdef CONFIG_FAIL_MAKE_REQUEST
 814 static ssize_t disk_fail_show(struct device *dev,
 815                               struct device_attribute *attr, char *buf)
 816 {
 817         struct gendisk *disk = dev_to_disk(dev);
 818
 819         return sprintf(buf, "%d\n", disk->flags & GENHD_FL_FAIL ? 1 : 0);
 820 }
 821
 822 static ssize_t disk_fail_store(struct device *dev,
 823                                struct device_attribute *attr,
 824                                const char *buf, size_t count)
 825 {
 826         struct gendisk *disk = dev_to_disk(dev);
 827         int i;
 828
 829         if (count > 0 && sscanf(buf, "%d", &i) > 0) {
 830                 if (i == 0)
 831                         disk->flags &= ~GENHD_FL_FAIL;
 832                 else
 833                         disk->flags |= GENHD_FL_FAIL;
 834         }
 835
 836         return count;
 837 }
 838
 839 #endif
 840
 841 static DEVICE_ATTR(range, S_IRUGO, disk_range_show, NULL);
 842 static DEVICE_ATTR(ext_range, S_IRUGO, disk_ext_range_show, NULL);
 843 static DEVICE_ATTR(removable, S_IRUGO, disk_removable_show, NULL);
 844 static DEVICE_ATTR(ro, S_IRUGO, disk_ro_show, NULL);
 845 static DEVICE_ATTR(size, S_IRUGO, disk_size_show, NULL);
 846 static DEVICE_ATTR(capability, S_IRUGO, disk_capability_show, NULL);
 847 static DEVICE_ATTR(stat, S_IRUGO, disk_stat_show, NULL);
 848 #ifdef CONFIG_FAIL_MAKE_REQUEST
 849 static struct device_attribute dev_attr_fail =
 850         __ATTR(make-it-fail, S_IRUGO|S_IWUSR, disk_fail_show, disk_fail_store);
 851 #endif
 852
 853 static struct attribute *disk_attrs[] = {
 854         &dev_attr_range.attr,
 855         &dev_attr_ext_range.attr,
 856         &dev_attr_removable.attr,
 857         &dev_attr_ro.attr,
 858         &dev_attr_size.attr,
 859         &dev_attr_capability.attr,
 860         &dev_attr_stat.attr,
 861 #ifdef CONFIG_FAIL_MAKE_REQUEST
 862         &dev_attr_fail.attr,
 863 #endif
 864         NULL
 865 };
 866
 867 static struct attribute_group disk_attr_group = {
 868         .attrs = disk_attrs,
 869 };
 870
 871 static struct attribute_group *disk_attr_groups[] = {
 872         &disk_attr_group,
 873         NULL
 874 };
 875
 876 static void disk_release(struct device *dev)
 877 {
 878         struct gendisk *disk = dev_to_disk(dev);
 879
 880         kfree(disk->random);
 881         kfree(disk->__part);
 882         free_disk_stats(disk);
 883         kfree(disk);
 884 }
 885 struct class block_class = {
 886         .name           = "block",
 887 };
 888
 889 static struct device_type disk_type = {
 890         .name           = "disk",
 891         .groups         = disk_attr_groups,
 892         .release        = disk_release,
 893 };
 894
 895 #ifdef CONFIG_PROC_FS
 896 /*
 897  * aggregate disk stat collector.  Uses the same stats that the sysfs
 898  * entries do, above, but makes them available through one seq_file.
 899  *
 900  * The output looks suspiciously like /proc/partitions with a bunch of
 901  * extra fields.
 902  */
 903 static int diskstats_show(struct seq_file *seqf, void *v)
 904 {
 905         struct gendisk *gp = v;
 906         struct disk_part_iter piter;
 907         struct hd_struct *hd;
 908         char buf[BDEVNAME_SIZE];
 909         int cpu;
 910
 911         /*
 912         if (&disk_to_dev(gp)->kobj.entry == block_class.devices.next)
 913                 seq_puts(seqf,  "major minor name"
 914                                 "     rio rmerge rsect ruse wio wmerge "
 915                                 "wsect wuse running use aveq"
 916                                 "\n\n");
 917         */
 918
 919         cpu = disk_stat_lock();
 920         disk_round_stats(cpu, gp);
 921         disk_stat_unlock();
 922         seq_printf(seqf, "%4d %7d %s %lu %lu %llu %u %lu %lu %llu %u %u %u %u\n",
 923                 MAJOR(disk_devt(gp)), MINOR(disk_devt(gp)),
 924                 disk_name(gp, 0, buf),
 925                 disk_stat_read(gp, ios[0]), disk_stat_read(gp, merges[0]),
 926                 (unsigned long long)disk_stat_read(gp, sectors[0]),
 927                 jiffies_to_msecs(disk_stat_read(gp, ticks[0])),
 928                 disk_stat_read(gp, ios[1]), disk_stat_read(gp, merges[1]),
 929                 (unsigned long long)disk_stat_read(gp, sectors[1]),
 930                 jiffies_to_msecs(disk_stat_read(gp, ticks[1])),
 931                 gp->in_flight,
 932                 jiffies_to_msecs(disk_stat_read(gp, io_ticks)),
 933                 jiffies_to_msecs(disk_stat_read(gp, time_in_queue)));
 934
 935         /* now show all non-0 size partitions of it */
 936         disk_part_iter_init(&piter, gp, 0);
 937         while ((hd = disk_part_iter_next(&piter))) {
 938                 cpu = disk_stat_lock();
 939                 part_round_stats(cpu, hd);
 940                 disk_stat_unlock();
 941                 seq_printf(seqf, "%4d %7d %s %lu %lu %llu "
 942                            "%u %lu %lu %llu %u %u %u %u\n",
 943                            MAJOR(part_devt(hd)), MINOR(part_devt(hd)),
 944                            disk_name(gp, hd->partno, buf),
 945                            part_stat_read(hd, ios[0]),
 946                            part_stat_read(hd, merges[0]),
 947                            (unsigned long long)part_stat_read(hd, sectors[0]),
 948                            jiffies_to_msecs(part_stat_read(hd, ticks[0])),
 949                            part_stat_read(hd, ios[1]),
 950                            part_stat_read(hd, merges[1]),
 951                            (unsigned long long)part_stat_read(hd, sectors[1]),
 952                            jiffies_to_msecs(part_stat_read(hd, ticks[1])),
 953                            hd->in_flight,
 954                            jiffies_to_msecs(part_stat_read(hd, io_ticks)),
 955                            jiffies_to_msecs(part_stat_read(hd, time_in_queue))
 956                         );
 957         }
 958         disk_part_iter_exit(&piter);
 959
 960         return 0;
 961 }
 962
 963 const struct seq_operations diskstats_op = {
 964         .start  = disk_seqf_start,
 965         .next   = disk_seqf_next,
 966         .stop   = disk_seqf_stop,
 967         .show   = diskstats_show
 968 };
 969 #endif /* CONFIG_PROC_FS */
 970
 971 static void media_change_notify_thread(struct work_struct *work)
 972 {
 973         struct gendisk *gd = container_of(work, struct gendisk, async_notify);
 974         char event[] = "MEDIA_CHANGE=1";
 975         char *envp[] = { event, NULL };
 976
 977         /*
 978          * set enviroment vars to indicate which event this is for
 979          * so that user space will know to go check the media status.
 980          */
 981         kobject_uevent_env(&disk_to_dev(gd)->kobj, KOBJ_CHANGE, envp);
 982         put_device(gd->driverfs_dev);
 983 }
 984
 985 #if 0
 986 void genhd_media_change_notify(struct gendisk *disk)
 987 {
 988         get_device(disk->driverfs_dev);
 989         schedule_work(&disk->async_notify);
 990 }
 991 EXPORT_SYMBOL_GPL(genhd_media_change_notify);
 992 #endif  /*  0  */
 993
 994 dev_t blk_lookup_devt(const char *name, int partno)
 995 {
 996         dev_t devt = MKDEV(0, 0);
 997         struct class_dev_iter iter;
 998         struct device *dev;
 999
1000         class_dev_iter_init(&iter, &block_class, NULL, &disk_type);
1001         while ((dev = class_dev_iter_next(&iter))) {
1002                 struct gendisk *disk = dev_to_disk(dev);
1003
1004                 if (strcmp(dev->bus_id, name))
1005                         continue;
1006                 if (partno < 0 || partno >= disk_max_parts(disk))
1007                         continue;
1008
1009                 if (partno == 0)
1010                         devt = disk_devt(disk);
1011                 else {
1012                         struct hd_struct *part;
1013
1014                         part = disk_get_part(disk, partno);
1015                         if (!part || !part->nr_sects) {
1016                                 disk_put_part(part);
1017                                 continue;
1018                         }
1019
1020                         devt = part_devt(part);
1021                         disk_put_part(part);
1022                 }
1023                 break;
1024         }
1025         class_dev_iter_exit(&iter);
1026         return devt;
1027 }
1028 EXPORT_SYMBOL(blk_lookup_devt);
1029
1030 struct gendisk *alloc_disk(int minors)
1031 {
1032         return alloc_disk_node(minors, -1);
1033 }
1034
1035 struct gendisk *alloc_disk_node(int minors, int node_id)
1036 {
1037         return alloc_disk_ext_node(minors, 0, node_id);
1038 }
1039
1040 struct gendisk *alloc_disk_ext(int minors, int ext_minors)
1041 {
1042         return alloc_disk_ext_node(minors, ext_minors, -1);
1043 }
1044
1045 struct gendisk *alloc_disk_ext_node(int minors, int ext_minors, int node_id)
1046 {
1047         struct gendisk *disk;
1048
1049         disk = kmalloc_node(sizeof(struct gendisk),
1050                                 GFP_KERNEL | __GFP_ZERO, node_id);
1051         if (disk) {
1052                 int tot_minors = minors + ext_minors;
1053                 int size = tot_minors * sizeof(struct hd_struct *);
1054
1055                 if (!init_disk_stats(disk)) {
1056                         kfree(disk);
1057                         return NULL;
1058                 }
1059
1060                 disk->__part = kmalloc_node(size, GFP_KERNEL | __GFP_ZERO,
1061                                             node_id);
1062                 if (!disk->__part) {
1063                         free_disk_stats(disk);
1064                         kfree(disk);
1065                         return NULL;
1066                 }
1067                 disk->__part[0] = &disk->part0;
1068
1069                 disk->minors = minors;
1070                 disk->ext_minors = ext_minors;
1071                 rand_initialize_disk(disk);
1072                 disk_to_dev(disk)->class = &block_class;
1073                 disk_to_dev(disk)->type = &disk_type;
1074                 device_initialize(disk_to_dev(disk));
1075                 INIT_WORK(&disk->async_notify,
1076                         media_change_notify_thread);
1077         }
1078         return disk;
1079 }
1080
1081 EXPORT_SYMBOL(alloc_disk);
1082 EXPORT_SYMBOL(alloc_disk_node);
1083 EXPORT_SYMBOL(alloc_disk_ext);
1084 EXPORT_SYMBOL(alloc_disk_ext_node);
1085
1086 struct kobject *get_disk(struct gendisk *disk)
1087 {
1088         struct module *owner;
1089         struct kobject *kobj;
1090
1091         if (!disk->fops)
1092                 return NULL;
1093         owner = disk->fops->owner;
1094         if (owner && !try_module_get(owner))
1095                 return NULL;
1096         kobj = kobject_get(&disk_to_dev(disk)->kobj);
1097         if (kobj == NULL) {
1098                 module_put(owner);
1099                 return NULL;
1100         }
1101         return kobj;
1102
1103 }
1104
1105 EXPORT_SYMBOL(get_disk);
1106
1107 void put_disk(struct gendisk *disk)
1108 {
1109         if (disk)
1110                 kobject_put(&disk_to_dev(disk)->kobj);
1111 }
1112
1113 EXPORT_SYMBOL(put_disk);
1114
1115 void set_device_ro(struct block_device *bdev, int flag)
1116 {
1117         if (bdev->bd_contains != bdev)
1118                 bdev->bd_part->policy = flag;
1119         else
1120                 bdev->bd_disk->policy = flag;
1121 }
1122
1123 EXPORT_SYMBOL(set_device_ro);
1124
1125 void set_disk_ro(struct gendisk *disk, int flag)
1126 {
1127         struct disk_part_iter piter;
1128         struct hd_struct *part;
1129
1130         disk->policy = flag;
1131         disk_part_iter_init(&piter, disk, DISK_PITER_INCL_EMPTY);
1132         while ((part = disk_part_iter_next(&piter)))
1133                 part->policy = flag;
1134         disk_part_iter_exit(&piter);
1135 }
1136
1137 EXPORT_SYMBOL(set_disk_ro);
1138
1139 int bdev_read_only(struct block_device *bdev)
1140 {
1141         if (!bdev)
1142                 return 0;
1143         else if (bdev->bd_contains != bdev)
1144                 return bdev->bd_part->policy;
1145         else
1146                 return bdev->bd_disk->policy;
1147 }
1148
1149 EXPORT_SYMBOL(bdev_read_only);
1150
1151 int invalidate_partition(struct gendisk *disk, int partno)
1152 {
1153         int res = 0;
1154         struct block_device *bdev = bdget_disk(disk, partno);
1155         if (bdev) {
1156                 fsync_bdev(bdev);
1157                 res = __invalidate_device(bdev);
1158                 bdput(bdev);
1159         }
1160         return res;
1161 }
1162
1163 EXPORT_SYMBOL(invalidate_partition);