What does the future hold in store for filesystem and storage technologies? Why is it that there has been a flowering of new filesystems showing up in Linux in the last 18 months?

There have been many new file system and storage technologies which have arrived in Linux in the past year or two. New filesystems that have recently become available inclde ext4, btrfs, and UBIFS. On the storage technology sides, we have seen the advent of Sold State Drives, Data Integrity Fields, and 4k sectors.

This talk will place into context the developments and changes in technology that have driven these new innovations, and what it means for the users of the Linux File System and Storage Stack.

Wie professioneel met zijn data om wil springen is het van belang om dat zo veilig mogelijk te doen, met minimale kans op verlies. Als Unix-gebruikers hebben we niet eens zulke gekke eisen qua opslagruimte, zolang het maar wel flexibel en alleen voor onszelf toegankelijk is.

Deze lezing is een ervaringsverslag van de inrichting van een cluster dat we thuis, of in een klein bedrijf, kunnen gebruiken om dit te realiseren. Er werd uitgegaan van een Fit-PC 1.0, een volledige PC op basis van de Geode LX processor, die maar 3 tot 5 watt trekt. Door er twee te gebruiken, en die op andere plekken in een gebouw op te stellen, ontstaat een hogere veiligheid dan RAID-1 kan bieden. Je raadt het al, de kleine PC'tjes hebben als koosnaampjes Jip en Janneke gekregen.

De uitdaging is vervolgens om de distributie volledig trensparant te maken voor een veelvoud aan protocollen. Oplossingen daarvoor worden steeds gangbaarder: MySQL replication, Darcs, clusterfilesystemen OCFS2 en GFS, shared block devices met DRBD, enzovoort. Dit verhaal gaat over de ervaringen bij het inrichten van dit systeem.

ZFS is a new file system in Solaris 10. It was written from scratch to deliver provable data integrity; immense capacity; excellent performance; and simple administration. ZFS is based on pooled storage that eliminates traditional volumes. Probably the most compelling feature of ZFS is its end-to-end data integrity. No longer is bad data returned to the user or bad meta data used internally. When coupled with redundancy (mirroring or RAID) this provides self healing. Internally, ZFS uses a transactional architecture to ensure the pool is always self consistent. No more fsck! ZFS gets its high performance from its copy-on-write design (which turns random writes into sequential writes), multiple blocks sizes, dynamic striping and intelligent prefetch. Finally, many customers are praising the simple easy to use and understand user interface that ZFS provides for managing their storage.

Clustered storage is a very popular topic. Together with the Open Source software CTDB, Samba 3.3 allows for setting up a freely scaling clustered CIFS Server that shares a distributed file system - a feature that current Microsoft servers do not offer!

One of the major challenges Samba has to solve when serving files from multiple nodes of a cluster file sytem is keeping its internal locking TDB databases coherent while still scaling in performance as the number of nodes increases. Naïve approaches have shown this to be a serious problem, which has finally been solved with the invention of CTDB, the clustered implementation of TDB.

This presentation explains the problems Samba faces in a clustered environment and describes the design principles of CTDB. Then it is shown how to configure Samba and CTDB in a file system cluster. Features of CTDB such as recovery and IP failover are covered as well as newer features of clustered Samba like cluster-wide configuration via the new registry based configuration system.

We schrijven 2009, lokale storage is al jaren uit. Er zijn ook al jaren vele aanbieders van goede SAN producten. Kwaliteitsmateriaal, maar zeker niet goedkoop, en veelal uitgeleverd als grote zwarte gesloten kasten vol met exotische hardware. Unix/Linux bewijst zijn veelzijdigheid, door op dit moment alweer in zeker twee gedaantes een kostenefficienter alternatief te vormen.

In deze presentatie worden twee concrete scenario's gepresenteerd die een goed werkende setup vormen. De doelstelling van een hoog beschikbaar SAN, zonder 'single point of failure' worden hierin behaald met een stapeling van industriestandaard hardware, ethernet en opensource software. De software stacks bevatten onder andere Linux, drbd replicatie, iSCSI targets en initiators en multipathing. Geheel in unix stijl leveren deze bouwstenen veel vrijheidsgraden en flexibiliteit op, waardoor samenstelling zorgvuldig dient te geschieden. De scenario's beogen inzetbaar te zijn in een enterprise omgeving maar kunnen vanwege de kostenefficientie ook voor kleinere omgevingen bruikbaar zijn, waardoor een breed schaalbare standaardoplossing ontstaat. Wellicht een manier om een optimale prijs/prestatie uit de IT-infrastructuur te halen en hiermee IT afdelingen zonder kleerscheuren door de kredietcrisis te kunnen trekken.

libferris is a virtual filesystem that runs in the user address space and can be exposed through FUSE. I have focused on the FUSE binding at my OLS 2007 talk where I built up the use of the untouched rsync tool with libferris-FUSE mount points at each end from a simple example to syncing between PostgreSQL databases.

There are a few dragons to the later because you can't just create "a file" in a mounted postgresql database table, you always have to supply atleast the primary key material and if you have a decent db design the foreign keys too. The FUSE binding to libferris has been extended to allow the toughest case to work: syncing data into a postgresql table. Options were needed to inform the FUSE binding of what data it should wait for before it actually performs the underlying writes to the libferris API. Incidentally, this is not the only place in libferris where delayed writes are imperative. When you are performing an action like applying XSLT like the xsltfs: filesystem does, you can only get acceptable performance if you have libferris hold off write commits for output XML files until the entire transform is complete.

For these next examples, keep in mind that libferris sees XML as a filesystem (you can mount XML), and a filesystem as XML (you can get a shallow DOM from any libferris virtual filessytem). Also note that explicit mount operations are not really used in libferris. If you want to dig into a Berkeley db or XML file, just fcat /tmp/foo.xml/root/fred directly. Also if you want to get at postgresql data, use postgresql:localhost/mydb/mytable etc. This is an important point when combined with the exposing of libferris through a DOM or XQilla interface as you can get to a whole bunch of data through a single "document".

The combination of libferris-FUSE and xsltfs: allows for some interesting possibilities. One example is that libferris supports geotagging. Of course, libferris being a virtual filesystem, and me being who I am, you can access your geotags as a virtual filesystem though libferris. Unfortunately, writing digital longitude and latitude values into these virtual files is not the most human friendly interface. Using the thumb markers in google earth is a much simpler way to record places of interest. To solve this, I use xsltfs: to transform the geotag filesystem into a virtual filesystem that has the same schema as a KML file. Then, using libferris-FUSE I expose this KML filesystem as a single file though the kernel. Google earth can then open this "file" and your geotags appear as thumb markers in the app. The fun part comes when you add some more markers in google earth and press save. The file is written back the the libferris-FUSE file which then causes libferris to apply a reverse XSLT to the data and update its geotag filesystem. So you get to use an application that is specialized at editing a type of information, with no changes at all to that application, but you are editing very strange data instead of normal KML files.

Another example of the libferris-FUSE and xsltfs: combination is using OpenOffice to edit data stored in PostgreSQL databases or RDF stores. libferris applies transformations for you in its xsltfs: implementation and you expose office documents through FUSE that OpenOffice reads and writes.

This talk on clustering will define and describe how NetApp filers (storage appliances) deal with this feature, what are the available cluster modes like single image/partner/standby mode, what is the impact on the multipathing solutions of these options in terms of availability and costs and as well a view of what really happens in clustering at NetApp. A real Active/Active solution will be demonstrated, and a failure demo showing how failover negotiation happens in relation to the failure issue or maintenance window will be part of the talk. The demo will show how the different protocols that serve data will react.

Efficiency: NetApp is well known for its NAS solutions, but SAN solutions are not standing still. We will take the opportunity to speak about the basics of SAN and why backing up is not easy due to its design (taking a snapshot of SAN objects is not cheap). Regarding NetApp efficiency in disk space, there will be a description of the interesting feature of Thin Provisioning or how to optimize the disk space in a "grow as you go" model. A live demo will be presented on Thin Provisioning and Cloning that can permit a deployement of 100 vmware machines in a reduced disk space and less than 15min.

This presentation will discuss history of ext4, its features and advantages, and how best to use the ext4 filesystem. The latest generation of the ext2/ext3 filesystems is the ext4 filesystem, which recently left the development status of 2.6.28. With extents, delayed allocation, multiblock allocation, persistent preallocation, and its other new features, it is substantally faster and more efficient compared to the ext3 filesystem.

TBD

Hoe zorg ik ervoor als storage engineer dat ik maximale flexibiliteit heb richting eindgebruikers en business owners, en toch vrijheid van handelen houd voor optimalisaties en migraties?

Iedere storage engineer wil maximale vrijheid en onbeperkte mogelijkheden. Deze presentatie laat aan de hand van een aantal voorbeelden zien hoe eisen van de business owners kunnen worden verwoord tot een beheersbaar, redundant en flexibel storage ontwerp.

De presentatie bevat zowel technische als procesmatige handvatten om tot een referentiemodel te komen waarmee zowel de storage engineers als de business owners tevreden zijn. Deze handvatten kunnen vervolgens gebruikt worden om de juiste storage leverancier te kiezen die past bij deze technische en zakelijke eisen.

Door storage requirements en business requirements met elkaar te combineren, komt men tot een afgewogen referentiemodel (storage tiers), welke continue bruikbaar is tijdens gebruik en uitbreiding van de storage omgeving.

I shall offer a detailed overview of some of our current and future development work. Topics, amongst others, will include:

• the integration of LVM and device-mapper with udev;
• recent work to improve speed and performance of the command line tools;
• how and why we are supporting I/O barriers in the kernel;
• planned improvements to our snapshot support.

Met name FC dinosaurussen beschouwen iSCSI nog steeds als onvolwaardig. Inmiddels heeft iSCSI zich in de praktijk ruimschoots bewezen. Alleen voor extreem IO intensieve toepassingen is FC geschikter, maar is iSCSI in een decicated IP netwerk niet minder betrouwbaar. Met betaalbare 10 Gbit oplossingen en 100 Gbit op komst is iSCSI voor vrijwel alle SAN oplossingen geschikt.

De opvolger van iSCSI wordt FCoE, maar we moeten indien FCoE dit jaar wordt gecertificeerd nog minimaal 2 jaar geduld hebben voordat er betrouwbare en betaalbare oplossingen op de markt komen. Ondertussen kunnen we met iSCSI de stap naar FCoE qua netwerk voorbereiden.

Ik vertel de ontwikkeling van iSCSI en geschiedenis van beschikbare iSCSI hardware tot nu toe. Ik geef een overzicht van de op dit moment beschikbare iSCSI oplossingen inclusief de snapshot, mirroring en replicatie mogelijkheden Ik deel mijn ervaringen met iSCSI implementaties met zowel PeerStorage arrays van Dell/EqualLogic als SANiQ van HP/Lefthand Networks bij klanten van IT-Data.

Door de grote verbreiding van woordgebaseerde zoekmachines als Google zijn we het langzamerhand gewoon gaan vinden in teksten te zoeken met behulp van enkele losse woordjes. We weten haast niet meer beter en zijn er heel bedreven in geworden. Toch zijn er duidelijke tekortkomingen aan deze manier van zoeken: steeds krijg je veel te veel of te weinig hits, je moet maar raden welke woorden je in de query moet gebruiken of daaraan toevoegen en voor sommige zoekvragen lukt het gewoon niet om door de brei van (vaak commerciële) onzin heen te komen.

Deze voordracht gaat over de ideeën achter de experimentele zoekmachine PHASAR, die daarvoor een alternatief probeert te bieden, door het gebruik van phrasen in plaats van woorden als zoektermen, en ondersteuning van het zoeken vanuit de index en de thesaurus. PHASAR wordt op een andere manier gebruikt dan Google, heeft een heel ander gebruikersinterface en is niet geschikt voor de gemiddelde Microsoft gebruiker. Voor professioneel zoeken (bijvoorbeeld in patent teksten) biedt PHASAR echter ongekende nieuwe mogelijkheden.

Het PHASAR prototype (een literatuur zoekmachine op 17 miljoen Medline abstracts) wordt gedemonstreerd. Daarna wordt ingegaan op twee technische aspecten die beslissend zijn voor de efficiency van deze nieuwe technologie: het matchen van queries tegen documenten en het analyseren en indiceren van grootschalige teksten.

Deze voordracht treft verscheidene thema's van de NLUUG conferentie: Zoeken en terughalen, Zoeken in ongeordende gegevens, Enorme data opslag. Maar vooral geeft de voordracht een blik op nieuwe technische problemen, opgeworpen door nieuwe toepassingen.

The Device-Mapper, as a general purpose mapping subsystem, is part of the Linux kernel since back in the 2.5 development cycle and is shared by applications such as LVM2, dmraid, kpartx, multipathd etc.

Details of any particular mapping (e.g. a mirrored device) are abstracted via pluggable mapping targets (i.e. kernel modules), hence enabling addition of new mappings to a running system.

A new target, the author has been working on since late 2007, is the Replicator Target to cope with disaster recovery requirements in Enterprises. It allows for remote data replication of arbitrary groups of block devices as a single, write-ordered entity to multiple remote sites, supports synchronous and asynchronous replication and fallbehind thresholds to automatically switch from asynchronous to synchronous mode and back, beside other features.

We are currently in the middle of a storage shift --from rotating magnetic disks to silicon-based flash media. With the change of media, there comes a change of accompanying problems. Rotational latency is replaced with large blocks and wearout. The change in media allows for two design principles.

Either leave the storage system from the device drivers up unchanged and fashion solid state "disks" that behave largely like traditional hard drives, hiding any differences in device firmware. Several device manufacturers have picked this approach, and for good reasons. It provides a market differentiator and an argument for higher prices.

Alternatively one can leave the flash largely as-is and change the storage system to match the new devices. LogFS is one example for this approach, providing a filesystem designed for raw flash and commodity devices alike. This presentation will give an introduction of LogFS. It will explain limitations in flash devices, show how to achieve decent performance with such limitations and --hopefully-- provide some enternainment for the crowd.

De belangrijkste stap bij het zoeken naar informatie is het herkennen van informatie. Strigi is een unieke desktop zoekmachine die gericht is op het efficiënt extraheren van gedetailleerde informatie uit data.

Het programma is gebouwd op twee elegante bibliotheken die eenvoudig gebruikt kunnen worden. De eerste, libstreams, stelt files en delen van files beschikbaar op een uniforme manier. Zelfstandige files die onderdeel uitmaken van zipbestanden, email attachements of ingebed zijn in PDF of Word documenten zijn via één interface te lezen. Dit maakt het mogelijk voor de tweede bibliotheek, libstreamanalyzer, om veel informatie te extraheren uit verschillende bestandsformaten. Een bestand dat in een zipfile verstopt is die aan een email hangt, wordt eenvoudig gevonden. De streaming architectuur van Strigi zorgt ervoor dat dit met minimale geheugen- en processoroverhead gebeurt.

Het KDE project maakt uitgebreid gebruik van Strigi en de bibliotheken van Strigi. libstreamanalyzer wordt gebruikt om metadata te tonen in applicaties. Nepomuk-KDE, de KDE implementatie van het semantische desktop project Nepomuk, en Akonadi, de PIM oplossing van KDE,gebruiken Strigi om bestanden te indexeren en te zoeken. Door de minimale technologische en eigendomsrechtelijke afhankelijkheden --Strigi is een klein LGPL C++ project-- is er veel potentie om Strigi breder in te zetten, bijvoorbeeld voor het integreren van metadata-indexen in (netwerk) filesystemen.

This talk will give insights into the challenges of a "shared nothing" clustering storage replication solution has deal with. Besides the challenges some of the methods and algorithms used in DRBD-8 are presented: data generation UUDIs, resync-bitmap, the activity log, detection of conflicting writes and barrier semantics mapping. The features that became available with the release of DRBD-8.3 will of course be presented as well: device stacking, checksum based resync. Which can be used to set up disaster recovery nodes in addition to a conventional cluster. In the second part of the talk the current state of affairs on the future evolution (DRBD-9) is given: transfer log on stable storage, more than two nodes, new ways of identifying the most up to date data (dagtag). At the end of the talk a few of the benefits of the new building blocks will get pointed out: Snapshots after the fact and the "follow the sun" model.

WebDAV is an extension of HTTP to offer web-based storage. Originally envisioned as a protocol for distributed authoring and versioning it never got beyond web-based storage.

WebDAV is used by companies to offer remote storage to their customers. Examples of WebDAV for storage are Apple's .Mac and the XS4ALL webdisk. WebDAV can be a very effective webbased storage solution, but there are a lot of caveats, because of bugs in clients and intentional sabotage by big software vendors, which limit the use.

This talk will focus on how to set up a WebDAV server with Apache on a Unix system, what issues there are with certain clients, what you can do to avoid or circumvent these problems and how this impacts what you can do with your system.