2.82rc Release Notes

Release Name: 2.82rc

Release Date: 24 April 2009

Released: Windows, GNU/Linux, Mac OS/X and Source distributions of Greenstone v2.82rc

Important: This was a release candidate, i.e. a test version. If you are using 2.82rc, please upgrade to the 2.82 proper release. Sourceforge download

English version
This was a release candidate for the 2.82 release, which will also published on CD-ROM for UNESCO (Aug 2009)

Note for installation: On GNU/Linux and Mac OS/X please choose an installation directory that does NOT have spaces in the path.

Important changes in this release (since 2.81) include, in no particular order:

Local Library Server: now for Linux too
A version of the easy to use local library server for Windows is now available for GNU/Linux and Mac OS/X. While Windows uses a custom built webserver written to run under Windows 3.1, the Unix versions make use of the Apache webserver, which is installed automatically by the Greenstone installer.

After installation, go to your greenstone home directory and run ./gs2-server.sh to launch the Greenstone Server Interface (GSI) application which will startup the Apache web server. File->Settings on the server interface allows you to change the port that Apache runs on.

Launching GLI will startup the local library server, just as GLI does on Windows.

A command line script, gsicontrol.sh, allows you to start and stop the webserver and change the port via the console, instead of through the GSI interface. If you run ./gsicontrol.sh from the Greenstone home directory it will list the commands available.

If you wish to use a different webserver, this is still possible. For Apache, copy the config settings from greenstone/apache-httpd/linux/conf/httpd.conf to your own Apache httpd.conf file. Thereafter, rename gs2-server.sh (to, say, gs2-server.sh_LocalLib).

For this release, the top-level "gsdlsite.cfg" has been renamed to "llssite.cfg" (local library server configuration file) and its settings are used by the local library server on both Linux and Windows platforms. The "glisite.cfg" file remains as before and its settings are used when GLI launches the local library server.

The Windows local library server now restricts access to localhost connections unless the "allow external connections" option is set through File->Settings in the Greenstone Server Interface window.

The gsicontrol.sh script on Linux and gsicontrol.bat script on Windows additionally allow changing of the administrator password by running the script with "configure-admin".

Collection Building
Collection building now supports incremental deletion and modification of documents and metadata, as well as the previously available support for adding new documents.

The new functionality is controlled by the -incremental flag to import/buildcol.pl, or the "Minimal Rebuild" checkbox in GLI's Create Panel.

Incremental collection importing
File timestamps are used to detect modified files, and a global file scan is used to detect new or deleted documents. The easiest way to use this feature is to use the new incremental-import.pl script. The first time the collection is built, incremental-import.pl notices this and runs a full import.pl, otherwise it will run it with the -incremental flag.

Incremental collection building
Incremental indexing is only available with the Lucene indexer. MG/MGPP collections will exit with an error if you try to use the -incremental flag when running buildcol.pl. If you want to incrementally update your index directory, you need to use the -builddir option.

The new incremental-buildcol.pl script will call buildcol.pl with the appropriate options set.

The two stages can be run with incremental-rebuild.pl (which just calls incremental-import.pl followed by incremental-buildcol.pl).

Metadata coverage information is also available for collections. Add "store_metadata_coverage true" to the collect.cfg file, and rebuild. See http://wiki.greenstone.org/wiki/index.php/Building_Greenstone_collections#Can_I_get_any_information_about_the_metadata_coverage_in_my_collection.3F for more information.

GLI
Exploding a database file: the options you have set for the exploding plugin in the Design pane will now be used when exploding.

Search level metadata is now available for translation.

Library Systems Specialist mode has been removed. GLI now has three modes:
 * Library Assistant: No Design or Format panes. Just Gather, Enrich and Create.
 * Librarian: All panes available. Simplified Create pane, with fewer import/build options and simplified collection build output.
 * Expert: All panes available. Full Create pane, with all options and full import/build output visible

GLI now displays Right-to-Left for those languages that read right-to-left. Thanks to Amin Hedjazi for the code.

Remote GLI
Rename and Replace options (for documents in the collection tree) now available for the GLI client building collections on a remote Greenstone server.

Downloading is possible now from within the GLI client, if you have a local Greenstone installation and have set up the greenstone environment by running the setup script (setup.bat if on Windows and source setup.bash if on Linux).

Plugins
MARC(XML)Plugin now imports as Dublin Core, rather than extracted metadata. The marc2(q)dc.txt mapping files have been changed to handle this. Rebuilds of old MARC collections will need index/classifier/format statement upgrades to deal with the new metadata.

The marc2dc.txt mapping file has been updated to more closely match the LOC crosswalk.

OAIPlugin now has a -metadata_set option. If set to auto, the metadata will keep whatever namepsace it had in the file (eg dc). If set to something else, all elements will be mapped to that namespace. A special case exists for "dc": qualified dc elements are represented slightly differently in GLI: spatial becomes dc.Coverage^spatial. A mapping is provided to convert to the GLI version when dc is used.

MetadataEXIFPlugin (experimental): A new plugin is available to extract EXIF metadata from image, audio and video files. It uses the EXIF perl module from CPAN.This plugin works alongside rather that instead of the standard image and video plugins, so these still need to be included in the collection.

Classifiers
The List classifier has been renamed to SimpleList.

The GenericList classifier has been renamed to List, and is now the default classifier in GLI. We encourage use of List rather than AZList/AZCompactList as it handles non-ascii text.

OAIserver
oaiserver (Linux/Mac) and oaiserver.exe (Windows) have both been renamed to oaiserver.cgi.

A few enhancements have been made to the oaiserver program.
 * A check is made for collection existence before advertising it in a ListSets request.
 * Only metadata elements valid for the set will be shown in ListRecords/GetRecord.
 * Qualified Dublin Core is now supported as a metadataPrefix (gsdl_qdc).
 * A new field "oaimetadata" has been added to oai.cfg - this specifies the metadata sets that should be supported by the server (available options are oai_dc, frc1807, gsdl_qdc).
 * The mapping format in oai.cfg has been changed to use the set name (oai_dc, gsdl_qdc etc) instead of the set nmaespace (dc).
 * The XML results of OAI requests now include a stylesheet declaration, including the oai2.xsl stylesheet obtained from http://www.eprints.org/files/xslt/. This will give a nice display in browsers that support the stylesheet declaration.

Collection grouping
Greenstone now supports grouping collections into subfolders in the collect directory. A collection group folder must contain an etc folder with a collect.cfg file, with "collectgroup true" set. Collection metadata "collectionname" and "collectionextra" are used for display. Collections can be placed in a collectgroup folder.

In the library, a single icon will be presented on the Greenstone home page for the collect group (with the "collectionname" as title). Clicking this icon will take users to a second home page, containing all collections that are part of the group.

GLI is able to load and build, delete, and base collections on those in a collect group. But is not yet able to create one inside a group.

Collect groups can only be one level deep, i.e. you can't have a collectgroup inside another collectgroup.

The documented example collections are being updated for Greenstone 2.82, and will be re-released soon. They are now released as a collect group, so no longer clutter up the home page.

Source Code and File Structure
There is a new top-level web folder in a greenstone installation. This contains images, style, script, java, and flash folders. This replaces the old images folder, which used to contain CSS and flash files as well as images. New macros are available to access these folders: _httpimages_ (as well as old _httpimg_), _httpstyle_, _httpscript_, _httpflash_, _httpjava_. Collection specific versions of these folders can be accessed using the macros _httpcimages_, _httpcstyle_, _httpcscript_, _httpcflash_, _httpcjava_.

All GDBM files in Greenstone (collection databases as well as users, key, history databases) now use file extension gdb (instead of db/ldb/bdb). Note, a conversion step is applied to old collections, so they should still rebuild ok.

library (unix) and library.exe are both renamed to library.cgi.

Greenstone now compiles under Ubuntu. Please see http://wiki.greenstone.org/wiki/index.php/Compiling_Greenstone2_on_Ubuntu for more info on the necessary steps to do this.

Updated Translations
Thanks to the following people for updated translations since 2.81:


 * Amin Hedjazi for Farsi translations
 * Azad Paknejad for Farsi translations
 * Claudia Wanderley for Brazilian Portuguese translations
 * Diego Spano for Spanish translations
 * Guillaume Hatt for French translations
 * John Rose for French translations
 * Kalima Tuenbaeva for Kazakh translations
 * Kamal Salih Mustafa for Arabic translations
 * Lilly Ho for Traditional Chinese translations
 * Mohammad Hasanzadeh for Farsi translations
 * Nadia PK for Brazilian Portuguese translations
 * Neelawat Intaraksa for Thai translations
 * K. Rajasekharan and Sreekumar for Malayalam translations
 * Sergey Karpov for Kazakh and Russian translations
 * Shubha Nagarkar for Marathi translations
 * Sreekumar for Malayalam translations
 * Yvan Arnaud for French translations
 * Zhanat Kulenov for Kazakh translations
 * The LIS department of Humboldt University for German translations

...and many other minor improvements and bug fixes

We want to ensure that Greenstone works well for you. Please report any problems to the Greenstone mailing list greenstone-users@list.scms.waikato.ac.nz.

Versión Español
Thanks to Ana Sanllorenti, Biblioteca Central, FCEN-UBA (Faculty of Exact and Natural Sciences - University of Buenos Aires) who translated our original release notes.

Nota para la instalación: en GNU/Linux y Mac OS/X elija: un directorio de instalación que NO tenga espacios en la ruta (path)

Esta versión incluye los siguientes cambios importantes, sin un orden en particular:

Servidor local de biblioteca: ahora también para Linux (también)
Una versión del servidor local Windows de biblioteca, de uso sencillo, está ahora disponible para GNU/Linux y Mac OS/X. Mientras Windows usa un servidor Web personalizado, escrito para correr bajo Windows 3.1, las versiones Unix utilizan un servidor Apache, que es instalado automáticamente por el instalador Greenstone. Después de la instalación, vaya a su directorio raíz en Greenstone y corra ./gs2-server.sh para lanzar la aplicación Greenstone Server Interface (GSI) que iniciará el servidor Apache. Archivo-Configuración (File - Settings) en la interfaz del servidor le permite cambiar el puerto sobre el que corre Apache.

Al lanzar GLI se iniciará el servidor local de biblioteca, de la misma manera como GLI lo hace en Windows.

Una línea de comando, gsicontrol.sh, le permite arrancar y detener al servidor y cambiar el puerto a través de la consola, en lugar de a través de la interfaz GSI. Si Ud. corre ./gsicontrol.sh desde el directorio raíz en Greenstone, listará los comandos disponibles.

Si Ud. desea utilizar un servidor Web diferente, también es posible. Para Apache, copie la configuración desde Greenstone/apache-httpd/linux/conf/httpd.conf a su propio archivo de configuración httpd.conf file. A posteriori, renombre gs2-server.sh (a, p.ej.), gs2-server.sh_LocalLib).

Para esta versión, el "gsdlsite.cfg" superior ha sido renombrado a "llssite.cfg" (archivo de configuración del servidor local de biblioteca) y sus especificaciones son usadas por el servidor local de biblioteca tanto en las plataformas Linux como Windows. El archivo queda como antes y y sus especificaciones son usadas cuando GLI lanza el servidor local de biblioteca.

El servidor local Windows de biblioteca ahora restringe el acceso a conexiones locales, a menos que la opción "permitir conexiones externas" (“allow external connections”) haya sido configurada a través de Archivo-Configuración (File - Settings) en la ventana de la interfaz del servidor Greenstone.

Los scripts gsicontrol.sh en Linux y gsicontrol.bat en Windows permiten además cambiar la password del administrador corriendo el script con "configure-admin".

Creación de colecciones:
La creación de colecciones soporta ahora el borrado incremental y la modificación de documentos y metadatos, como también los soportes disponibles previamente para agregar nuevos documentos.

(The new functionality is controlled by the -incremental flag to import/buildcol.pl, or the "Minimal Rebuild" checkbox in GLI's Create Panel.)

La nueva funcionalidad es controlada por el flag incremental para import/buildcol.pl, o por el checkbox "Minimal Rebuild" en el Panel de Creación GLI (GLI's Create Panel)

Importación incremental de la colección
Las fechas de los archivos se usan para detectar archivos modificados, y un escaneado global permite detectar documentos nuevos o borrados. La manera más sencilla de usar esta característica es usar el nuevo script incremental-import.pl. La primera vez que se construye la colección, incremental-import.pl nota esto y corre un import.pl completo, si no, lo correrá con el -incremental flag.

Creación incremental de la colección
La indización incremental sólo está disponible con el indexador Lucene. Las colecciones MG/MGPP tendrán (existirán con) un error si Ud. trata de usar el -incremental flag mientras corre buildcol.pl. Si Ud. quiere actualizar incrementalmente su directorio índice, necesitará usar la opción -builddir.

El nuevo script incremental buildcol.pl llamará a buildcol.pl con el juego apropiado de opciones.

Las dos etapas pueden correrse con incremental-rebuild.pl (que llama a incremental-import.pl seguido de incremental-buildcol.pl).

La información para cobertura de metadatos está también disponible para las colecciones. Add "store_metadata_coverage true" to the collect.cfg file, and rebuild. See http://wiki.greenstone.org/wiki/index.php/Building_Greenstone_collections#Can_I_get_any_information_about_the_metadata_coverage_in_my_collection.3F para más información.

GLI: (Interfaz del Bibliotecario Greenstone)
“Exploding” un archivo de base de datos: Las opciones que usted ha configurado para el plugin “exploding” en el Panel de Diseño, serán usadas ahora cuando se ejecute el “exploding”. Están listos para ser traducidos metadatos a nivel de búsqueda (están listos para ser traducidos.) Se quitó el modo Especialista en Sistemas de Biblioteca. GLI (IBG) tiene ahora tres modos:
 * Asistente bibliotecario: no tiene paneles de formato o diseño. Sólo Reunir, Enriquecer, y Crear.
 * Bibliotecario: todos los paneles disponibles. Panel Crear simplificado, con menos opciones importar/crear y salida simplificada de creación de colecciones.
 * Experto: todos los paneles disponibles. El panel Crear Completo (Full Create), con todas las opciones y salidas importar/crear completas y visibles.

GLI ahora muestra de derecha a izquierda para aquéllas lenguas que leen en ese sentido. Gracias a Amin Hedjazi por el código.

GLI remota

 * Renombrar y reemplazar opciones (para documentos en el árbol de la colección) ahora disponible para el cliente GLI que crea colecciones en un servidor Greenstone remoto.
 * Ahora es posible descargar desde dentro de un cliente GLI, si Ud. tiene una instalación Greenstone local y configuró el ambiente Greenstone corriendo el script de configuración (setup.bat en Windows y source setup.bash en Linux).

Plugins
El plugin MARC(XML) ahora importa como Dublin Core, antes que como metadatos extraídos. Los archivos de mapeo marc2(q)dc.txt han sido modificados para manejar esto. Las reformulaciones de viejas colecciones MARC necesitarán actualizar sus declaraciones de índice/clasificador/formato para trabajar con estos nuevos metadatos.

El archivo de mapeo marc2dc.txt ha sido actualizado para adaptarse mejor al esquema de la LOC.

El plugin OAI tiene ahora una opción -configurar_metadato. Si se coloca en auto, el metadato conservará cualquier espacio de nombre que tenía en el archivo (p.ej. dc). Si está configurado de cualquier otra manera, todos los elementos serán mapeados a ese espacio de nombre. Un caso especial existe para "dc": los elementos calificados dc son representados un poco diferentemente en GLI: espacial se transforma en dc.Cobertura^espacial. Se provee un mapeo para convertir a la versión GLI cuando se usa dc. Plugin MetadataEXIF (experimental): un nuevo plugin está disponible para extraer metadatos EXIF de archivos de imagen, audio y video. Utiliza el módulo perl EXIF perl module de CPAN. Este plugin trabaja junto, antes que en lugar de los plugins standard para audio y video, de manera que éstos aún necesitan ser incluídos en la colección.

Clasificadores
La lista clasificadores se ha renombrado como ListaSimple. El clasificador ListaGenérica ha sido renombrado como Lista, y ahora es el clasificador por defecto en GLI. Alentamos el uso de Lista antes que AZList/AZCompactList ya que maneja texto no-ascii.

Servidor OAI
Tanto el servidor OAI (Linux/Mac) como el oaiserver.exe (Windows) han sido renombrados a oaiserver.cgi. Se hicieron algunas mejoras al programa oaiserver.
 * Se hace un chequeo para verificar la existencia de la colección antes de publicitarlo en un pedido ListSets.
 * Sólo aquéllos elementos de metadatos válidos para el set serán mostrados en ListRecords/GetRecord.
 * El esquema Dublin Core Calificado ahora es soportado como prefijo (gsdl_qdc).
 * Un nuevo campo "metadatos OAI" se agregó a oai.cfg - esto especifica los juegos de metadatos que deben ser soportados por el servidor (las opciones disponibles son oai_dc, frc1807, gsdl_qdc).
 * El formato de mapeo en in oai.cfg se ha cambiado para usar el nombre del juego (oai_dc, gsdl_qdc etc) en lugar del espacio de nombre del juego (dc).
 * Los resultados XML results de pedidos OAI incluyen ahora una declaración de hoja de estilo, incluyendo la hoja de estilo oai2.xsl obtenida desde http://www.eprints.org/files/xslt/. Esto otorgará una agradable visualización en los navegadores que soporten la declaración de hoja de estilo.

Agrupamiento de colecciones
Greenstone soporta ahora el agrupamiento de colecciones en subcarpetas en el directorio Collect. Una carpeta de colecciones agrupadas debe contener una carpeta etc. con un archivo collect.cfg file, y el set "collectgroup true". Los metadatos de colección "collectionname" y"collectionextra" se usan para la visualización. Las colecciones pueden ubicarse en una carpeta Agruparcolección. En la biblioteca, se presentará un solo ícono en la home page de Greenstone para la colección agrupada (con el "NombreColección" como título). Cliqueando este ícono el usuario es llevado a una segunda home page que contiene todas las colecciones que forman parte del grupo.
 * GLI puede cargar y crear, borrar y basar colecciones sobre aquéllas que están agrupadas. Pero todavía no puede crear una dentro de un grupo.
 * Las colecciones agrupadas pueden tener sólo un nivel de profundidad, vale decir, no se puede tener una colección agrupda dentro de otra colección agrupada.

Las colecciones de ejemplo documentadas están siendo actualizadas para Greenstone 2.82, y serán relanzadas pronto. Ahora son publicadas como una colección agrupada, de manera que no hay que saturar más la home page.

Código fuente y estructura de archivos
Hay una nueva carpeta web tope en la instalación de Greenstone. Contiene carpetas para imágenes, estilo, programas, java y flash. Reemplaza a la vieja carpeta de imágenes, que solía contener archivos flash y CSS como así también imágenes. Hay nuevas macros disponibles para acceder a estas carpetas: _httpimages_ (as well as old _httpimg_), _httpstyle_, _httpscript_, _httpflash_, _httpjava_. Collection specific versions of these folders can be accessed using the macros _httpcimages_, _httpcstyle_, _httpcscript_, _httpcflash_, _httpcjava_.

Todos los archivos GDBM files en Greenstone (bases de datos de colecciones como también usuarios, clave, bases de datos históricas) usan ahora extensiones gdb (en lugar de db/ldb/bdb). Note que se aplica una instancia de conversión a colecciones viejas, de manera que deberían reformularse sin problemas. Biblioteca (unix) y biblioteca.exe son ambos renombrados como library.cgi.

Greenstone ahora compila bajo Ubuntu. Vea por favor http://wiki.greenstone.org/wiki/index.php/Compiling_Greenstone2_on_Ubuntu para más informción sobre los pasos necesarios para hacer esto..

Traducciones
Gracias a:


 * Amin Hedjazi por las traducciones al farsi
 * Claudia Wanderley por las traducciones al portugués de Brasil
 * Diego Spano por las traducciones al español
 * Olga Arias por traducciones al español
 * John Rose por traducciones al francés
 * Kalima Tuenbaeva por traducciones al kasajo
 * Kamal Mustafa por las traducciones al árabe
 * Lilly Ho por las traducciones al chino tradicional
 * Nadia PK por las traducciones al portugués de Brasil
 * Neelawat Intaraksa por las traducciones al tailandés
 * Sergey Karpov por las traducciones al ruso y al kasajo
 * Sreekumar and K. Rajasekharan for las traducciones al malayo
 * Zhanat Kulenov por traducciones al kasajo

...y muchos otras mejoras menores y solución de bugs.

Queremos asegurarnos que Greenstone funciona. Rogamos informar sobre cualquier problema a la lista de discusión de Greenstone mailing list greenstone-users@list.scms.waikato.ac.nz.