La Universidad Intercultural de Chiapas es una institución nueva en San Cristóbal con la misión  de proporcionar mas oportunidades de educación superior de calidad a los jóvenes de la zona. El término "intercultural" viene del reconocimiento que la zona de los Altos de Chiapas esta compuesta de diversos grupos étnicos.

La UNICH recientemente me contactó para ayudar a analizar una propuesta para un laboratorio de información geográfica. El presupuesto inicial fue de 809,000 pesos. Una parte sustancial de este gasto (135,000 pesos) estaba en el rubro de Software. No estaba bien calculado, dado de que la intención fue comprar solamente una licencia para cada elemento. Este corría el riego de uno de dos resultados. 1) El uso muy restingido del laboratorio. 2) La tentación de usar software sin haber pagado correctamente por los derechos. Hoy en día herramientas geográficas deben estar puesto a la disposición de todos, particularmente los jóvenes procedentes del ámbito rural alrededor de San Cristóbal.

Hoy escribí una nueva propuesta para el laboratorio basado en el uso de Software libre. Esta disponible haciendo clic abajo.

unich

Developing the exporter was pretty straightforward. I used the SharpMap.Converters.WellKnownText.GeometryToWKT class as a template. I created a GeoJson namespace and put a GeometryToGeoJson class in it. I then set about replacing the logic in the WKT with logic that generates GeoJSON. This should result in a class that behaves in the same way as its WKT counterpart but emits GeoJSON instead.

At this point, I am only dealing with geometry and geometry collections. I plan to move on to exporting feature collections in the near future. Also, I still need to persist the CRS information into the GeoJSON output.

Step 1: Building the GeoJSON Writer

As I mentioned, building the converter was pretty straightforward. I really just had to modify the logic of the existing WKT writer. I based the output on GeoJSON 1.0 RC1. The writer currently outputs points, linestrings, polygons, the various “multi” flavors of those and geometry collections. As mentioned above, I haven’t gotten to features or CRS information yet.

Step 2: Testing the Output

I used the OpenLayers “Vector Formats” example as a testbed. I built a simple WinForms GUI in which I could paste a WKT string, convert that to a SharpMap geometry and then write out GeoJSON from that. I then pasted the output into the OpenLayers demo and tried to render it. That process validated the outputs for each of the geometry types pretty quickly.

Step 3: Generate Output From a Data Set

Next, I modified the existing OpenLayers GeoJSON demo to make a call back to a server to retrieve GeoJSON from a SharpMap application. The existing demo has a GeoJSON string hard-coded into the JavaScript. I merely replaced this with an AJAX call that retrieves it from the server.

Next, I built an ASP.NET handler (thanks @TheSteve0) to receive the call from the client, access the data (PostGIS in this case, served from that data I’ve been using for my ArcSDE work), write the geometries into a GeoJSON geometry collection and return it back to the client. Currently, the client passes a query string to tell the server what data is being requested. I plan to implement that in a RESTful manner in a future iteration but this works for now.

Step 4: Running the Code and Displaying the Data

I changed the OpenLayers demo page only minimally to make a call to retrieve the GeoJSON. I implemented an asynchronous call so the basemap would display without waiting for the GeoJSON data to come back. The data set I used contained 408 military installation polygons stored in PostGIS. SharpMap seems to persist the data fairly quickly but it bogged down on the client side on my first run. In both IE and FireFox, the browser would hang and eventually display a message that a script was causing the browser to run slowly. In each case, I had to terminate the script.

On my second pass, I throttled the server-side code back to return only the first ten records. In this case, it returned and displayed almost instantaneously. There were my installation polygons!

On each successive pass, I increased the number of polygons and the client side slowed down down accordingly. Somewhere around 300 polygons, it ground to a halt. I put an alert box in before this call in the client-side javascript:

[sourcecode language="javascript"]
vector_layer.addFeatures(geojson_format.read(gj));
[/sourcecode]

That alert always displays very quickly so there seems to be something inefficient about the geojson_format.read call. I’d dig into that more but I upgraded to FireFox 3, which has my FireBug broken (grrrrr). I’ll look into that more later (I have the additional problem of being javascript-challenged). Anyway, OpenLayers was more of a visualization tool for the SharpMap effort so I’m less concerned with that issue at the moment.

As the title of the post implies, I’ll circle back around and update things as I progress. I need to clean up the code for the writer (all of the comments are still the ones from the WKT writer). Additionally, I need to now look at extending to write features, not just geometry. I also want to make the server-side app RESTful. Eventually, I’ll also deploy the app to a demo location where anyone can hit it. As you can see, I have my work cut out for me.

BTW, here are the versions involved on this pass:
OpenLayers: 2.6
SharpMap: 0.9 build 34320
Visual Studio: 2008
PostGIS: 1.3.3

While it is probably necessary to know a bit about the process of importing functions and languages and creating templates it is no longer necessary to get a basic PostGIS data base up and running.

If these instructions are followed carefully with Ubuntu Heron, at the time of writing, you will get PostGIS running with QGIS in a few minutes.

First place the following in your sources list either using synaptics or pasting the line at the bottom of  /etc/apt/sources.list  (sudo gedit /etc/apt/sources.list)

deb http://ppa.launchpad.net/qgis/ubuntu hardy main

Then

sudo apt-get update
sudo apt-get install qgis
sudo apt-get install postgresql-8.3
sudo apt-get install postgis
sudo apt-get install postgresql-8.3-postgis
sudo apt-get install pgadmin3

One small step that is necessary is to change the user password for postgres within the database as for some reason after installing PostGIS it is no longer the default value "postgres" (Although the linux password for postgres is) . You can do this with psql. Care needed here. This has to be done correctly. The following line gets you into psql.

sudo -u postgres psql -d template1

Type this (being very careful with quotation marks and the semicolon).

alter user postgres with password 'postgres';

If successul you get a message saying ALTER ROLE (If there is any problem here then retype the single quotation marks to make sure they are simple. Wordpress keeps changing them for some reason if they are not in an HTML box).

Then exit psql with \q or control d

Now create a database

sudo -u postgres createdb gisdb

Download a small test database with the countries of the word from this site with wget. Again the file  is disguised as a word doc in order to go into the wordpress site.

wget http://duncanjg.wordpress.com/files/2008/09/paises.doc

Restore this database.

sudo -u postgres psql gisdb<paises.doc

Now run qgis and connect to your new PostGIS data base.

You can then experiment importing shapefiles into the database using the graphical plugin "SPIT" and looking at the structure of the database using pgadmin.

The trial database with a single countries of the world table can also be downloaded without wget by clicking here.

paises

Se puede exportar facilmente de una base de datos PostGIS con una consulta usando ogr2ogr. Por ejemplo

ogr2ogr -f "KML" conteo2005.kml "PG:dbname=gisdb" -sql "SELECT nom_loc,pobtot,the_geom from mex.conteo2005 where nom_ent like 'Chiapas' sort by pobtot" -dsco NameField=nom_loc

Encontré que aparentemente hay un problema de exportar multipolygons. A veces se puede resolver quitando las tags si realmente hay nada mas un polygono por cada fila en la tabla usando sed. Por ejemplo.

ogr2ogr -f "KML" chismunicpios.kml "PG:dbname=gisdb" -sql "SELECT nom_mun,the_geom from mex.municipios where nomedo like 'Chiapas'" -dsco NameField=nom_mun
#Getting rid of unwanted multipolygon

sed 's/<MultiPolygon><polygonMember>//' chismunicpios.kml >chismunicpios2.kml
sed 's/<\/polygonMember><\/MultiPolygon>//' chismunicpios2.kml >chismunicpios3.kml

Aqui hay unos archivos de kmz (quita la extensión de doc)

conteo2005kmz #Conteo de población de Chiapas 2005

municpioskmz  #Todo Mexico >25 MB

chismunicpios3kmz Chiapas

Progreso en las ciencias naturales y sociales depende críticamente en la capacidad de grupos de investigación de generar, conjuntar, sistematizar y analizar grandes cantidades de información. Datos fragmentados y desorganizados solamente pueden contestar preguntas limitadas. En la última década el internet ha revolucionado el modelo científico, facilitando el trabajo en conjunto de grupos formados de individuos distribuidos en distintas instituciones. Ejemplos de colaboraciones exitosas varían en escala entre iniciativas para secuenciar genomas [14] hasta proyectos de tésis con miembros del comité en diversas instituciones. Sin embargo, el conocimiento y uso de las herramientas informáticas no es consistente entre instituciones y líneas de investigación. La diferencia entre ellos en el acceso, conocimiento y habilidad en el uso de la tecnología abre lo que se ha llamado la división digital [15]. Institutos e investigadores que no aprovechan plenamente de la nueva tecnología sufren una reducción en su competitividad, reflejada en el número de publicaciones a nivel internacional.

La situación actual en Ecosur

Hay tres rubros en el uso de herramientas informáticas relevantes al trabajo en Ecosur. Bioinformática, Geoinformática y Servicios Bibliotecarios generales. Desde hace mas de un década Ecosur ha contado con un departamento de servicio en Geoinfomática en la forma del LAIGE. Todavía no se ha desarrollado formalmente un área de Bioinformática en la institución, aunque varios investigadores usan herramientas relacionadas al nivel de sus proyectos. La biblioteca (SIBE) ha mostrado un avance muy sólido proporcionando un rango amplio de nuevos servicios digitales a los investigadores. El uso del equipo de video-conferencia ha facilitado la comunicación entre unidades.

Entonces, es claro que Ecosur ha registrado avances continuos en el uso de herramientas informáticas. Sin embargo hay indicaciones preocupantes que este proceso ha sido mas lento que en otras instituciones. La cultura asociada con la rigidez de las reglas administrativas de una dependencia federal no siempre ha fomentado la adopción temprano de innovaciones tecnológicas. Múltiples investigadores han expresado su preocupación que la velocidad relativa de cambio se ha deteriorado rápidamente en los últimos dos años. Este proceso esta evidenciado por una creciente diferencia entre el nivel de sofisticación en el uso de herramientas informáticas por parte de organizaciones no gubernamentales locales y escuelas y lo que se registra en Ecosur. Esta contrasta con la expectativa general que una institución del tamaño de Ecosur cuenta con ventajas sustantivas en términos de recursos.

La tendencia al nivel global

Al nivel global, desde 2006, se ha registrado un incremento muy rápido en el uso de comunicación directa de voz y video por internet (Skype, Messenger, Ekiga etc), la producción y almacenamiento de fotos y vídeos digitales (You Tube, FlickR etc) y el uso de herramientas de análisis y plataformas de software libre (Linux, Apache, MySQL, PHP). La misma tecnología que proporciona plataformas para usos recreativos proporciona nuevas herramientas para la investigación, muchas veces a cero o bajo costo. Programas como GRASS, R y PostGIS son herramientas de investigación y análisis muy comparables en poder al software comercial ([8]). Imágenes de satélite de alta resolución están disponibles gratis en Google Earth. La construcción de un Wiki o Weblog puede aprovechar de software libre como Wordpress. MediaWiki, Drupal o Joomla, Estos avances representan múltiples oportunidades nuevas no solamente para la divulgación de la información generada por proyectos de investigación, pero también para la actividad de investigación misma. En las universidades y centros de investigación Europeos el desarrollo de herramientas informáticas están siempre estrechamente integrados en la investigación. En contraste el departamento de informática de Ecosur ha concentrado su atención en el mantenimiento de la infraestructura de los servicios de comunicación. Esta actividad ha absorbido recursos sin generar productos de investigación tangibles. Hasta la fecha hay pocos ejemplos de colaboración técnica entre programadores del departamento de informática e investigadores. El departamento de informática no emplea personal con conocimiento técnico orientado hacia la investigación y no se ha realizado un análisis a fondo de las necesidades actuales de investigadores en términos de herramientas informáticas.

El concepto de Ecoinformática

La palabra que mejor describe las nuevas tendencias globales en el campo relevante a las actividades de investigadores de Ecosur es “Ecoinformática”. Se define como una nueva ciencia de la información en Ecología y ciencias ambientales con la meta de desarrollar y aplicar formas innovadoras para compartir y analizar información relevante a la conservación y manejo de sistemas ecológicos[16]. En el contexto de Ecosur se puede interpretar la Ecoinformática como la integración de bioinformática, geoinformática y la ciencia de la comunicación dentro de un marco consistente. Hay ejemplos del uso de herramientas de ecoinformática en diversos campos de investigación involucrando monitoreo, captura y almacenamiento de datos [2] [10][11][9]). El futuro de Ecoinformática esta estrechamente vinculado por el movimiento hacia la red semántica. Ecoinformática tiene que ser dinámica y con una visión a futuro.

La gran meta de las herramientas siendo desarrolladas y divulgadas para la web semántica es la integración de todo tipo de información en una forma consistente. Este objetivo complementa el enfoque interdisciplinario de Ecosur. Por ejemplo, un trabajo de tesis de un estudiante puede generar múltiples productos digitales. Estos productos incluyen vídeos y grabaciones de entrevistas, fotos digitales y datos de inventarios de la vegetación. En este momento el único producto entregado es la tesis. Esta queda en papel o pdf y la información interno es poco accesible. Un estudio que sigue los pasos en la misma zona o del mismo tema podría beneficiarse mas de la información y datos originales que la información parcial condensada y plasmada en el documento formal. Por ejemplo fotos y videos correctamente tomados y georefenciados están jugando un papel cada vez mas importante en la investigación ecológica ([1][3][2][12][13]). Software puede extraer información en una forma automatizada de colecciones de imágenes. Para lograr la meta de compartir diversas fuentes de información en una forma accesible se requiere conocimiento técnico a varios niveles. Los datos cuantitativos de estudiantes típicamente no cumplen con la normatividad para un base de datos relacional [6]. Fotos y videos están tomados sin georeferencias ni metadatos [5]. Estudiantes e investigadores pueden ignorar estándares internacionales. Aunque superficialmente el almacenamiento de información parece una actividad rutinaria, en realidad el manejo eficiente de archivos digitales requiere conocimiento sofisticado de programación (ej [4]). La existencia de un grupo de programadores con una preparación actualizada puede inyectar un nuevo dinamismo y nivel de eficiencia al nivel institucional.

El futuro

Este año se ha empezado la tarea de integrar la información geográfica con las colectas biológicas en una estructura uniforme proporcionado por una base de datos geográficamente explicita ([7]). Esta iniciativa aprovecha del nuevo poder y facilidad de uso de software libre. La institución se beneficiaría de una extensión de este proceso para asegurar la incorporación de múltiples fuentes de información en una estructura bien planeada y accesible tanto adentro como afuera de Ecosur. Este proceso actualmente esta limitado por la capacidad técnica institucional y la estructura y orientación del departamento de informática hacia el servicio de la administración. Se propone entonces una re-estructuración de los departamentos de servicio para favorecer la integración de la informática en la investigación.

Múltiples elementos deben estar contemplados antes de empezar este proceso. No se considera dentro del alcance de este documento proponer los detalles técnicos de tal reestructuración. Sin embargo se visualizan cambios estructurales en el LAIGE, las colecciones biológicas, la biblioteca y el departamento de informática para unificar esfuerzos y facilitar el intercambio de información y capacidad técnica. También sería necesario la contratación de personal adicional con conocimiento técnico actualizado bajo la dirección de personal académica con preparación formal en el área de informática.

Una visión de la estructura y actividades de un departamento de Ecoinformática

El concepto de ecoinfomática debe estar visto no como un paraguas a nivel administrativo pero como una realidad funcional estrechamente integrada con la investigación. Por ejemplo no deben existir servidores separados para la biblioteca, Laige, colecciones biológicas y paginas web. Toda la información en Ecosur debe estar mantenida en una sola estructura con la capacidad de almacenar terrabytes de información. Hace dos años el concepto sería ambicioso. Hoy en día el costo de espacio de almacenamiento es mínimo. La arquitectura para trabajar a esta escala esta establecida. Dado de que las características del servidor(es) proporciona la funcionalidad del sistema entero su configuración sería un trabajo vital para asegurar la plataforma sólida para todas las otras actividades de Ecoinformática. Es natural que el sistema estaría basado en Linux. Entonces hay la necesidad de contratar una persona con conocimiento técnico avanzado y amplia experiencia en la configuración y mantenimiento de servidores Linux. El experto puede configurar y mantener un rango de servicios usando el software libre integrado en los servidores de Linux (Firewall, servidor de email, paginas web, ftp, ssh, PHP, MySQL, PostGIS, mapserver etc). El costo de pagar por los servicios de un profesional con experiencia previamente comprobado en una institución de investigación de prestigio internacional estaría ampliamente recompensado con la reducción en los gastos actuales en licencias de software, especialmente porque la configuración de software propietario en uso actual ha causado problemas adicionales (especialmente Lotus Domino). Para seguridad y velocidad de acceso se montará servidores espejos (copias idénticas) en cada unidad.

La persona contratada de mantener el sistema naturalmente proporcionará capacitación a todo el grupo. Este representará un recurso humano importante. El aumento en la capacidad tecnológica local actúa para estimular el desarrollo regional. Ecosur puede ofrecer cursos sobre la configuración y uso de software libre para reducir el gasto de ONGs, escuelas e instituciones gubernamentales.

El mantenimiento de la conectividad física y redes de telecomunicación no debe estar a cargo del grupo de ecoinformática. Sería mejor tener un contrato transparente con un proveedor externo de servicios. Para asegurar que el servicio sea proporcionado a un costo competitivo hay que aprovechar al máximo el poder de negociación de una institución con el tamaño y prestigio de Ecosur. Los términos del contrato tienen que estar publicados bajo la ley de transparencia. Se puede pasar la responsabilidad de contratar y negociar los términos del servicio al personal administrativo. El futuro de la conectividad de las redes institucionales es en el uso de tecnología inalámbrica, la cual esta bajando en costo. Entonces sería necesario analizar el uso de la tecnología periódicamente para asegurar su actualización.

El trabajo principal de ecoinformática no sería simplemente la recompilación y mantenimiento de bases de datos. Mas bien sus actividades estarían unificadas alrededor del servidor donde se guarda y maneja la información.

1. Grupo de servicios bibliotecarios. Este grupo aprovechará al máximo la experiencia exitosa previa del personal de SIBE. Se contempla una área activa de actualización en el uso de nuevas herramientas de acceso a la información usando extensiones del concepto de búsqueda de texto completo, traducciones automatizadas, material fotográfico, documentos históricos, bases de datos estadísticas etc.
2. Grupo de Geoinformática. Este grupo extenderá el trabajo cartográfico del LAIGE hacia nuevos productos en línea. Se contempla la ampliación de herramientas como bases de datos espacialmente explicitas (por ejemplo PostGIS) y servidores de mapas. Se aprovecharán nuevas herramientas como Google Maps. La producción de herramientas novedosas, adaptados a las necesidades regionales, requiere conocimiento de programación en idiomas como SQL, Java y PHP.
3. Grupo de Bioinformática. Este grupo sería responsable de mejorar las bases de datos de colecciones y potencialmente empezar de integrar mas información genética. Su trabajo estaría estrechamente vinculado con el grupo de Geoinformática dado de que preguntas ecológicas tratan de la abundancia y distribución de especies. Se buscarán formas innovadoras de presentar la información taxonómica en forma de claves interactivas y búsquedas de imágenes escaneadas y fotos en el campo por características morfológicas.
4. Grupo de simulación y modelación. Dado la necesidad de emplear programadores de bases de datos sería natural integrar la actividad de modelación ecológica dentro del concepto de Ecoinformática. Investigadores con necesidades de programadores especializados para sus lineas podrían colaborar directamente con este grupo.
5. Grupo de estadística y sistematización de datos. Este grupo colaborará con todos los otros grupos, pero también ofrecerá un servicio a los investigadores en el uso de bases de datos, asegurando que no se siga la tendencia actual de mantener datos en formas “Ad hoc” en violación de normas internacionales (por ejemplo hojas de cálculo de Excel). El grupo dará cursos en el uso de herramientas como ODBC y estadística avanzada. Mantendrá bases de datos sustantivos que requieren conocimiento avanzado en su manejo, como por ejemplo datos climatológicos de la zona.
6. Grupo de comunicaciones y multi media. Este grupo investigará el uso de medios de comunicación dinámicos y visuales como la fotografía y video. Se proporcionará ayuda en la configuración y uso de herramientas de comunicación como video conferencias personales para actividades de investigación.

Una visión del uso de las herramientas de Ecoinformática

En 2010 un investigador joven en Sud Africa esta interesado en el efecto del cambio climático en el bosque seco de la depresión central de Chiapas. Ha leído un informe de un proyecto en la zona (Reforlan) y quiere investigar con mas detalle por su cuenta. Tiene un par de días para formular una hipótesis para plantar un proyecto nuevo. Su primera pregunta es “¿cual ha sido la tendencia en el clima en los últimos 50 años en la zona?”. Entra en el sistema de Ecoinformática de Ecosur. A través de un mapa interactivo consigue los datos históricos del clima en la zona y los análisis usando software estadístico integrado al sistema. Se notan tendencias ambiguas que podrían ser artefactos. Entonces busca publicaciones sobre la calidad de datos climáticos en Chiapas. Encuentra que efectivamente los datos oficiales pueden tener sesgos y errores y la tendencia a largo plazo todavía esta oculta dentro de una variabilidad asociada con el efecto del Niño. Luego se le ocurre que la vegetación misma puede mostrar la tendencia mejor. Busca todas las colectas de árboles de la zona y grafíca la proporción de colectas de especies caducifolias contra el tiempo. Tampoco encuentra una tendencia clara. Además el uso del bosque y la perturbación antropogénica podría influir mas que el cambio climático. Entonces el investigador visualiza los mapas de cambio en la cubertura boscosa en la zona. Hay poca evidencia de cambios recientes. Se cruza con mapas de incendios, pero se encuentra que los incendios son mas bien quemas de pastizales. Empieza a formular nuevas hipótesis sobre la historia del uso en la zona. Busca fotografías del bosque y paisaje en un mapa interactivo, corriendo un “tour” virtual de la zona. Se nota una dominancia de especies dispersadas por ganado. ¿Cuando empezó la ganadería en la zona?” Busca documentos históricos sobre el uso del suelo en el siglo XIX. Había un uso extensivo de los terrenos establecido ya en 1858. Pero ¿cuales han sido las tendencias después de la Revolución Mexicana? Encuentra una tesis escrita sobre el tema recientemente, pero no puede leerla en Español. Usa el servicio de traducción automatizado para extraer la información esencial del documento. Luego encuentra que el estudiante de maestría había entrevistado algunos habitantes mas viejos de la zona. Baja los videos, con sus subtítulos en Inglés (no perfectamente traducidos dado de que la transcripción fue automatizada, pero suficientemente bien para entender), y pasa un rato fascinado con los cuentos emocionantes del tiempo de los Mapaches. Luego se vuelve a concentrar en la tarea. Busca información sobre la dinámica de la vegetación bajo disturbio. Encuentra un modelo de simulación interactivo en el sitio y lo corre con diferentes escenarios. Finalmente decide sobre su estudio. “Calibración de modelos succesionales espacialmente explícitos usando datos históricos”. Baja las capas geográficas relevantes a su estudio a su laptop y produce mapas y figuras para respaldar su propuesta. Busca las direcciones actuales del estudiante y del investigador responsable para el modelo y les invita a participar en su proyecto. Los llama por video conferencia en línea para discutir la colaboración.

Referencias

Este mañana probe el sistema de "geotagging" tomando fotos de las casas a lo largo del camino a Ecosur. Funciona muy bien, aunque se perdio en señal a veces debido a los arboles en el camino.

El archivo esta disponible aqui.  Hay unos desplazamientos menores pero muestra mas o menos la situación actual de urbaización en la zona. (quita el .doc y abrelo en Google Earth)

corraldepiedrakmz

Aqui hay otro, fotos tomado por Mickey el domingo 7 sep.

corraldepiedra2kmz

1. If you plan to load data into PostgreSQL with ArcCatalog but plan to edit it with tools such as uDig, gvSIG or zigGIS, then you want to do the following:
   1. Always load your data with the PG_GEOMETRY configuration keyword. This will cause your spatial objects to be stored in the PostGIS format. None of the open-source tools I've used can understand ST_GEOMETRY.
   2. Don't version your data. uDig, gvSIG and zigGIS (what I've used) only "see" the DEFAULT version anyway. They can't take advantage of versioning.
   3. Although ArcCatalog does put an entry in the PostGIS geometry_columns table, it lists the geometry type as GEOMETRY. gvSIG edits this fine but it seems to monkey with uDig a little. It's not a bad idea to update this with the actual geometry type. These will be string values such as "POLYGON", "MULTIPOLYGON", etc. You'll need to do this if you plan to edit your data with zigGIS from an ArcView desktop.
   4. Related to the previous item. If you were to load data using shp2pgsql or any other method that calls the PostGIS AddGeometryColumn function, you would end up with constraints on your table limiting the geometry column to a homogenous geometry type (e.g only polygons) and a homogenous SRID. Loading via ArcCatalog doesn't do this (and I've run into other tools that don't as well). Quite frankly ArcSDE manages all of that for itself so it doesn't need such constraints. Without them, however, you can use other tools and mix your geometry types and SRIDs in the table. It's a good idea to add these constraints and I have noticed no ill effects on ArcGIS if you do.
   5. As we discovered with zigGIS, there is a difference between the spatial references that are defined by default on the PostGIS spatial_ref_sys table and the ArcSDE sde_spatial_references table. This makes it possible to load data via ArcCatalog that doesn't have a corresponding SRID in the PostGIS table. This would effect your ability to add the previously discussed constraint. It will also throw off open-source tools that look at the spatial_ref_sys table. It's a good idea to update spatial_ref_sys to include those from ArcGIS that are not already supported.
   6. ArcCatalog doesn't define a primary key on your spatial table. uDig really doesn't like this so it's best to add a primary key on the objectid column (this has no effect on ArcGIS that I can tell) using the following syntax:
      [sourcecode language="sql"]
      ALTER TABLE myTable
      ADD CONSTRAINT mytable_pkey PRIMARY KEY(objectid);
      [/sourcecode]
      gvSIG additionally expects the column with the PK to "auto-number" so you may want to experiment with adding a sequence to the column. The syntax I used to do this is:

      [sourcecode language="sql"]
      CREATE SEQUENCE mytable_gid_seq
      INCREMENT 1
      MINVALUE 1
      MAXVALUE 9223372036854775807
      START 408
      CACHE 1;
      ALTER TABLE mytable_gid_seq OWNER TO postgres;
      ALTER TABLE myTable ALTER COLUMN objectid SET DEFAULT nextval(’mytable_gid_seq’::regclass);
      [/sourcecode]
      If you're experienced with ArcSDE, you get nervous mucking with the objectid column. I have made both the of the above changes to several data sets and made edits in uDig, gvSIG and ArcMap with no ill effect.

2. If you plan to edit/manage your data using ArcGIS but serve it out using an open-source application like GeoServer or MapServer then there are a few considerations:
   1. If you plan to use versioning, then be diligent about posting and reconciling with DEFAULT so that any changes want to have show up will. Of course, this assumes you would just be connecting to the PostGIS data. If you connect through ArcSDE, this may be unnecessary.
   2. Again, use the PG_GEOMETRY keyword.
   3. The SRID issue discussed in item 1e above may be relevant here as well.
3. The implementation of ArcSDE on the PostgreSQL platform is pretty solid. I have been able to do everything I could do on other platforms. So, if you plan to stay in the ESRI environment, go forth an conquer. I think you'll be pleased with PostgreSQL. You may want to bone up on PostgreSQL database administration, though.

Ultimately, support for PostgreSQL by ArcGIS opens up the possibility of numerous technology mixes. It's somewhat uncharted territory and it's not a bad idea, as with any system integration task, to do a little testing and experimentation before moving on with an implementation.

]]> http://rafaelsussel.wordpress.com/?p=33 Mon, 11 Aug 2008 15:06:57 +0000 rafaelsussel http://rafaelsussel.wordpress.com/2008/08/11/desenvolvimento-gis/ Sei do interesse que muitos possuem em relação a área de sistemas GIS e vou procurar fornecer um "start" aos que desejarem se aventurar nessa área.
Prentendo fazer uma mescla no uso de softwares livres com proprietários, poderia ser tudo Open Source, mas como eu já trabalhei em alguns projetos dessa forma, vou variar um pouco, assim eu tambem aprendo um pouco.
Portanto irei utilizar como plataforma de desenvolvimento C# .Net, como o sistema será para web, poderia utilizar como opção "livre" PHP ou proprio Java.
Para armazenamento de dados, irei utilizar o PostGreSQL, com a extensão GIS, a postGIS.
E finalmente para a exibição dos mapas iremos utilizar o Mapserver.
Ao fim dos tutoriais, estaremos com um sistema, claro que simples, mas de grande ajuda pra quem está começando.
Pensei na estruturação de um cronograma para as publicações dos tutoriais:

1º Preparando o ambiente de desenvolvimento.

2º Preparando a nossa base de dados.

3º Finalmente, exibindo mapas...

4º Implementando os controles visuais

4º Realizando consultas

5º Criando layer´s dinamicos

6º PostGIS, operações basicas

Obs: Essa seguencia/lista, porderá sofrer alterações caso eu veja necessidade para isto.
O primeiro tutorial, espero que seja publicado ainda esta semana, aguardem.

]]> http://thinkcap.wordpress.com/?p=33 Thu, 07 Aug 2008 04:37:36 +0000 bigduke http://thinkcap.wordpress.com/?p=33 Following on from Paul's article "Take Control of Your Maps" on A List Apart (must read for background) I started exploring the possibility of having our own mapping application due to bandwidth constraints on remote clients. No doubt the services and API's offered by Google, Yahoo, Microsoft and OpenStreetMap are mature enough for mash-ups but you still don't own the data and are limited by the functionality exposed by the API. The first part of this series covers setting up the server to start serving map tiles. This is an open source solution and is free in terms of deployment. Implementation however may have additional costs depending on the volume of transactions handled by the server.

Lets begin ...

First, download the geospatial data in the form of an xml file generously offered by OpenStreetMap. If you're downloading the geospatial data for the whole world its a whopping 4.2GB. Try starting with a smaller dataset first. [list available here]

Next, the osm file needs to be converted to actual GIS data using PostGIS. PostGIS is an application extension of the PostgreSQL database management system. Setting up the database itself is a little tricky and some of the scenarios are discussed here. This implementation was done on a windows machine.

While installing the PostgreSQL RDBMS you'll be presented with the EnterpriseDB Application Stack Builder ( see below). Select PostGIS extension to install it.

[caption id="attachment_34" align="aligncenter" width="300" caption="EnterpriseDB Stack Builder"][/caption]

Once installed, connect to the RDBMS using pgAdmin. To properly import the osm data you'll need to do the following (adapted from there sources: [1], [2]):

1. Setup a role with the same login ID as your windows user name.
2. Create a new database, lets call it osm_gis, based on the template_postgis database
3. In order to make sure that the import utility is able to make a connection to the db server, in pgAdmin go to Tools > Server Configuration > pg_hba.conf
4. Edit the config file to allow access to all users on the local machine (assuming you installed the db server on your own machine). Auth method should be changed to 'Trust'. See below for settings.

   [caption id="attachment_35" align="aligncenter" width="300" caption="Client Access Settings"][/caption]

5. After editing the settings you must reload the server to apply the config settings by clicking on the "play" button on the settings window.
6. One last step before we import the data; check the permissions on the the tables geometry_lines and spatial_ref_sys. It is imperative that both these tables can be accessed and modified by your preferred db user.
7. If you're trying to load the entire planet's data, you must tune the PostgreSQL db first. Steps to do this are outlined here.
8. We are now ready to import the osm data into the database. To do so you need to get a hold of the "osm2pgsql.exe" file. Use is as follows: <path to file>/osm2pgsql.exe -dosm_gis -c -v <osm_file_name>. For an explanation of the command options refer to the command's help.

Importing the data could take quite a lot of time depending on how much data needs to be processed so be patient. In the next part we'll setup the map server to generate the map tiles.

]]> http://geobabble.wordpress.com/?p=238 Wed, 06 Aug 2008 05:03:17 +0000 Bill Dollins http://geobabble.wordpress.com/2008/08/06/a-good-postgis-overview/ Steven Citron-Pousty gave a talk on PostGIS and has helpfully posted his slides here. It's a good introductory overview and provides some good examples of basic spatial SQL in PostGIS.

With ArcGIS Server now supporting PostgreSQL as a back end RDBMS and also supporting the use of PostGIS geometries, a lot of new users may be migrating to the PostgreSQL platform. This presentation is a good overview for anyone picking it up for the first time. Thanks, @TheSteve0!

]]> http://geobabble.wordpress.com/?p=234 Tue, 05 Aug 2008 15:34:37 +0000 Bill Dollins http://geobabble.wordpress.com/2008/08/05/ziggis-source-code-and-schwag-available/ Abe has announced that the source code for zigGIS is now available (governed by the zigGIS EULA). It can be found at http://www.obtusesoft.com/source.aspx.

Additionally, there is now zigGIS apparel available at http://www.cafepress.com/obtusesoft (just because it's fun...and a little geeky).

No, there is not an option to have the source code printed on a shirt.

Enjoy both....

]]> http://neogeografia.wordpress.com/?p=19 Thu, 31 Jul 2008 16:24:50 +0000 dersteppenwolf http://neogeografia.wordpress.com/2008/07/31/visualizacion-de-contratos-gubernamentales-en-colombia-usando-el-google-earth-browser-plug-in/

El siguiente artículo "Visualización Geográfica de Información Contractual Colombiana (VGICC)" muestra un ejemplo de aplicación utilizando las nuevas características del plugin de Google Earth para browsers: Google Earth Browser Plug-in.

...

English Version:

Geographical Visualization of Government Contracts In Colombia - VGICC

The following article "Geographical Visualization of Government Contracts In Colombia - VGICC" shows an application that explore the capabilities of the new Google Earth Browser Plug-in.



]]> http://geobabble.wordpress.com/?p=206 Tue, 22 Jul 2008 14:47:18 +0000 Bill Dollins http://geobabble.wordpress.com/2008/07/22/ziggis-and-arcgis-93/ Now that ArcGIS 9.3 has been finalized, I have finally gotten around to testing zigGIS 2.0.1 with it. While the source code is available, I wanted to test the unmodified binary distro. I am happy to report that zigGIS appears to work fine with ArcGIS Desktop 9.3.



I guess the statement in the zigGIS About box regarding 9.2 is no longer accurate. :D

I ran some preliminary tests on the editing capability and they seem to work fine. I was able to create a feature in ArcGIS, connect to my PostGIS database using gvSIG and see the feature. Just for grins, I then deleted the feature in gvSIG and refreshed my ArcMap display to see it disappear.

As you can see from the screen capture, I am using ArcEditor but that is because of other ArcGIS-related work that I do. zigGIS doesn't care about the license tier you use and will work just fine with ArcView.

ArcGIS Desktop 9.3 does have some improved mapping tools so those of you who have been using zigGIS as a lightweight means of access your PostGIS data from ArcMap can now look at what 9.3 has to offer.

Follow zigGIS on Twitter

]]> http://flex2colombia.wordpress.com/?p=34 Mon, 21 Jul 2008 16:21:54 +0000 dersteppenwolf http://flex2colombia.wordpress.com/2008/07/21/statistical-representation-of-health-data-using-mapserver-and-adobe-flex-3/ This is a web application that uses Mapserver, Php, Postgresql, Postgis and Adoble Flex 3 to create interactive Maps intended to explore Colombia´s National level statistical data on Health. Link.



]]> http://smathermather.wordpress.com/?p=3 Sun, 20 Jul 2008 17:25:48 +0000 smathermather http://smathermather.wordpress.com/2008/07/20/postgis-onesie/ [/caption]

Well, I have to put it out there: is this an original, the one and only PostGIS onesie? My son was born recently, and as he was sleeping quietly, I surfed to the PostGIS website. One look at that baby elephant icon, and another to our newborn, and I realized I had the perfect inspiration, so time to go make my own onesie, and start a FOSS GIS blog.

FYI, I'm working on a PostGIS/GeoServer/OpenLayers set of services for my day job, but this probably doesn't count as work.

]]> http://neogeografia.wordpress.com/?p=16 Sat, 19 Jul 2008 17:23:45 +0000 dersteppenwolf http://neogeografia.wordpress.com/2008/07/19/visualizacion-interactiva-de-mapas-y-estadisticas-utilizando-flex-3/ En el siguiente artículo "Representación Geográfica de Indicadores Estadísticos Utilizando Software Libre" puede encontrarse una aplicación basada en Adobe Flex 3 para la visualización de estadísticas de salud de colombia:



Este aplicativo utiliza Mapserver, Postgresql, Postgis y Php para la generación de los Mapas dinámicos así como también los componentes de Charting de Adobe Flex 3. Puede ver el artículo original en el siguiente enlace.

]]> http://flex2colombia.wordpress.com/?p=31 Fri, 18 Jul 2008 23:46:11 +0000 dersteppenwolf http://flex2colombia.wordpress.com/2008/07/18/visualizacion-interactiva-de-mapas-y-estadisticas-utilizando-flex-3/ En el siguiente artículo "Representación Geográfica de Indicadores Estadísticos Utilizando Software Libre" puede encontrarse una aplicación basada en Adobe Flex 3 para la visualización de estadísticas de salud de colombia:



Este aplicativo utiliza Mapserver, Postgresql, Postgis y Php para la generación de los Mapas dinámicos así como también los componentes de Charting de Adobe Flex 3.  Puede ver el artículo original en el siguiente enlace.

]]> http://duncanjg.wordpress.com/?p=446 Wed, 09 Jul 2008 00:07:51 +0000 Duncan Golicher http://duncanjg.wordpress.com/2008/07/08/priority-areas-for-dry-forest-restoration-in-la-frailesca/ This is a marker for work in progress. Do not cite.

This morning I was contacted in order to provide geographical information for one of our partners in the Reforlan project. The aim of the research is to find priority areas for forest restoration.

The question of how to go about the analysis is thought provoking. I have already mentioned the problem of aggregation error in this weblog. Pooling data in order to find mean values does not work at the scale in which most of the important processes act. The classic example is mean rainfall for Mexico. At the same time, some elements on the landscape cannot be mapped at a fine scale, and others, such as management units (farms or ejidos) form natural aggregation according to social factors.

So perhaps the first step would be determine priority pixels according to a limited number of physical processes that can be resonably accurately mapped at fine resolution (30 m x 30 m) then aggregate to find the number of pixels in each agronomic unit that could be restored. An analysis of social and economic factors at this scale could then be undertaken in order to discover where restoration might be feasible and bring the most social benefit.

The mappable factors at the 30m pixel scale would be

1. Forest cover and recent deforestation: Pixels that have forest cover presumably do not need restoring. Pixels that have been recently deforested may be prioritised, although natural regneration may be a suitable mechanism in some areas close to the original forest.

2. Slope: Areas with steep slopes must be prioritised for restoration in order to avoid soil erosion. Factors such as slope length may be taken into account.

3. Insolation (aspect): South facing slopes that receive intense insolation during the dry winter months may be in need of restoration, but successful restoration may be more challenging.

4. Distance from rivers: Riparian areas may be in greater need of restoration and trees may establish more successfully in moist soil. At the same time these may be the most valuable areas for irrigated  agriculture.

5. Conservation status: Reserves should perhaps take priority when restoration is being considered.

The interesting element of the research involves finding a suitable way of combing the layers in order to allow ranks to be calculated. A typical approach is weighted averaging, but this may not allow interactive effects to be included.

The map below shows the estimated current extent of the forest in the region and recent deforestation hotspots.

[wp_caption id="attachment_447" align="aligncenter" width="300" caption="Forest cover in La Frailesca: Red and yellow areas are recently deforested: Shaded areas are federal reserves."][/wp_caption]

Areas with the steepest slopes do tend to coincide with remaining forest cover, as would be expected, but some recent deforestation both intentionally and as a result of forest fires has taken place in the steeply sloping "Sierra" region in the West and South West  and South of the study region.

[wp_caption id="attachment_448" align="aligncenter" width="300" caption="Slope in degrees (high to low is red through to green passing through blue)"][/wp_caption]

North facing slopes receive less direct sunlight during clear winter days and are more likely to be covered in evergreen forest. Fuel dries out on south facing slopes leading to more intense fires. Regeneration may be difficult due to hydric stress.

[wp_caption id="attachment_449" align="aligncenter" width="300" caption="Winter insolation: Yellow pixels are level areas that receive the \"][/wp_caption]




Most deforestation has occured close to the major rivers.

[wp_caption id="attachment_450" align="aligncenter" width="300" caption="Buffers around major rivers"][/wp_caption]

It may also be useful to evaluate soil type (not shown) although the maps tend to be at a coarse scale.

Once pixels have been ranked according to aptitude and priority for restoration (the two factors may be inversely related in many cases) they may be aggregated to agricultural management units for further analysis of socio-economic factors.

[wp_caption id="attachment_451" align="aligncenter" width="300" caption="A range of social economic parameters may be associated with agricultural management units (agebs)"][/wp_caption] ]]> http://duncanjg.wordpress.com/?p=436 Mon, 07 Jul 2008 03:15:27 +0000 Duncan Golicher http://duncanjg.wordpress.com/2008/07/06/do-we-see-trees-or-forests-knowledge-gaps/ It would seem reasonable to assume that research aimed to fill a basic knowledge gap should receive more attention than projects aimed at evaluating complex untestable theory. However in the field of tropical forest ecology it not always clear that fundamental basic knowledge gaps are either being identified or filled quickly enough. An issue that has concerned me for many years is the persistent difficulty in accurately tracing and understanding the spatial distribution of tropical organisms, particularly trees and other plants.

Trees are immobile, long lived, highly visible elements of the tropical landscape. It would therefore seem reasonable to assume that we already know a great deal regarding their distribution. However trees form forests. Forests cause numerous logistical difficulties for field research.  Tropical forests can be hostile, disorienting, pathless environments. They also contain a complex set of natural resources. Illegal exploitation of some of these resources such as valuable timber or plants with interesting pharmaceutical properties (of various types) may obstruct scientific research. Many tropical forests have also provided refuge at times for members of radical political movements.

Tropical trees can be extremely difficult to identify to species. Flowers, fruits and leaves may be out of reach. Their taxonomy is complex and dynamic. Tropical families are unfamiliar to researchers trained in temperate zones. Many species have converged in terms of leaf shape and characteristics.

This has led to chronic ignorance of the distribution of tropical tree species. Only a small fraction of the total area covered by tropical forest of any description has been studied in any detail. Regional species lists rely on data from a few well known areas, but within any given region distribution patterns are poorly known. Many assumptions are made concerning the nature of anthropogenic influence on areas of forest. Some are justifiable, some tend to exaggerate human impact on naturally resilient forest ecosystems.

Given the poor state of our knowledge it is vitally important that the few reliable data sources that are available are used to their full capacity. However even the best global data sources can only provide a small part of the picture alone. Missouri Botanical Gardens (MOBOT) has one of the largest collections of tropical plant specimens of any herbarium. MOBOT has provided online access to most of this data. Yet even when the whole set of tropical tree collections with known coordinates from this source are mapped on to space large gaps are revealed in the empirically based knowledge they provide regarding tree diversity.

A PostGIS query can be used together with the graticule trick mentioned in the last post to map the density of collections within 0.1 degree (approximately 100 km2) grid squares in the MOBOT Vast data base. The query is provided as a model for counting incidences within grid squares. The data itself is stored locally and forms part of a larger set that we have collated over a period of several years.
CREATE TABLE meso.count with oids as
SELECT g.ncollects as Ncollects, a.*  from

grat01 a,

(SELECT d.gid, count(c.id) as ncollects
FROM meso.trees c, grat01 d
WHERE c.the_geom && d.the_geom
AND contains(d.the_geom, c.the_geom)
AND c.source like 'MOBOT%'
group by d.gid) g

WHERE a.gid=g.gid;

If it is assumed that 100 collections per 100 km2 is a minimum needed to provide a reasonable picture of the distribution of tree species (there may be more than 400 species in each grid square in some regions) the map below shows that only a fraction of the area  of mesoamerica can be considered to be well enough typified by this data set to allow distribution patterns to be mapped through the data alone. This contrasts sharply with the floristic atlases available for most of Western Europe based on known occurrences.



Even when the grid squares with less than 50 collections (far fewer than needed) are added to the map there are many completely unknown areas when this data source is taken alone. Where collections have been taken the density is generally below 5 per 100 km2. Direct empirical evidence regarding tree diversity hot spots is simply not available. Comparisons  between Chiapas, Yucatan, Belize and Costa Rica cannot be made from the data alone.

[wp_caption id="attachment_439" align="aligncenter" width="300" caption="Light green 1-2, dark green 2-5, blue 5- 50, red >50"][/wp_caption]

In contrast to our poor knowledge regarding forest composition, our knowledge regarding the extent of both forests and deforestation is becoming ever more accurate and detailed as high resolution satelite imagery becomes available. It appears that we are looking at forests, but not seeing the trees.



]]>