Более

Запускаете CartoDB Server Stack?

Запускаете CartoDB Server Stack?


Мы пытаемся загрузить и запустить стек CartoDB на инстансе Ubuntu Amazon EC2, выделенном специально для него. Итак, мы начали с простой установки ОС.

Мы прошли установку / настройку README (https://github.com/CartoDB/cartodb) и прошли большую часть этого без особых проблем. Но когда приходит время выяснить, как на самом деле запустить вещь, мы в растерянности. Readme, похоже, даже не объясняет, как вы должны постоянно запускать стек как службу или даже как отдельные компоненты бок о бок.

Самое близкое, что кажется, предлагает прораба, но даже это дошло до запутанного кластера **** проблем с зависимостями, где я даже не могу добавить его в пакет драгоценных камней, как описано (и это не помогает никому из нас есть опыт работы с Ruby)

У вас есть какие-нибудь указания, куда идти дальше?

Даже Google совершенно меня подводит.


README в основном ориентирован на создание среды разработки. Foreman - это просто помощник для запуска всех необходимых вам сервисов в одном окне, не имея нескольких терминалов.

Если вы хотите запускать службы постоянно, я предлагаю вам запускать все службы как демоны.

Вы можете проверить файл Procfile в корне репозитория cartodb, и вы обнаружите, что команды Foreman действительно запускаются.

У вас есть два варианта:

  1. Грязный способ запускать каждую команду на вкладке screen / tmux и отсоединять
  2. Чистый способ состоит в том, что вы создаете сценарий инициализации ubuntu выскочки для каждой службы и позволяете выскочке запускать их.

Обратите внимание, что сервер Redis должен быть правильно настроен, чтобы обеспечить постоянство диска.


Какой тип программного обеспечения используется сообществом открытых данных?

Я новичок в мире открытых данных и хотел бы знать, с какими инструментами / программным обеспечением можно столкнуться. Не для конкретной задачи, а в основном в целом. Например:

  1. Какие инструменты часто используются независимо от задачи?
  2. Какие инструменты необходимы?
  3. Важно ли учитывать выбор ОС? Если да, то каковы последствия работы в Mac OSx, Windows или Linux?

Я надеялся на такой ответ, если возможно.


Истекло время ожидания соединения из-за ошибки

У меня Apache / 2.2.22 на Ubuntu 12.04. Apache настроен как обратный прокси-сервер. Таким образом, при доступе из удаленной системы страница и содержимое отображаются. Но через некоторое время кажется, что сервер отклоняет дальнейшие запросы. Консоль удаленного браузера выдает ошибку net :: ERR_CONNECTION_TIMED_OUT. Но когда IP-адрес удаленной машины изменяется (с использованием ключа, который меняет IP-адрес после каждого подключения / отключения), страница / содержимое отображается снова. Но вышеупомянутые проблемы возникают снова.

Это tomcat7, работающий вместе с apache. Tomcat обслуживает страницу jsf через порт 8080. Все остальные запросы обрабатываются apache, передавая их на виртуальную машину.

В файле apache2.conf я в основном смотрел / менял эти директивы

также аналогичные директивы VirtualHost с портами 8082, 8889 с аналогичными настройками. "Cartodb.user" был добавлен в файл / etc / hosts для перенаправления его в виртуальный ящик. Также для виртуального бокса отключен брандмауэр. виртуальный ящик также имеет Ubuntu 12.04.

Проверено, что файлы журнала Apache не выдают ошибок, когда LogLevel помещается в отладку. Укажите, пожалуйста, как избежать этой ситуации


3 ответа 3

Включение тегов free, free-sources и data в эти вопросы и ответы заставляет меня задуматься:

    в качестве мастера по программному обеспечению и программному обеспечению, возможно, в первую очередь, с некоторой неоднозначностью последнего. Это имя тега будет лучше соответствовать сайту Software Рекомендации SE, на который мы также могли бы ссылаться в его вики-странице тегов. как мастер, чтобы освободить после устранения неоднозначности бесплатных данных, как мастер для бесплатных источников (легко создать с помощью слияния, которое оставляет последнее в качестве синонима) (новое), чтобы попытаться начать различать две основные категории данных, которые люди здесь ищут.

Устранение неоднозначности данных в рамках этого процесса должно помочь, а не препятствовать любым будущим решениям сообщества начать перенаправлять некоторые / все вопросы данных в Open Data (Beta) SE.


Конференция Миннесоты по ГИС / ЛИС и семинары № 038

Майкл Мур и Эндрю Уолц из LuminFire представлены на конференции #MNGISLIS в Дулут, штат Миннесота, в 2016 году по таким темам, как JavaScript, MySQL и автоматизированная стереограмметрия. Тема конференции - & # 8220Ваша геопространственная судьба & # 8221. Здесь & # 8217s полная информация:

Сравнение моделей поверхности, полученных на основе лидаров и стереопар & # 8211 Энди Уолз
Четверг, 27 октября 2016 г., с 11:00 и # 8211 с 11:30 (сессия № 8)
Улучшенный номер «Озеро» O

Как модель поверхности, полученная из изображений стереопары, сочетается с лидарной DSM? Лидар быстро стал золотым стандартом для данных о высотах, но вы можете удивиться, чего можно достичь с помощью изображений с высоким разрешением и программного обеспечения для автоматической стереограмметрии, такого как Ames Stereo Pipeline. Лидарные данные становятся дешевле и доступнее, но они просто недоступны для большей части нашей планеты. С другой стороны, спутниковые изображения собираются постоянно, и в зависимости от вашего приложения изображения стереопары могут просто удовлетворить ваши потребности в данных о высоте.

Цель этого проекта заключалась в оценке жизнеспособности использования изображений стереопар в качестве исходных данных для моделирования областей, где лидар недостаточен (только для Земли, не существует или датирован) для всестороннего анализа. Мы поговорим об инструментах и ​​методах, доступных для автоматической стереограмметрии, рассмотрим некоторые визуализации моделей и изучим различия, обнаруженные между двумя продуктами.

Слайд-колода | Использование стерео конвейера Эймса (ASP) с данными DigitalGlobe

MySQL: иногда подходящая база данных для ГИС & # 8211 Майкл Мур
Четверг, 27 октября 2016 г., с 11:30 и # 8211 12:00. (Сессия № 5)
Номер «Сплит Рок» 2

MySQL не является популярной базой данных для использования с данными ГИС. Однако это самая популярная база данных в Интернете. Поскольку использование ГИС в Интернете продолжает расширяться, нам, как специалистам по ГИС, будет предложено интегрироваться с WordPress, Drupal и другими системами на основе MySQL.

Имеет ли смысл использовать MySQL для пространственных данных сегодня? Ответ - четкое «Может быть» с контрольным списком условий и предостережений, на которые нужно обратить внимание, прежде чем сказать «Да».

Основная причина рассмотреть возможность использования MySQL - это возможность пространственной интеграции с существующей непространственной системой. Если вы (или клиент) уже вложили значительные средства в решение на основе MySQL, переход на альтернативную платформу может оказаться непрактичным. Вы также можете избежать накладных расходов на запуск и управление второй базой данных и сложностей управления отношениями между записями в обеих.

В этой презентации мы (1) обсудим плюсы и минусы использования MySQL для пространственных данных (2) рассмотрим несколько простых демонстраций, демонстрирующих его возможности и ограничения, и (3) поможем вам определить, подходит ли MySQL для ваших проектов.

Трава зеленее с Turf.js & # 8211 Энди Уолз
Четверг, 27 октября 2016 г., с 14:00 & # 8211 14:30. (Сессия № 18)
Улучшенный номер «Озеро» O

Turf.js - это библиотека JavaScript с открытым исходным кодом для пространственного анализа, которая может вдохнуть новую жизнь в ваши веб-карты и превратить ваши приложения в мощные географические информационные системы. Turf.js объединяет традиционные инструменты пространственных операций, классификации данных и статистики - все, что обычно требует геообработки на стороне сервера - в подключаемый модуль на стороне клиента. Это означает, что вы можете создавать больше интерактивных карт и приложений ГИС с меньшими накладными расходами и затратами.

Turf.js на удивление прост для понимания. Он состоит из модульных функций JavaScript, говорящих на языке GeoJSON. Есть 51 функция, включая агрегирование, центроид, расстояние, пересечение, слияние, упрощение, объединение, олово, внутри, классификацию Дженкса и многое другое. Turf.js построен с использованием новейших пространственных алгоритмов и в сочетании с тем фактом, что данные не должны перемещаться на сервер и с сервера, он потрясающе быстр. Не уверены в том, что обрабатываем все на стороне клиента? Turf.js также может работать на стороне сервера с Node.js. В этой презентации мы рассмотрим обзор часто используемых функций, продемонстрируем, как использовать библиотеку, и рассмотрим некоторые примеры Turf.js в действии.

Могут ли ГИС и WordPress дружить? & # 8211 Майкл Мур
Пятница, 28 октября 2016 г. с 8:30 и # 8211 10:00 (Сессия номер 25)
Номер «Сплит Рок» 1

WordPress - это система управления контентом (CMS), которая поддерживает 25% веб-сайтов в Интернете. Его рост во многом связан с простотой использования и процветающей экосистемой плагинов.

К сожалению, поддержка данных и операций ГИС сильно отсутствует. Я считаю, что популярные фреймворки с поддержкой географии, такие как WordPress, представляют собой следующую большую область роста ГИС в Интернете. Создание инструментов, которые работают так, как ожидают администраторы, не занимающиеся ГИС, снижает барьер для входа в мир ГИС.

Я экспериментировал с различными подходами, чтобы добавить в WordPress фактические возможности ГИС, и это было удобно для пользователей WordPress. Результатом успешных экспериментов стали два бесплатных плагина для WordPress: SavvyMapper и WP_GeoQuery.

SavvyMapper связывает данные WordPress с данными ГИС во внешнем источнике данных, таком как CartoDB, ArcGIS Server или внешний файл GeoJSON.

WP_GeoQuery использует пространственную поддержку MySQL для хранения геометрии пространственных объектов прямо в базе данных MySQL.

В этой презентации я более подробно расскажу о результатах своих экспериментов, продемонстрирую методы, которые я использовал, и расскажу о статусе и будущем ГИС в WordPress.


2 ответа 2

Первоначальный блог Stats был построен на wordpress. У меня также есть личный бесплатно блог wordpress, который соответствует всем вашим потребностям (и я доволен).

  • изображения (как SVG, так и растровые) могут быть встроены
  • вы можете писать формулы на латексе и иметь блоки кода, очень похожие на этот сайт (с помощью аналогичного типа уценки или напрямую редактировать html). Лично я пишу сообщения в уценке, затем использую Pandoc для скрытия в html, а затем просто загружаю html на онлайн-сайт.
  • с анимированными графиками сложнее - GIF-файлы можно встраивать так же, как и изображения. Вы также можете встраивать материалы с помощью iframe (примеры саморекламы, анимированная карта CartoDB, график движущихся пузырьков Хана Рослинга).
  • комментарии, с довольно хорошей фильтрацией спама по моему опыту

Я тоже описал свой как личный дневник ботаников. Если я сделаю что-то несколько раз, я напишу сообщение в блоге (и это поможет мне найти код / ​​примеры быстрее, чем поиск в старых файлах).

Единственное, что я не охватил, это кириллицу. Я лично не осведомлен об этом аспекте, а также о более общей поддержке UTF. Вероятно, некоторые другие платформы удовлетворяют этим же требованиям. Я доволен своим бесплатным сайтом на wordpress, он требует минимального обслуживания и имеет нужную мне функциональность. О других конкурентах много сказать не могу.


1. История

Первая версия LandSerf была написана в 1996 году как платформа для выполнения масштабного анализа цифровых моделей рельефа. В нем реализована идея многомасштабной характеристики поверхности, предложенная Джо Вудом, где такие характеристики, как наклон, кривизна и тип объекта, могут быть измерены в различных пространственных масштабах.

Последующие выпуски программного обеспечения расширили его возможности визуализации, например, трехмерные обходы в реальном времени с использованием OpenGL и диапазона форматов файлов, которые оно может импортировать и экспортировать. С добавлением Обработки векторов 1998, таблиц атрибутов 2003 и растров и наложения векторов 2004, LandSerf можно рассматривать как пример ГИС географической информационной системы.


Эдинбург Ситископ: Привет, мир!

Сегодня Никола Осборн ведет блог Edinburgh Cityscope: Hello World! мероприятие, на котором проекты «Вовлечение Эдинбурга», финансируемые AHRC, будут представлены приглашенной аудитории из Университета и города Эдинбурга, а также партнеров проекта. Эти записи ведутся в режиме реального времени, поэтому, пожалуйста, сообщите нам, если вы заметите какие-либо ошибки или исправления.

Эдинбург Cityscope & # 8211 Hello World & # 8211 Prof. Chris Speed, ECA

Профессор Крис Спид представляет нас на мероприятии. Эдинбург - действительно уникальный город во многих отношениях. Мы собираемся изучить это с помощью данных. Но наше понимание города, наши представления о городе & # 8230 дают нам другое понимание города. Чтобы показать несколько представлений о городе, клипы из «Крылышек желания» или «Трудности перевода» содержат такое представление о городе. И это то, что Cityscope делает сегодня, вводя множество разных путей в город, разные взгляды заинтересованных сторон на город.

Мы начнем с того, что услышим от некоторых из этих заинтересованных сторон, проектов и взглядов на город. Делятся своими исследованиями города.

Профессор Крис Спид представляет Edinburgh CityScope & # 8211 Hello World

Данные действительно важны. Уединение очень важно. Социальные сети очень важны. И у нас есть целый отрезок дня, чтобы исследовать, поиграть, опробовать некоторые из этих идей. После этого часть дня есть возможность вернуться, задать вопросы и т. Д.

От Эдинбургского Ситископа до Эдинбурга, глобального учебного города, и # 8211 профессора Джонатана Силвертауна, биолога и профессора Карен Форбс, ECA.Â

Крис: Эдинбург Cityscope, ранее & # 8220Virtual Edinburgh & # 8221 - это идея, которой я считаю привилегией поделиться с вами, концепцию города как пространства для обмена данными, изучения данных, а также для сбора данных. Это означает, что мы можем сделать Эдинбург всемирным образовательным городом. Речь идет о новых инструментах и ​​подходах. Но идея не совсем новая & # 8230. И мы услышим о трех проектах, которые уже занимаются подобными вещами в своей области: LitLong MESH и Curious Edinburgh. Каждый из этих проектов должен был самостоятельно собирать средства, убеждать людей строить эти вещи. Есть надежда, что с Cityscope у университета будет своя собственная инфраструктура, предназначенная только для использования в подобных проектах. И эти проекты - тестер того, что возможно, и данные, которые можно объединить.

Профессор Карен Форбс рассказывает о проекте Edinburgh Cityscope на мероприятии Hello World

Карен: Мы видим, что идея Edinburgh Cityscope актуальна на каждом этапе, от студентов, аспирантов, сотрудников и исследователей. Вы видите потенциал для междисциплинарной работы. У города есть очень специфический характер, различные слои архитектуры, археологии, идей, культуры и плотная сеть информации, которую можно исследовать как данные, поскольку архивы перенастраиваются на географию города. Мы хотим сделать эти данные доступными и максимально открыть доступ. Мы видим в этом особенность пребывания в Эдинбурге в 21 веке. Это обеспечит ту инфраструктуру, которая позволяет очень позитивно использовать и повторно использовать данные. Новые увлекательные способы пополнения студенческого опыта.

На данный момент у нас есть большой руководящий комитет, и мы очень рады видеть, что мы можем здесь сделать. Нам нужны представители всех колледжей, а также IS и EDINA, и мы считаем, что этот разнообразный вклад имеет решающее значение для проекта.

Основные принципы Edinburgh Cityscope & # 8211 Ben Butchart, EDINA

Во-первых, я хотел бы поблагодарить своих коллег за работу над этим, Ричарда Гуда из IS Apps и Рубена Гамеза из EDINA.

Представьте, что вы столкнулись с профессором, новым для университета, который хочет превратить город не просто в «Учебный город» 8221, а в «Глобальный учебный город»! »8221. Я думаю, что большинство инженеров пробегут милю, но мы в ЕДИНА сделаны из балок! Итак, я и Никола Осборн из EDINA были приглашены в руководящий комитет этого проекта, когда он начал формироваться.

Я и Ричард Гуд работали над технической областью этих проектов и над тем, что им может понадобиться, способами создания приложений, способами управления данными и способами творческой работы. Основная идея состоит в том, что вы входите в рабочую среду и имеете свои собственные компоненты для игры, которые дают вам доступ к данным, документации, виджетам, чтобы играть с данными различными способами.

Бен Бутчарт рассказывает об & # 8220гайках и болтах & # 8221 Edinburgh CityScope на мероприятии Hello World

Просто чтобы дать вам очень ранний обзор. Сегодня мы ничего не запускаем, это лишь представление о том, над чем мы работаем. Итак, если вы войдете в свою рабочую среду Cityscope, вы можете использовать Jupyter Notebooks для изучения данных, для кодирования вашей собственной интерпретации, а мы используем API и запросы для ввода данных сюда. Для тех, кто не хочет прикасаться к доде, код, вы можете создавать свои собственные приложения, например в том же смысле, что и для веб-проекта гражданской обсерватории COBWEB Curious Edinburgh, о котором вы и # 8217 услышите позже, они также представляют собой форму предварительно запеченной идеи приложения - в этом случае с использованием WordPress для создания мобильного туристического приложения. Мы также изучаем инструменты сторонних производителей, такие как AppGyver, которые позволяют создавать собственные приложения.

Что касается данных, мы используем GitHub в качестве репозитория и # 8211 способа управления и контроля версий этих данных, чтобы сделать их легкодоступными для разработчиков, API и т. Д. данные максимально доступны.

Когда мы впервые заговорили об этом проекте, профессор Эван Кляйн рассказал мне о JupyterHub & # 8211, это как вики-страницы, но они исполняемые, с поддержкой более 40 языков, что позволяет вам кодировать и документировать по ходу работы, используя данные. научная идея & # 8220кодирующего повествования & # 8221. Я думаю, что такие вычислительные тетради станут основным навыком для выпускников в будущем. И я думаю, что это здорово, что Cityscope предоставит сервер Notebooks в рамках этого проекта.

Последний компонент - это Mobile Backend as a Service, использующий Loopback, который позволяет вам с самого начала создавать API для каждого набора данных, позволяя вам немедленно загружать данные в эти инструменты Maker.

Теперь ни одна презентация инженера не будет полной без прямоугольной и линейной диаграммы! Если вы разработчик программного обеспечения, вам понравится эта диаграмма, полная интересных вещей! Теперь мы используем Docker и работаем над AWS в настоящее время, поскольку это позволяет нам экспериментировать и гибко развертывать инструменты, но все это настроено. чтобы мы могли перенести его в другое пространство в будущем, разместить его локально и т. д.

Использование Edinburgh Cityscope для взаимодействия Университета с общественностью & # 8211 Проф. Лесли МакАра, Школа права

Две амбиции, которые у нас должны быть: поставить наши исследования и обучение на службу нашим сообществам, работая совместно, чтобы произвести значимые и устойчивые изменения и амбиции для городов, чтобы эдинбургская степень & # 8220 была достаточной & # 8221, чтобы сделать их трудоустроенными, и Обогащал выпускников & # 8211 знаниями, мышлением и основными навыками, которые такой проект дает возможность развивать и использовать.

Одна из вещей, которые мы хотим попробовать и сделать, - это иметь 100 студенческих проектов, групповые проекты с мультидисциплинарными группами на уровнях UG или PG, фактически могут использовать Cityscope в 2017/18 учебном году, где они будут использовать данные из Cityscope как часть своей обучаются, но также создают и используют свои собственные исследования и вводят данные в Cityscope или комбинируют с данными Cityscope. Он предлагает возможности для открытого обучения на коротких курсах и возможности получения высшего образования (студенты в качестве преподавателей). И есть огромный потенциал использования наборов данных Cityscope, чтобы показать, как любые вмешательства в городе Эдинбург могут отображать и отслеживать изменения, картировать влияние, оценивать работу в городе.

Профессор Лесли МакАра рассказывает о картографических данных на мероприятии Hello World в Эдинбурге CityScope

Итак, я хочу показать вам карту. Я веду лонгитюдный проект о влиянии социальной депривации на преступность. У меня есть ГИС-система, которая используется в этом, и я хочу выгружать свои данные из нее, объединять и обновлять в будущем, чтобы отслеживать изменения с течением времени. Одна из проблем, с которыми сталкивается город в целом, - это плотная кластеризация областей социальной депривации и плохих результатов - исключения из школ, полицейские отчеты о насильственных преступлениях, задержаниях и т. Д. - четко соответствуют этим. И задача состоит в том, чтобы найти меры, которые действительно это изменит. Работа с Советом и другими заинтересованными сторонами, чтобы попытаться изменить ситуацию к лучшему. Существует тесная связь между бедностью и плохими результатами, и, как университет, я думаю, что мы должны попытаться внести эти изменения, наблюдая, что работает, а что меняется со временем.

А теперь короткая цитата Вальтера Скотта & # 8211, который имеет отношение к этому зданию (ECCI), поскольку он преподавал в нем, когда это была Королевская средняя школа:

& # 8220 Раса человечества погибла бы, если бы они перестали помогать друг другу. Мы не можем существовать без взаимопомощи. Поэтому все, кто нуждается в помощи, имеют право просить ее у своих собратьев, и никто, обладающий властью предоставить помощь, не может отказать в ней без вины & # 8221.

И поэтому я бы сказал, что никто, кто имеет право предоставлять финансирование и поддержку Edinburgh Cityscope, не может отказать в этом без вины!

Lit Long: Mapping Literary Edinburgh & # 8211 Профессор Джеймс Локсли, факультет английского языка

Эдинбург - самосознательный литературный город. И мы хотели исследовать не только авторов, но и кафе, которые они часто посещали и т. Д., Но мы хотели исследовать воображаемый город, город их литературы и идей. И мы хотели применить вычислительные методы к материалу, с которым мы привыкли работать, чисто человеческими способами.

Мы определили соответствующие тексты, проверив, что это литература, а не, например, стихи, а затем текст, извлекающий их из географических названий. Проект назывался Палимпсест (2014-15) И создал ресурс под названием LitLong. У нас есть онлайн-визуализатор местоположения, база данных для поиска и приложение, которое можно использовать. За этим стоит база данных из 47 000 текстовых отрывков, собранных менее чем за 15 месяцев, и вы можете изучить все это в наших практических занятиях.

Профессор Джеймс Локсли рассказывает о LitLong на мероприятии Hello World в Эдинбурге Cityscope

С тех пор, как мы создали этот ресурс, мы пытались понять, что еще мы можем сделать с этим ресурсом. И нам очень повезло, что у нас было финансирование от AHRC, чтобы продвигаться вперед, изучать использование LitLong с сообществом, с авторами и т. Д. И мы также тесно сотрудничаем с Edinburgh City of Literature Trust, чтобы продолжить это. Так что приходите и посмотрите во время практического занятия и узнайте больше о нашей работе.

Картографирование Эдинбурга и социальной истории # 8217 (MESH) & # 8211 Профессор Ричард Роджер, Школа истории, классики и археологии

Я буду говорить о проекте, связанном с MESH, но чтобы поместить его в контекст, вам нужно понять две ключевые вещи, которые MESH делал как проект: сбор данных социальной истории и создание богатой подробной базовой современной карты.

Во время MESH команда построила Open Street Map с огромной степенью детализации & # 8211, при этом большая часть города теперь нанесена на карту в пределах 3 метров, в некоторых случаях с точностью до 1 метра. Это открыто для всех, принося пользу всем в городе. Это имеет огромное экономическое значение. Правительство Нидерландов провело расчеты этого воздействия, чтобы показать реальные преимущества такого уровня детализации.

Таким образом, с помощью этого современного и исторического сопоставления мы можем взять другой источник данных, например, Шотландский почтовый офис, каталог 8211, и отслеживать изменения с течением времени, например, расположение мясников в Эдинбурге. (см. изображение ниже).

Профессор Ричард Роджер рассказывает о проекте MESH на мероприятии Hello World в Эдинбурге Cityscope

Теперь «Затерянный Эдинбург» - это страница в Facebook, которую, я уверен, многие из нас знают и любят. На этом сайте запечатлены городские пейзажи Эдинбурга, жизнь и история города. И в течение последних трех месяцев Уилсон Смит из Затерянного Эдинбурга работал с Эриком Гроссо, техническим специалистом здесь, создавал обширные метаданные для информации о Затерянном Эдинбурге, чтобы ее можно было использовать снова, и структурировать эти данные таким образом, чтобы можно продолжить.

Эти метаданные и инструменты, доступные в MESH, обогащают «Затерянный Эдинбург» как ресурс, и этот контент обогащает наше понимание города. Есть много других типов наборов данных, которые мы можем использовать с помощью инструмента геокодирования, который позволит нам исследовать и комбинировать наборы данных. И теперь у нас есть мощный инструмент для исторического анализа.

Curious Edinburgh & # 8211 Доктор Ники Вермёлен и доктор Билл Дженкинс, Школа социальных и политических наук

Ники: Любопытный Эдинбург - это проект по созданию веб-сайта и приложения, которые позволяют вам исследовать историю науки в Эдинбурге. И этот тур основан на настоящем туре, который раньше проводил профессор Джон Генри & # 8217s раз в год. Мы превращаем это в веб-ресурс и телефонный ресурс, чтобы вы могли совершить экскурсию в любое время.

Ники Вермеулан рассказывает о Любопытном Эдинбурге на мероприятии Edinburgh Cityscope Hello World

Билл: Я просто собираюсь дать вам краткий обзор содержания, в котором исследуются исторические места и известные личности, такие как Джон Хаттон. Часть контента взята из тура Джона Генри, но часть также является результатом нашей работы в партнерстве с Национальными музеями Шотландии, музеями Surgeons & # 8217 Hall, Королевским обществом Эдинбурга и т. Д. Я также собираюсь поиграть клип из включенного нами видео, снятый в последний раз, когда Джон Генри гастролировал в 2014 году. (Клипы были показаны, страницы просмотрены. Вы можете изучить их наcuriousedinburgh.org)

Билл Х. Дженкинс рассказывает о Любопытном Эдинбурге на мероприятии Edinburgh Cityscope Hello World

Ники: Итак, мы надеемся продвинуть это вперед с большим количеством туров, больше историй для изучения. Здесь мы видим возможности для будущих экскурсий по геологии (контент уже готов!), Физике (контент почти готов), медицине, общественному здравоохранению, биотехнологиям, инженерии, пивоварению, философии, социологии, архитектуре и т. Д.

И с этим Крис Спид передает нам руки на часть дня & # 8230 Блог продолжится, когда мы вернемся на пленарное заседание во второй половине дня.

Команда Curious Edinburgh демонстрирует свой веб-сайт и приложение директору Тиму О & # 8217Ши на мероприятии CityScope Hello World.

Проект MESH поделился своей работой с Lost Edinburgh в Edinburgh CityScope & # 8211 Hello World

Команда LitLong демонстрирует свои последние работы в Edinburgh Cityscope Hello World

Практическое занятие по визуализации Google Cardboard в Edinburgh Cityscope Hello World

Команда EDINA Geo покажет, как данные могут быть нанесены на карту с помощью ряда инструментов в Edinburgh Cityscope Hello World.

Команда разработчиков Cityscope продемонстрировала ранние прототипы и готовые инструменты на мероприятии в Эдинбурге Cityscope Hello World.

Дискуссионная сессия

Крис: Итак, мы хотим завершить обсуждение того, что нам нужно, где пробелы, где потенциал?

Салли Керр, городской совет Эдинбурга: Мы (городской совет Эдинбурга) располагаем множеством данных и ресурсов городского совета. У нас есть проблемы, которые мы хотим решить, данные, чтобы лучше понять. Мы должны работать вместе, чтобы продвигаться вперед, это может быть полезно для ваших исследований, и мы хотим работать в партнерстве, работать вместе, чтобы посмотреть, что можно сделать с нашими данными. Приходите и спросите нас!

Крис: Что было сегодня хорошего или полезного?

Патрисия Эрскин, UoE: Я думаю, что это здорово, что все эти партнеры здесь, и было бы здорово получить последующую информацию до сегодняшнего дня о данных, которые доступны, о том, как продвигаться вперед.

Джонатан: Да. Прямо сейчас мы работаем над основами этого проекта, мы хотим перейти к работе, о которой говорила Лесли МакАра, - подтверждению концепции в масштабе 100 проектов (2017/18). Следующим шагом после этого будет все пение, все танцы, версия этого, открытая для всех. И действительно, я хотел бы поблагодарить директора и информационные службы за их финансирование и поддержку проекта на текущий момент и на год вперед. Затем нам нужно подумать о том, что будет дальше.

Крис: А как насчет других приложений и идей?

Участники знакомятся с различными инструментами и обсуждениями в Edinburgh Cityscope Hello World.

Эван Кляйн, информатика: Мне интересно, как Cityscope пересекается с проектом MESH & # 8211 Open Street Map - это инфраструктура, которая поддерживает сравнение данных и информации.

Бен: Есть возможность комбинировать данные в некоторых формах. Итак, с Cityscope для iOS имеет смысл использовать набор Apple Maps, установленный по умолчанию. В EDINA мы, как правило, указываем на собственные серверы картографии или OSM. Для Cityscope есть возможность запустить собственный сервер приложений, переходя от мозаичной карты к векторной тайловой карте и # 8211 добавлять свою собственную картографию и стиль. В контексте MESH мне будет очень интересно взглянуть на технологию векторных плиток для студентов и пользователей, чтобы клонировать эти наборы данных и выбрать соответствующие функции, которые можно использовать в записных книжках, инструментах картографии, стилях CSS. Это тот разговор, который нам нужен, чтобы поговорить и определить масштаб конкретных проектов. Мы могли бы сделать так много, что перед нами стоит задача сосредоточиться на самом важном или самом важном.

Ричард Роджер, HCA: Я думаю, нам нужно понять, насколько это перспективный проект и насколько он ориентирован на внутренний мир. Мы должны планировать на основе этого понимания. И мы должны протестировать его на реальных пользователях. На этом этапе важно воображение, и этот диалог с жителями Эдинбурга является центральным и решающим для этого.

Тим О & # 8217Ши, директор UoE: Я думаю, что ясность амбиций в отношении сообщества и амбиций была бы полезна. Сообщество, вероятно, - это любой, у кого есть доступ к компьютеру или мобильному телефону, какие данные актуальны и по объему, а третья часть относится к проекту App Inventor, который я видел на MIT & # 8211, который является довольно ограничительным инструментом для ограничивающих данных & # 8211, так что насколько вы амбициозны с точки зрения того, что можно объединить и построить. Для любого, кто приезжает в Эдинбург, чтобы создать в городе любое приложение, которое они хотят, это очень амбициозно, возможно, слишком амбициозно. Но важно иметь ясность в этих трех областях.

Джонатан: Сейчас мы очень амбициозны, стремясь к более высокому уровню этого спектра. Мы пробовали AppGyver, основанный на фреймворке Ionic, который также используется Массачусетским технологическим институтом, и сейчас мы пробуем AppGyver, но прямо сейчас платим за это немалую плату. К тому времени, когда мы будем готовы открыться миру, я думаю, появится эквивалент с открытым исходным кодом для создания многих других вещей & # 8211, потому что в идеале мы хотим, чтобы кто-нибудь делал что-нибудь с нашими данными, данными OSM и т. Д.

Бен Б: Мы уже сделали некоторые инновации, когда возможность использовать блог позволяет создавать приложения. У нас уже есть некоторые инструменты, которые мы можем использовать и опробовать, в которых используются простые и знакомые инструменты. Другой подход - это инструменты типа AppGyver, которые впечатляют своей функциональностью.

Питер Бернхилл, EDINA: Наш подход, как правило, к мобильной работе, заключался в том, чтобы позволить путям создавать приложения, создавать то, что им нужно. Ричард говорил об открытости, но иногда возникает необходимость в ограничениях из-за конфиденциальности или лицензирования, и нужно решать это и связанные с этим проблемы. Это реальные вещи, с которыми нужно противостоять.

Салли К: В Совете мы пытаемся думать о цифровых инновациях & # 8211 и думать не только о том, что для этого есть приложение & # 8221, и вместо этого сосредотачиваемся на проблемах, которые необходимо решить, и на наборах инструментов, чтобы попробовать что-то, чтобы посмотреть, что работает, а что действительно нет. Приложения не будут здесь вечно, мы должны думать о проверке будущего. You need to think about scaling and future proofing, and offering more for 3 years, for 5 years.

Jonathan: Indeed, and that’s part of why Cityscope is an infrastructure. You need a safe place for data, tools to manipulate that data, and that top layer for creating and using data – which is where we are using some third party and initial ideas there.

Tim O’Shea: I think it may not be possible to be future proof but the closest we can be is being ahead of other people – and that’s what Edinburgh University is good at doing. There’s some fabulous work here already, but that’s what we need to do here, to keep ahead of others’.

Jonathan: And Edinburgh is in a unique position here, we have a rich history to draw upon here.

Richard R: And that spatial aspect is absolutely central to all of these ideas, that data, the issues that Sally is raising. And the quality of the underlying mapping is crucial.

Chris: We have to be aware that people move at different paces – some of what is happening now seems to reflect what we could do with iPhone 3S – so we have to anticipate that, what is coming and what will be important.

Ewan K: I think if students are collecting data then we need to think about the use and reuse of data – how that is licensed etc. There is a position that all citizen data must be open data, and I think that has some merit. But also it’s not clear how we best support students in collecting, storing and sharing data that is not open.

Ben B: I wanted to come back to Sally’s comment that mobile apps aren’t necessarily the key things in the future. It’s easy to build an app that won’t be used. But there is the idea of using bots that lets you use existing app, to bring back a relevant data set. That means less friction, and again that’s something we’d like to explore.

Eric Grosso: We need our systems to be sustainable and robust, where databases and services can be hosted, so we can make this space for experimentation and more geospatial projects like this.

Chris: I suspect there is a way to think about sharing data, combining data and building connections.

Jonathan Silvertown and Chris Speed lead discussions after the hands on session at Edinburgh Cityscope – Hello World

Thank you so much for this. We have our website, edinburghcityscope.org, and that’s another way to explore and continue. And do email and tweet us your ideas and input.

And with that we move into the wine reception for the AHRC Engaging Edinburgh projects, and the close to the event. Thanks to all who have joined us in person, on the blog, or on Twitter. We welcome your comments and ideas on the Engaging Edinburgh projects, or indeed on CityScope – which we will pass onto our colleagues there. Do leave comments below, tweet the projects or CityScope (@embracityscope).


10 Answers 10

Flowing data regularly discusses the tools that he uses. See, for instance:

He also shows in great detail how he makes graphics on occasion, such as:

There are also other questions on this site:

  1. R and ggplot2: this is a good introductory video, but the ggplot2 website has lots of resources.
  2. Processing: plenty of good tutorials on the homepage.
  3. Protovis: also a plethora of great examples on the homepage.

You can use Adobe afterwards to clean these up.

You can also look at the R webvis package, although it isn't as complete as ggplot2 . From R, you can run this command to see the Playfair's Wheat example:

Lastly, my favorite commercial applications for interactive visualization are:

Already mentioned processing has a nice set of books available. See: 1, 2, 3, 4, 5, 6, 7

You will find lots of stuff on the web to help you start with R. As next step then ggplot2 has excellent web documentation. I also found Hadley's book very helpful.

Python might be another way to go. Especially with tools like:

All projects are well documented on the web. You might also consider peeking into some books.

Lastly, Graphics of Large Datasets book could be also some help.

You'll spend a lot of time getting up to speed with R.

RapidMiner is free and open source and graphical, and has plenty of good visualizations, and you can export them.

If you have money to spare, or are a university staff/student then JMP is also very freaking nice. It can make some very pretty graphs, very very easily. Can export to flash or PNG or PDF or what have you.

Another good alternative is the protovis library http://vis.stanford.edu/protovis/

It is a very well crafted JavaScript library that can create some beautiful visualizations if you have the time and ability to write the modest amount of JavaScript code needed.

I also highly recommend Tableau http://www.tableausoftware.com. It is great for rapidly exploring data sets and creating many different visualizations.

Both products have roots at the Stanford Visualization Group.

Many excellent answers have been given here, and the languages/libraries you choose to learn will be dependent on the type of visualization you would like to do.

However, if you use Python regularly then I highly recommend seaborn. It is very sophisticated when it comes to statistical data visualization, but also looks quite sophisticated from a presentation standpoint.

Let's take an example. Suppose you are trying to plot electricity consumption for a commercial building by month. A simple line graph could be generated in matplotlib for this purpose.

However, if we wanted to make the visualization more sophisticated and informative, we could generate a heatmap with seaborn:

A heatmap is just one example. Some other common uses with seaborn include:


Matthew Baker: “Breaking free from a traditional set of tools is a relief and a challenge”

Matthew Baker

Matthew Baker has been in the geospatial industry for 10 years, having studied in Windsor, Ontario and Lawrencetown, Nova Scotia Canada before working at an Urban Planning firm in Ontario, then on to Esri in Redlands, CA. Matt is now the Sr. GIS Analyst at Denver Public Schools, a position which supports the District’s planning and analysis of students, schools and boundaries, as well as delivery of spatial data to the enterprise student information system.

Matthew was interviewed for GeoHipster by Katrina Engelsted.

Q: You work for Denver Public Schools. What are you all working on? Why do you use maps?

A: As I write this the 2015-16 school year is starting up. We’re tracking enrollments and looking at how neighborhoods in Denver are changing. Soon we’ll have our annual enrollment count that get submitted to the State, and there will be a flurry of analysis that will go along with it that will support the decisions the District will make going into the years ahead.

We use maps to communicate the state of the District to everyone from the Superintendent and the Board of Education through to the Principals of schools throughout the District and parents of students in the schools. We publish maps online for the community to use, we create mailing lists and canvassing maps for our community outreach team, as well as maps used at community meetings around the City to drive discussion on boundary changes our maps go into the yearly Strategic Regional Analysis, and we’re constantly creating one-off maps for quick-turnaround analysis that comes from senior administration.

Q: What are some lessons you have learned along the way when developing systems for DPS?

A: Working in a relational database system you learn a LOT about real data very quickly, such as what primary keys are for, how spatial indices are built, how joins really work, and most importantly you don’t have to cram all possible information about your spatial data into one table.

When I started at DPS, my first task was to re-build the ArcSDE. I quickly realized, however, that our student enterprise is based in SQL Server, and there is a lot of data that will never live in a geodatabase. Additionally our analysts were already using heavy-duty SQL for their analysis, which almost always had a spatial component, and since the spatial data lived with one person — the ‘GIS’ person — there was always a wall.

So using PostGIS as a guide, I developed a native SQL server spatial environment bringing in our data from ArcSDE, and connected and delivered spatial data to the enterprise. I taught our analysts how SQL spatial functions work, and we finally had spatial analysis tools we could all use.

Q: What is your technology stack?

A: We’ve been using ArcSDE for spatial data editing and ArcMap for cartography, MS SQL Server for spatial analysis and reporting, and FME to bridge the gap between the two formats. The spatial database really works for us, but there are huge glaring holes.

So we spent the majority of this past summer building an open source version of this stack: we dissected our current workflows, outlined strategies for implementing FOSS4G, and identified areas we’d have roadblocks. We then set up a PostgreSQL database server, enabled PostGIS, loaded our core spatial data and some other enterprise tables, and we’ve been hitting it hard with no sign of looking back, using QGIS for cartography and data editing, SQL to analyze and build spatial datasets, and we’re getting into pgRouting to better analyze student distance calculations. The benefits of PostgreSQL as a central database are a big deal for us, and integrating other tools like PGModeler, LibreOffice, and CartoDB, and of course open source operating systems like Ubuntu and Mint are all icing on the cake.

Q: What you envision for the future of curriculum for geography students?

A: I really have no idea what digital geography is being taught at the K-12 level, if any, and I frankly don’t believe Kindergarten students should be “doing GIS”– contrary to a lot of marketing emails I get.

However, at the post-secondary level, everyone in Denver is ready for a new way of learning about spatial data. There is the FOSS4G Lab at UC Denver that I’ve been participating in, and I really see their work as an important step forward into building new tools into digital spatial learning and beyond. And we’ve got a great monthly meetup to learn from each other.

Q: You worked at Esri for a bit? What were you doing there and what did you get out of it?

A: I lived in Mojave in a Winnebago, got slobberin’ drunk at the Palomino, and got 6 years in San Ber’Dino… I’m talking about The Red Lands! Well I spent those years learning as much as I could about as much as I could, focussing at work on urban planning applications of GIS, and at home on cooking and vegetable gardening. And since I was doing so much cycling there, I met a group of local bike commuters. We created the Redlands Bike BBQ (with @geogangster), got a covered secure bike parking facility built at Esri, and I’m told we were instrumental in the implementation of the new bike lane system in Redlands. My best friend was a 65-year old ex-surfer, ex-forest service fire-fighter, ex-high school teacher who gave me tours of the area no import to Redlands ever receives, and no matter what dusty corner of the Inland Empire we’d visit, we’d always run into one of his former students…

Q: What did you study at university? How did you find yourself in the geospatial world?

A: At University I went back and forth between geography and communication studies, eventually getting my degree in Communications and a Minor in Geography. I then took a year at the Center of Geographic Sciences in Lawrencetown, Nova Scotia (aka COGS). Since geography was always my favourite subject growing up, and since I have media in my blood (both parents are retired from the CBC), I had a eureka moment when I created my first PDF map! Communications and Geography! Now what to do with it…

Q: You are married to a fellow cartographer. First of all, how did you two meet? How does it feel to be a geo-power couple? How often do you “talk shop”?

A: Mamata and I met in Redlands at a bike rack and both seemed to have a shared philosophy of temporary life in SoCal — she is from Northern California, so we never understood watering lawns at 3pm in July when it was 110F and hasn’t rained in 4 months. Hand-in-hand we both kept one foot out the door, and when the time came, we got ourselves to Denver. I’d say we’re a geo-power couple, but really after a few words about work when we get home, it’s time for dinner and the usual tasks of a married couple. I’m super proud of what she’s done and where she is and looking forward to what comes next for both of us both on and off the field…

Q: What is the biggest challenge you see in the geospatial field?

A: Breaking free from a traditional set of tools is a relief and a challenge. There is so much information out there on Twitter, blogs, etc., and it’s tough to navigate all off it let alone decide what tools you should use to fit your organization, and then you’ve got to think about how those tools will be supported. Then there is the challenge of breaking the old “GIS” way of thinking, that one application can solve all your problems… as we say around the office, we’ve got to think outside the Arc…

Q: How would you describe the Denver mapping community?

A: From what I can tell, Denver has been an ‘oil and gas’ mapping community for a long time. But with all the new companies and people coming into town, all looking to get spatial going in their organizations, there is a growing community of GeoHipsters, and it’s definitely the next place I see things really popping up for the industry.

Q: What skill is on your list to master next?

A: Open source ETL tools still evade me, and we have a need for a rigorous geocoder, but I haven’t cracked that open yet.

Q: Which do you prefer when it comes to maps?

  • Data or design
    • Data — however, the medium is the message…
    • Functional tools should just BE beautiful
    • Historical
    • Markers
    • Heat maps
    • Хм?
    • GeoServer

    Q: … and one more, what do you do in your free time — that makes you a geohipster? Collect antiques? Ride Denver buses? Drink beer? Cycle around town?

    A: I used to be a bike commuter, but finally got so fed up with other cyclists blasting through stop signs and red lights, texting while riding, all of it with no helmet, no gears, no brakes (organ donors), I finally said enough and got on the bus. Now I read a lot and chat with people and do a lot more walking, and now as a pedestrian I find great amusement in blocking the route of cyclists running red lights and exchanging middle-fingers.

    I go to one brewery and they do English-style cask-conditioned ales, I brew half-decaf store-bought coffee in an auto-drip (or percolator) and sometimes re-heat it on the stove the next day if no one drinks it. I don’t eat meat (it’s just not healthy, people), but I’m not a vegan (I do love honey and my leather boots).

    Q: Any closing comments for the GeoHipster readers?

    A: Reading all these tweets and blog posts it’s like we’re at war — from both sides of the open source paradigm. One side seems to want to destroy the other without knowing what they really do and why, while the other side will tell you they support these new tools and companies then turn around and try to buy them up or confuse the education with marketing materials. Swearing and being snarky in your tweets or calling yourself open source because you have a GitHub account is divisive, deceptive, and distracting. I am the user, and frankly I don’t want to support either of you. Like Nathan said, get a hobby!