Embedded Files
Представляя OpenCharities: Открытие благотворительной Регистрация
Представляя OpenCharities: Открытие благотворительной Регистрация
Пару недель назад мне нужно список всех благотворительных организаций в Великобритании и их регистрационные номера, чтобы я мог попытаться свести их до местных советов данные о затратах на общую OpenlyLocal это и пытается разобраться. Довольно простой запрос, вы думаете, особенно в этом новом мире транспарентности и открытости данных, а также для набора данных, которые в бесспорный.
Ну, вы бы не так.
Там нет ничего на data.gov.uk, ничего CKAN и ничего на сайте Комиссии Благотворительность,
а на самом деле вы даже не сможете увидеть весь зарегистрироваться на сайте,
только первые 500 результатов любого поиска / категории.
Вот что Комиссия по делам благотворительных говорит на своем веб-сайте (NB: экстракт ниже усекается):
Комиссия может предоставлять в электронной форме в разряде свою обязанность по обеспечению четкая копия публично доступной информации, если лицо, ходатайствующее о копии рад получить ее в таком виде. Существует не обязаны Комиссии представить копию в таком виде ...
Комиссия не будет предоставлять электронные копии любых материалов, подпадающих под Краун авторского права или права базе Короны, если оно не выполняется ... что заявитель намерен повторно использовать информацию в соответствующей форме.
Ммм. Время для щебетать прийти на помощь, чтобы проверить, что некоторые другие самостоятельно мыслящий человек уже не решить эту проблему. Ничего, но я получил указал на эту просьбу данных будет разблокирован, с недавних ответ Комиссии по благотворительности, в сущности говоря: "Нет, мы не собираемся выпустить его":
Для ресурсов причинам мы не в состоянии представить весь Регистрация благотворительных обществ. Искать Таким образом, ограничивается 500 результатов ... Мы не можем допустить полного доступа ко всем данным, содержащиеся в регистре, а Существуют ограничения на использование данных, извлеченных из реестра ... Тем не менее, мы будем рады рассмотреть вопрос о предоставлении доступа к нашим данным на получения письменного запроса Ведомственные запись сотрудника
Итак, кажется, что они не намерены сделать эти данные доступными в ближайшее время (я на самом деле, не купить, что Есть интеллектуальной собственности и конфиденциальности данных вопросов с делать основную информацию о благотворительных доступны, и если есть на самом деле это необходимо быть изменена без промедления), так что некоторое время для экрана выскабливание. Оказывается, это довольно сложный сайт, чтобы скоблить, потому что она требует не только печенье и JavaScript для правильной работы.
Попробуйте отключить, как в вашем браузере и посмотреть, как далеко вы получите, и тогда вы также получите представление о том, как трудно использовать, если у вас есть вопросы доступности - и проверить их слабая отговорка для доступа к заявлению, т.е. жесткая удача .
Тем не менее, существуют, как правило, кстати, даже если это означает, некоторые довольно извилистый маршрутов, и, как аналогичным образом недоступными Бирмингем сайте городского совета, это всего лишь своего рода вызов, который упорным так-то все равно меня не будет отказываться от.
И способ получить информацию, как представляется, через точку с географическими поиска (другие маршруты полагаться на Javascript), и, хотя она по-прежнему проблематична, она была вполне выполнима.Таким образом, теперь у нас есть открытые данные реестр благотворительных организаций, включены вOpenlyLocalи привязаны к расходования данных, опубликованных советов.
И потому, что такого рода вещи так легко, как только вы получили ее в базу данных
(Комиссии по благотворительным организациям принять к сведению), Есть несколько премий.
Во-первых, было сравнительно легко постучать до быстрый и очень простой Синатра приложенияOpenCharities:
Если есть какой-либо интерес, я буду добавлять новые функции к ней, но сейчас это только самые простые вещи, веб-приложение с уникальным URL для каждой благотворительной основе своей благотворительной номер, и основная информация по каждому благотворительность имеется также данных (XML, JSON и RDF). Также для поиска и сортировки по последнему доходов и расходов, так и для людей связанных данных Есть dereferenceable ресурсов URI.
Это очень альфа-приложения: дизайн очень простой и вполне возможно, что Есть несколько благотворительных отсутствует - по двум причинам. Один: Комиссия по благотворительности все время ожидания (думаю, мне удалось забрать все из них, и они должны получить взял, когда я периодически запускать скребком), и 2: По-видимому, ошибка в работе Комиссии сайте Благотворительность, так что , когда в период между 10 и 13 записей, только 10 показали, но нет возможности видеть дополнительные. В качестве ориентира, Есть в настоящее время 150 422 благотворительных организаций в OpenCharities базы данных.
Стоит также отметить, что из-за несоответствия структуры страницы, доходов / расходов данных для некоторых из крупнейших благотворительных организаций, это еще не в системе.
Я разработал исправить, а записи будут постепенно обновляться, но только они не будут переизбраны Царапины.
Второй бонус в том, что вся база данных доступна для скачивания и повторное использование (по открытым, акций, так присвоение лицензии). Это сжатый CSV файл, весом чуть менее 20 Мб для сжатого версии, и, вероятно, следует лишь покушение на тех, кто знаком с манипулирования большими объемами данных (не пытайтесь открыть его в электронную таблицу, например).
Я также в процессе его импорта в Google Fusion Таблицы (до сих пор далеко вспенивание в фоновом режиме)
и будет разместить ссылку когда это будет сделано.
Теперь, вернувшись в том, что расходы данных.
Быстрый, мощный и Acurate Автоматизированная извлечения данных.
Получить бесплатное ознакомление
Page updated
Google Sites
Report abuse