Elasticsearchには、Search Templateという、よく使うクエリをElasticsearch自体に登録して、それをテンプレートにして検索クエリの一部を差し替えたような検索ができます。 使い所によって、共通化、タイプ量削減、設計方針の強制、コンセプトの共有、いろ…

ちょっとタイトルは内容からすると主語というかスコープがでかすぎです。ご了承ください。 過去に次のような記事を上梓させていただいております。 itdepends.hateblo.jp itdepends.hateblo.jp ただ、いろいろやっていると、多少気分も変わることもしばしば…

はじめに PandasのEDAに便利な部分を、データチェックに見立てて利用すると、目的外使用かもしれないけど、便利かも？ という視点でのPandasのイディオムの寄せ集めです。 （よって、そう思って見なければ、Pandasの中途半端な入門例未満の断片集だったりし…

はじめに データサイエンス的な世界に限らずですが、本処理以上に「前処理」が勝負というところがあります。 ここで、「本格的な『前処理』の更に前段の『前処理』が必要になった」という経験はありませんか。 まあ、単なる言葉遊びに過ぎないところもありま…

そろそろ私なんかでも日曜大工で遊べそうな雰囲気が漂ってきたWebRTCでの画面共有アプリを習作してみました、という例です。 なお、各種ソフトのバージョンはあえて割愛しますが、2020年5月2日に確認した内容の記事となりますので、そのような鮮度だとご承知…

下記のd3.jsの勉強記事で思い出したのですが、Leafletも位置付けからするとそりゃGeoJSONいけるよねと思って確かめてみました。 itdepends.hateblo.jp ↓ いけました。 もともと、OpenStreetMapなど地図の上に、レイヤーをかぶせることができるというのは（自…

GeoJSONですが、仕様と要件の性質上ある意味あたりまえだと思いますが、頂点をよろしく曲線で結ぶ仕様はないようです*1。 でも、下記図みたいな、こんな感じのことをしたいこともあるよね？ということで調べてみて、d3.jsで試してみましたの例です。 あたか…

GeoJSONファイルのd3.jsでの可視化にチャレンジしてみました（という、サンプルコードのセルフリマインダです）。 「GeoJSON 可視化」などでググると、やはりというか、さすがというかd3.jsでさっくり可視化ができるんだね〜ということがわかるのですが、ほ…

d3.jsは、ブラウザ上で様々なデータを可視化するための非常に強力なライブラリです。 モグリのワナビーな私もさわりだけでも嗜んでおこうと思い筆をとりました。 以下、d3.jsの試しやすい範囲*1の簡単な事例(ただし私が良かれと思っているものチョイス）のサ…

全国の路線をカバーしていて、比較的使いやすい元データで、ある程度結果データ量がコンパクトになると思われるような駅・路線データはないかな〜、それを使って（データ量のトレードオフとして駅と駅の間は直線でもよいので）路線図をplotツールなどで可視…

この記事は、ElasticsearchのGEO系検索のうち、GeoShape DSL(geo_shape)を試してみたものになります。 次の記事の続きです。 itdepends.hateblo.jp また、次の別の記事でGeoPandasを使って（あまりシェープファイルやGeoJSONといったGIS用データ形式がわかっ…

最近、社会情勢もあって白地図を目にすることが多くなっていますが、この機会にGISデータを扱う、シェープファイルやGeoJSONにふれてみようと思いました。 PythonであればシェープファイルやGeoJSONに関する便利ライブラリもいっぱいあるだろう、ひょっとす…

ElasticsearchのGEO系検索のうち、ポリゴンをからめた検索について試してみました。 www.elastic.co なお、試したのはElasticsearch 6.8ですが、7系に橋渡ししやすいクエリやMapping設定の記述としたつもりです。ただし、紙面の都合・その他の理由によりでve…

Pandasのアクセサ、特にstrアクセサについては、シンタックスの外面がやや特殊に感じておおりました。 よって、挙動になれるまではどこまでOKなのかわかりにくいので、気持ちのどこかで利用をさけていたのですが、ある時期以降は宣言的にロジックを書けるの…