pythonでRPAっぽいことをやってみた
公開 2023/06/15 11:20
最終更新 -
10日ごととか、月一みたいに行う定型作業がありますので、これまではPythonを使ってRPAのようなものを作成していました。その際にpyautoguiというライブラリを使用していました。

pyautoguiは画面上の画像イメージを取得し、画面上から一致する位置を探し出す機能を提供します。もし見つけた位置にボタンがあれば押したり、テキストボックスがあれば文字列を入力したりすることができます。

しかし、この方法をWebブラウザに表示される要素に適用しようとすると、ある日を境にうまく動作しなくなってしまいました。おそらくブラウザのアップデートにより、微妙なイメージの変化が生じているため、保存したイメージファイルと一致しなくなったのだと思われます。
目視では違いはわかりませんでしたが、イメージ比較ツールを使用することで違いがわかりました。私自身は作成者の立場ですので、必要な時にイメージを再取得して使用していましたが、他の人にはこの方法は使いづらいでしょう。

しかし、Seleniumというライブラリを試してみたところ、うまく機能しました。これはイメージの一致を利用するのではなく、ページの構成要素から項目を特定することができるためですね。ブラウザを自動テストモードでどうさせるということらしいです。
しばらく使って問題がなさそうなら、関係者に直接使ってもらおうと思います。

RPAツールは一般に有料のものが多く、なかなか手が出せません。しかし、うまく活用できれば定型業務の手間を削減できるため、ぜひ導入したいと考えています。ただ、私の周りにはRPAを活用しようとする人がいないため、お金を無駄にする可能性があります。

とりあえず、Seleniumならある程度手を離れて運用できそうなので、他の業務にも適用できると思います。ただし、ブラウザ以外のアプリケーションでもRPAを行う場合には、pyautoguiも必要になりますのでSeleniumさえあればすべてOKというわけにはいきませんが。
最近の記事
AI比較:GeminiとCopilot、ChatGPT、Claude甲乙つけがたい
ちょっと遠出のドライブプラン(ルートと休憩2回)を作成させてみた。 詳細は省くけど、印象としては、Gemini/Copilot/ChatGP…
2026/03/17 10:48
訃報:池田昌子さん(享年87)
あまりこういうことは残したくないんだけれども、この方のことは覚えていたい。 3月3日永眠。合掌。 でも、割と往生だった…
2026/03/13 16:51
いわゆる非公式アップグレード
DELLのInspiron 15 3525。個人的には十分高性能で、十分使えるのにと思っていたんだけれども、やむを得ない事情でリプレースし…
2026/03/12 09:46
CarbonOS on Redmi Note 5
ちょっと、昔のスマホを引っ張り出してきた。 UnofficialなFirmwareが入らないかと思って。使えそうなら、カメラとか専用機と…
2026/03/07 11:56
AI...こそっと間違いを入れるのは困る。
「与えた表面積の値を利用して、ニッケルメッキの重量を求めよ。」 2問、問い合わせたところ、2つ目が異常に小さい結果にな…
2026/03/04 16:38
永代供養...事実上の無縁仏だなぁ
昨日、叔父の火葬を行ってきた。 本日、お骨を近所の葬祭ホールとの契約で樹木葬してくるとのこと。 叔父は財産もなく、妻…
2026/02/26 11:20
ローカルLLMに18トークン/秒は遅いかと聞いてみた。
NVIDIA製Nemotron-Nano-9b-v2に聞いてみた。 Xeon W-2125/Quadro P5000(16GB)搭載機でNemotron-Nano-9b-Japanese(Q4-K-S)、LM …
2026/02/23 10:46
社内で古いノートPCをゲット
Windows11へのリプレースは順調とか言っても、Windows10からのアップグレードでそれなりに利用できていたパソコンはそのままに…
2026/02/18 09:43
antigravity: Gemini3 Flashでいいんじゃないか?
antigravityで、コーディング以外にもいろいろな仕事を任せられることがわかって、日々使っているとGemini3 ProだとLowでもHigh…
2026/02/17 13:43
自分の中で固まっていないことをやろうとすると困る
課金していても、一番低い料金だと、やはり使えるトークンが少ない。 やりたいことがAIに伝わらないとき、試行回数が増える。 …
2026/02/13 14:51
選挙結果をAIに総括させてみた。
履歴の続きを利用して、「過去の予想を踏まえて総括してください。」と問い合わせてみた。 結果、履歴内容を踏まえてきちん…
2026/02/13 09:19
おそらくこれがサブスク(Google AI Plus)の恩恵
Google AI Plusに課金して、はじめてAntigravityを使用した時。 おお、これが課金した効果かと感じた。 無課金のとき、Anti…
2026/02/11 08:44
Google AI Plusに乗り換えた
Googleのクラウドストレージサービス(Google Drive)を増量するだけの名目でGoogle One(月額290円)に加入していたのだけれども、…
2026/01/29 09:22
旧PCでLinuxは動くが...(というよりCore i3の罠?)
ZorinOS18、若干貧弱なPCでも快適に使えるので、結構重宝しているんだけれども、環境を整えて本格的に使おうとしたら挫折した話…
2026/01/27 08:43
AIに議席数予測させてみた:2026年衆院選
今回はFelo、Gemini(Gemini3 Fast)、Gemini Deep Research(Gemini3 Fast)、Perplexity。 ただし、中道改革連合の支持率が出て…
2026/01/22 16:41
これは確かに不満が出るわ。Inspiron 15 3525
なんか、使っている人が不満そうなんだけど、どう不満なのか言えないみたいな微妙なパソコン。 でも、ちょっと触ってみて、…
2026/01/20 17:52
ちょっと困っていた問題が解決した話
pythonを使ってRPA的な処理を作成しようとするとき、重宝するのがSelenium。 2025年7月頃から困ってたことが、最新リリース向…
2026/01/13 13:57
Ctrl+Wが恨めしいと思った日
社長が使わなくなったからってHHKB Professional Hybridをくれた。 (ちなみに社長はHHKB Studio(墨)を使ってる。キートップ…
2026/01/13 12:07
ZorinOSを入れてみた
Chrome OS Flexを旧型PCに入れていたんだけど、どうもデスクトップがすっきりし過ぎて落ち着かない。 いや、汚いのが良いとは…
2025/12/19 14:24
マイクロソフトは劣化が著しい
新しいパソコンが届いたのでセットアップしようとして、サーバ上の共有フォルダを開こうとしたら、「拡張エラー」??? エ…
2025/12/16 11:29
もっと見る
タグ
AI(39)
IT(20)
雑感(8)
IoT(6)
AI,(5)
IT,(5)
愚痴(5)
日記(3)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
もっと見る