pythonでRPAっぽいことをやってみた
公開 2023/06/15 11:20
最終更新 -
10日ごととか、月一みたいに行う定型作業がありますので、これまではPythonを使ってRPAのようなものを作成していました。その際にpyautoguiというライブラリを使用していました。

pyautoguiは画面上の画像イメージを取得し、画面上から一致する位置を探し出す機能を提供します。もし見つけた位置にボタンがあれば押したり、テキストボックスがあれば文字列を入力したりすることができます。

しかし、この方法をWebブラウザに表示される要素に適用しようとすると、ある日を境にうまく動作しなくなってしまいました。おそらくブラウザのアップデートにより、微妙なイメージの変化が生じているため、保存したイメージファイルと一致しなくなったのだと思われます。
目視では違いはわかりませんでしたが、イメージ比較ツールを使用することで違いがわかりました。私自身は作成者の立場ですので、必要な時にイメージを再取得して使用していましたが、他の人にはこの方法は使いづらいでしょう。

しかし、Seleniumというライブラリを試してみたところ、うまく機能しました。これはイメージの一致を利用するのではなく、ページの構成要素から項目を特定することができるためですね。ブラウザを自動テストモードでどうさせるということらしいです。
しばらく使って問題がなさそうなら、関係者に直接使ってもらおうと思います。

RPAツールは一般に有料のものが多く、なかなか手が出せません。しかし、うまく活用できれば定型業務の手間を削減できるため、ぜひ導入したいと考えています。ただ、私の周りにはRPAを活用しようとする人がいないため、お金を無駄にする可能性があります。

とりあえず、Seleniumならある程度手を離れて運用できそうなので、他の業務にも適用できると思います。ただし、ブラウザ以外のアプリケーションでもRPAを行う場合には、pyautoguiも必要になりますのでSeleniumさえあればすべてOKというわけにはいきませんが。
最近の記事
おそらくこれがサブスク(Google AI Plus)の恩恵
Google AI Plusに課金して、はじめてAntigravityを使用した時。 おお、これが課金した効果かと感じた。 無課金のとき、Anti…
2026/02/11 08:44
Google AI Plusに乗り換えた
Googleのクラウドストレージサービス(Google Drive)を増量するだけの名目でGoogle One(月額290円)に加入していたのだけれども、…
2026/01/29 09:22
旧PCでLinuxは動くが...(というよりCore i3の罠?)
ZorinOS18、若干貧弱なPCでも快適に使えるので、結構重宝しているんだけれども、環境を整えて本格的に使おうとしたら挫折した話…
2026/01/27 08:43
AIに議席数予測させてみた:2026年衆院選
今回はFelo、Gemini(Gemini3 Fast)、Gemini Deep Research(Gemini3 Fast)、Perplexity。 ただし、中道改革連合の支持率が出て…
2026/01/22 16:41
これは確かに不満が出るわ。Inspiron 15 3525
なんか、使っている人が不満そうなんだけど、どう不満なのか言えないみたいな微妙なパソコン。 でも、ちょっと触ってみて、…
2026/01/20 17:52
ちょっと困っていた問題が解決した話
pythonを使ってRPA的な処理を作成しようとするとき、重宝するのがSelenium。 2025年7月頃から困ってたことが、最新リリース向…
2026/01/13 13:57
Ctrl+Wが恨めしいと思った日
社長が使わなくなったからってHHKB Professional Hybridをくれた。 (ちなみに社長はHHKB Studio(墨)を使ってる。キートップ…
2026/01/13 12:07
ZorinOSを入れてみた
Chrome OS Flexを旧型PCに入れていたんだけど、どうもデスクトップがすっきりし過ぎて落ち着かない。 いや、汚いのが良いとは…
2025/12/19 14:24
マイクロソフトは劣化が著しい
新しいパソコンが届いたのでセットアップしようとして、サーバ上の共有フォルダを開こうとしたら、「拡張エラー」??? エ…
2025/12/16 11:29
意外と使えそうなOnlyOffice
(申し訳ない、支離滅裂な駄文です。) Windows環境で事務作業をするならExcelは必須と思う。 企業で使うなら、MS Officeプ…
2025/12/09 09:13
Antigravity便利
できることが多いと使いこなすまでの苦労が多いのが困る。 というのは冗談。 機能が多くてもわからなければ使わなくていいし…
2025/12/03 09:00
Google Antigravityを入れた
Google Antigravityを使ってみた。Gemini Code AssistのAgent modeがオンになっているVSCodeとどう違うのかよくわからん。Gemin…
2025/11/24 17:38
ある意味安直な高速化、だけど人力では経験が必要な、だからLLM
作業量が大きくて時間のかかる集計処理。 pythonでやっているんだが、これはGoとかで書き直さなきゃいけないかなぁ... と…
2025/11/18 15:19
Github Copilot無料枠は月間縛りつらいが、Geminiがある
Github CopilotでGPT-5miniとかよりも、Claude Haiku 4.5がありがたいというネタもチャットクオータの壁には勝てない。(ただし…
2025/11/18 13:21
コードの変更はClaude系が強い
Gemini Code Assistは便利ということで愛用してきたわけだが、処理内容を変更せずにリファクタリングさせようとするとGithub Co…
2025/11/11 16:36
Gemini Code AssistのAgentモードが途中で停止すると...
Gemini Code Assistにリファクタリングをさせていたところ、原因不明で停止してしまった。 今日、実施していた感じでは、いく…
2025/10/24 16:27
ワイヤレスマウスの不調
会社で使用しているワイヤレスマウスが動きが悪いということで、動作確認をしてみた。 センサで使用している赤色LEDの様子を見…
2025/10/20 11:38
WiFiルーターを変更
安いのでTP-linkの‎Archer AX3000を導入した。 インターネットプロバイダーからレンタルでつかっていたんだけれども、思うとこ…
2025/10/14 11:09
恣意的という言葉は嫌い
「恣意的」その時々の思いつきで物事を判断するさま。 というのが、まず出てくるんだけれども、weblio辞書によれば、「意図…
2025/10/10 10:19
AIのせいで新人の仕事がなくなって、就職難とのお話
ここのところ、ネット記事で読むことが多いので思ったこと。 生成AIとかLLMとか、ChatGPTに代表されるようなAIが賢くなって…
2025/10/01 15:54
もっと見る
タグ
AI(38)
IT(20)
雑感(7)
IoT(6)
AI,(5)
IT,(5)
愚痴(5)
日記(3)
RPA(2)
アニメ(2)
ChatGPTで遊ぶ(1)
Windows11(1)
自動処理(1)
もっと見る