Merge branch 'master' into scratch/correct-warning-pos

Miscellaneous amendments to the scratch/correct-warning-pos branch

* lisp/cedet/semantic/fw.el (semantic-alias-obsolete)
(semantic-varalias-obsolete): Replace calls to byte-compile-warn with calls to
byte-compile-warn-x (when it exists).

* lisp/emacs-lisp/bytecomp.el (byte-compile-log-warning-function)
(byte-compile--log-warning-for-byte-compile): Make the POSITION parameter no
longer &optional (for the benefit of flymake on *.el).
(byte-compile-log-warning): Replace a nil POSITION argument with an actual
position.
(byte-compile-file-form-require): Push the required symbol onto
byte-compile-form-stack, for the benefit of `do-after-load-evaluation'.

* lisp/keymap.el (define-keymap--compile): Replace four calls to
byte-compile-warn with byte-compile-warn-x.

* doc/lispref/elisp.texi (master menu): Add entries for Shorthands and Symbols
with position.

* doc/lispref/streams.texi (Input Functions): Document
read-positioning-symbols.

* doc/lispref/symbols.texi (Symbols): Add new menu entry.
(Symbols with Position): New @section.

Prevent raw bytes from being displayed as help text on Haiku

* src/haikumenu.c (digest_menu_items): Don't set encoded text
into the menu item vector.

Use locale coding system to decode XIM preedit text

* src/xfns.c (x_xim_text_to_utf8_unix): XIMs typically return
text in the locale coding system, so use that instead.

Change visibility of "Undelete Frame"

* lisp/menu-bar.el (menu-bar-file-menu): Make "Undelete Frame"
always visible.  Suggested by Gregory Heytings <gregory@heytings.org>.

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

Get rid of some unnecessary code in handle_one_xevent

* src/xterm.c (handle_one_xevent): Stop mutating event->xkey.

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

; Merge from origin/emacs-28

The following commits were skipped:

fbc9b121e0 Fix memory-report-object-size to initialize memory-report-...
f08dfa9b53 Fix menu-bar mouse clicks in "C-h c" and "C-h k" (bug#53322)

Fix recent changes to visible bell code

* src/gtkutil.c (xg_create_scroll_bar):
(xg_create_horizontal_scroll_bar): Stop ensuring an X window
before the widget is realized.
(xg_update_scrollbar_pos):
(xg_update_horizontal_scrollbar_pos): Ensure such a window here
instead.

Clean up visible bell code on X

* src/gtkutil.c (xg_create_scroll_bar):
(xg_create_horizontal_scroll_bar): Ensure that the scroll bars
have their own X windows.
* src/xterm.c (XTflash): Remove use of GDK functions for
drawing.

Fix crash when the visible bell is rung but there is no cairo surface

* src/pgtkterm.c (pgtk_flash): Return if the cairo surface is
not present.  (bug#53420)
(pgtk_cr_update_surface_desired_size): Reformat comment.

Avoid glitches in ELC lines in build output

* src/verbose.mk.in (have_working_info): New macro.
(AM_V_ELC, AM_V_ELN): Use 'echo' rather than $(info ...)
on buggy versions of GNU Make.

Simplify AM_V_ELC setup

* src/verbose.mk.in (AM_V_ELC, AM_V_ELN): Use simpler Make ‘if’s.

* lisp/cus-start.el (polling-period): Update type.

Flagged by test-custom-opts.

* src/keyboard.c (start_polling): Fix type mixup.

Flagged by --enable-check-lisp-object-type.

Disable background image fetching from asking for passwords

* lisp/url/url-queue.el (url-queue-start-retrieve): Inhibit
prompting for passwords from these background requests.

Further emake tweaks

Fix previous emake change

* admin/emake (cores): Fix typo in previous change.

* src/keyboard.c (syms_of_keyboard): Fix build without input polling.

Improve the completion-category-overrides doc string

* lisp/minibuffer.el (completion-category-overrides): Clarify what
this variable does (bug#22324).
(completion-category-defaults): Mention the overrides variable.

Remove text mistakenly added to the diff--iterate-hunks doc string

* lisp/vc/diff-mode.el (diff--iterate-hunks): Remove text added by
mistake to the doc string.

Followup fix to previous message-update-smtp-method-header change

* lisp/gnus/message.el (message-update-smtp-method-header): Narrow
to the headers first.

Allow From to be part of message-hidden-headers

* lisp/gnus/message.el (message-update-smtp-method-header): Don't
bug out if the From header is part of `message-hidden-headers'
(bug#52871).

Merge branch 'master' of git.savannah.gnu.org:/srv/git/emacs

Don't use 'eshell-eval-using-options' for 'eshell/source' or 'eshell/.'

This makes 'source' and '.' in Eshell more compatible with regular
shells, which just treat the first argument as the file to source and
all subsequent arguments as arguments to that file.

* lisp/eshell/em-script.el (eshell/source, eshell/.): Don't use
'eshell-eval-using-options'.

* etc/NEWS: Announce the change (bug#53293)

Raise an error from 'eval-eval-using-options' for unknown options

* lisp/eshell/em-basic.el (eshell/echo): Add -E option.

* lisp/eshell/esh-opt.el (eshell--process-option): Raise an error if
an unknown option is encountered, even when :external is nil.

* test/lisp/eshell/esh-opt-tests.el (esh-opt-process-args-test)
(test-eshell-eval-using-options): Add test cases for this.

Fix indentation in NEWS of cl-flet item

* etc/NEWS: Correct description of indentation of 'cl-flet' and
'cl-labels (bug#53410).

Clarify Splitting Mail in the Gnus manual

* doc/misc/gnus.texi (Splitting Mail): Clarify what happens when
crossposting or not (bug#53307).

Fix memory-report-object-size to initialize memory-report--type-size

* lisp/emacs-lisp/memory-report.el (memory-report-object-size):
Allow using function directly (bug#53310).

Do not merge to master.

Interpret a "" value of EMACS_TEST_VERBOSE as "off"

* doc/misc/ert.texi (Running Tests in Batch Mode): Adjust doc.
* lisp/emacs-lisp/ert.el (ert-run-tests-batch): Allow overriding
the EMACS_TEST_VERBOSE variable by setting it to "" (bug#53313).

Make the edebug-all-defs user option work more reliably

* lisp/emacs-lisp/edebug.el (edebug-all-defs): This user option
has no effect unless edebug is loaded (because that loads the
advice needed for the commands in question) (bug#53331).

Make xwidgets work on builds that don't use Cairo drawing

* configure.ac: Check for the parts of Cairo that are needed for
xwidgets when they are enabled without cairo drawing.

* src/xterm.c:
* src/xwidget.c: Always include cairo-xlib headers when xwidgets
are enabled.

Clean up mm-display-inline-fontify slightly

* lisp/gnus/mm-view.el (mm-display-inline-fontify): Remove some
left-over compat code.

Make diff--iterate-hunks more resilient

* lisp/vc/diff-mode.el (diff--iterate-hunks): Ignore malformed
hunks instead of signalling errors (bug#53343).

Use the correct converter for odf files in doc-view

* lisp/doc-view.el (doc-view-pdf/ps->png): Use the correct
converter for odf files (bug#53354).

Update multisession variables when editing the values

* lisp/emacs-lisp/multisession.el (multisession-edit-value):
Update multisession variables when editing the values (bug#53361).

Further improve determination of when commands can be invoked directly

This covers the case when a subcommand is to be invoked in more places
than before, for example when a subcommand is concatenated in an
argument.

* lisp/eshell/esh-cmd.el (eshell--find-subcommands): New fuction.
(eshell--invoke-command-directly): Use 'eshell-find-subcommands'.

* test/lisp/eshell/eshell-tests.el
(eshell-test/interp-cmd-external-concat): New test (bug#30725).

; * etc/NEWS: Fix description of 'polling-period' change.

Adjust emake after recent changes

Synchronize XI2 code with Core Input code

* src/xterm.c (handle_one_xevent): Apply recent changes for XI2
events as well.

Merge from origin/emacs-28

11ea45c9e4 Fix UB in ebrowse
ba57b78064 Fix execute-extended-command-for-buffer in fundamental-mode
ef0c1d4c2c Add workaround to handle a problem with Enlightenment WM (...

; * etc/NEWS: Fix typo in recent change.

Work around GTK changing window backgrounds on colormapped displays

* src/xterm.c (x_clear_window):
(x_clear_area): Fill the contents with the reverse GC instead of
using XClearArea and XClearWindow when not double buffered.

Fix BadValue crash when looking up empty color names on some X servers

* src/xterm.c (x_parse_color): Avoid parsing empty color names.

ruby-toggle-block-space-before-parameters: New user option

* lisp/progmodes/ruby-mode.el (ruby-toggle-block-space-before-parameters):
New user option (bug#53321).
(ruby-do-end-to-brace): Handle it.

* test/lisp/progmodes/ruby-mode-tests.el
(ruby-toggle-block-to-brace-no-space): New test.

Update menu bars when `use-system-tooltips' changes on Haiku

* lisp/term/haiku-win.el: Add new function as variable watcher
for `use-system-tooltips'.
(haiku-use-system-tooltips-watcher): New function.

Allow fractional values of `polling-period'

This allows C-g to be handled faster in the NS port at the cost
of some extra CPU time on slow machines.

* etc/NEWS: Announce new feature.
* src/keyboard.c (start_polling):
(bind_polling_period): Handle floating point values of
`polling-period'.
(syms_of_keyboard): Make `polling-period' a Lisp variable
instead of an int variable.

Avoid FOCUS_IN_EVENTS not being sent on NS

* src/nsterm.m ([EmacsView windowDidBecomeKey]): Work around
emacs_event being NULL by storing focus in events directly
into the keyboard buffer.  (bug#52376)

In early bootstrap, use byte-compiled compiler to native compile first files

This speeds up a make bootstrap by around 15%.

* lisp/Makefile.in (BYTE_COMPILE_FLAGS): set a value specific to compile-first
which doesn't contain the setting of Emacs variable load-prefer-newer.
Add a new make hunk which byte-compiles (rather then native compiles) when the
environment variable ANCIENT is "yes".  Set the date of the .elc files built
to 1971-01-01 to cause a second compilation of them later.

* src/Makefile.in: Add an extra invocation of directory lisp's MAKE with
target compile-first and the flag environment variable ANCIENT set to yes.

* src/verbose.mk.in: When ANCIENT is yes, output ELC, not ELC+ELN for
AM_V_ELC.

Remove matching of whitespaces in LaTeX environment names

* lisp/textmodes/ispell.el (ispell-tex-skip-alists): Don't match
arbitrary number of whitespaces in LaTeX environment names.
(bug#53390)

Update documentation of 'clone-indirect-buffer-hook'

* doc/emacs/buffers.texi (Indirect Buffers):
* src/buffer.c (syms_of_buffer) <clone-indirect-buffer-hook>:
Update the documentation of 'clone-indirect-buffer-hook' due the
recent changes.
* etc/NEWS: Mention the change in where the hook is run.

* lisp/face-remap.el (face-attrs--make-indirect-safe): Doc fix.

Make textsec-link-suspicious-p less mistrustful

* lisp/international/textsec.el (textsec-link-suspicious-p): Scale
back the suspicion -- only warn about texts that contain a full
explicit link.

Fix tabulated-list-widen-current-column widening wrong column

* tabulated-list.el (tabulated-list-widen-current-column): Account
for the padding and the content width when calculating column
width (bug#53375).
Copyright-paperwork-exempt: yes

Make image-dired-delete-marked more resilient

* lisp/image-dired.el (image-dired-delete-marked): Don't bug out
on empty buffers (bug#53385).

Fix thinko in previous hi-lock-read-face-name change

* lisp/hi-lock.el (hi-lock-read-face-name): Fix the string/symbol
logic.

Fix indirect font changes incorrectly affecting original buffer

* lisp/face-remap.el (face-attrs--make-indirect-safe):
(clone-indirect-buffer-hook): Set up a face remapping alist
(bug#53294).

* lisp/simple.el (clone-indirect-buffer): Move the point the hook
is run.

* src/buffer.c (Fmake_indirect_buffer, syms_of_buffer): Move the
place where the clone-indirect-buffer-hook variable is defined, so
that we can call it from C.

Consider subcommands when deciding to invoke Eshell command directly

When an Eshell command contains an asynchronous subcommand (such as
calling an external process), it must be evaluated iteratively.  See
bug#30725.

* lisp/eshell/esh-cmd.el (eshell-invoke-command): Move most of the
logic from here...
(eshell--invoke-command-directly): ... to here. Also add checks for
subcommands.

* test/lisp/eshell/eshell-tests.el (eshell-test--max-subprocess-time):
New variable.
(eshell-wait-for-subprocess): New function.
(eshell-command-result-p): Use 'eshell-wait-for-subprocess'.
(eshell-test/interp-cmd-external): New test (bug#30725).

Rename the textsec-check function to textsec-suspicious-p

* lisp/net/shr.el (shr-tag-a):
* lisp/international/textsec-check.el (textsec-suspicious-p):
* lisp/gnus/message.el (message-send-mail):
* lisp/gnus/gnus-art.el (article--check-suspicious-addresses):
* etc/NEWS (like):
* doc/lispref/text.texi (Suspicious Text):
(Suspicious Text): Rename the textsec-check function to
textsec-suspicious-p.

Make the read-face-name completion buffer display samples

* lisp/faces.el (read-face-name): Display face samples when
completing (bug#53255).

* lisp/hi-lock.el (hi-lock-read-face-name): Use read-face-name.

Improve the textsec-domain-suspicious-p warning message

* lisp/international/textsec.el (textsec-domain-suspicious-p):
Improve warning message.

Fix error when describing menu items that don't have equivalent keys

* lisp/help-fns.el (help-fns--key-bindings): Never pass nil to
insert.

Fix menu-bar mouse clicks in "C-h c" and "C-h k" (bug#53322)

* lisp/subr.el (event-start, event-end): Handle '(menu-bar)'
events.
* lisp/net/browse-url.el (browse-url-interactive-arg): Simplify
accordingly.

(cherry picked from commit 9ceb3070e34ad8a54184fd0deda477bf5ff77000)

Fix UB in ebrowse

* lib-src/ebrowse.c (matching_regexp): Avoid writing beyond the
limits of 'matching_regexp_buffer'.  Patch by Jan Stranik
<jan@stranik.org>.  (Bug#53333)

Copyright-paperwork-exempt: yes

Make textsec-link-suspicious-p have fewer false positives

* lisp/international/textsec.el (textsec-link-suspicious-p):
Attempt to improve the domain-guessing logic.

Improve how menus are described in *Help*

* lisp/help-fns.el (help-fns--insert-bindings): New function.
(help-fns--key-bindings): Split menu/key handling and output menu
bindings separately (bug#52870).

Make system tooltips display in the menu bar on Haiku

* doc/emacs/haiku.texi (Haiku Basics): Update documentation.
* src/haiku_support.cc (Highlight): Apply the hack used for
regular menus to the menu bar as well.
* src/haikumenu.c (digest_menu_items): Set help text on menu bar
if `tooltip-mode' is t and system tooltips are used.
(syms_of_haikumenu): New symbol `tooltip-mode'.

Fix Fchar_syntax for non-ASCII in unibyte buffers

Fchar_syntax did not convert unibyte characters to multibyte when the
current buffer was unibyte, in contrast to `char-syntax` in
byte-compiled code (bug#53260).

* src/bytecode.c (exec_byte_code): Call out to Fchar_syntax;
the dynamic frequency is too low to justify inlining here, and it
did lead to implementations diverging.
* src/syntax.c (Fchar_syntax): Convert non-ASCII unibyte values to
multibyte.
* test/src/syntax-tests.el (syntax-char-syntax): New test.

Re-enable some textsec-tests after recent bidi.c fix

In Eshell, allow "-n" to suppress the trailing newline for "plain" echo

* doc/misc/eshell.texi (Built-in commands): Expand on the
documentation of echo (bug#27361).
* lisp/eshell/em-basic.el (eshell-echo): Respect OUTPUT-NEWLINE even
when 'eshell-plain-echo-behavior' is non-nil.
(eshell/echo): Add "-N" option and recommend its use over "-n" in
Lisp-friendly echo.
(eshell/printnl): Simplify; 'eshell-stringify' is equivalent to
calling 'eshell-echo' here.

Fix 'bidi-find-overridden-directionality' for Lisp strings

* src/bidi.c (bidi_find_first_overridden): Don't use ZV for Lisp
strings.  Reported by Lars Ingebrigtsen <larsi@gnus.org>.

Fix execute-extended-command-for-buffer in fundamental-mode

* lisp/simple.el (execute-extended-command-for-buffer): Protect
against the current local map being nil (bug#52907).

Make the undelete-frame-mode menu item a toggle

* lisp/menu-bar.el (menu-bar-file-menu): Make the undelete frame
mode option a toggle.  (bug#53382)
Also enable some options that were disabled on NS, but should no
longer be since NS now supports the tab bar.

Add workaround to handle a problem with Enlightenment WM (Bug#53298)

* src/xterm.c (handle_one_xevent): Handle setting of variable
'x_set_frame_visibility_more_laxly' when receiving an Expose or
FocusIn event (Bug#53298).
(Qexpose): Define symbol.
(x_set_frame_visibility_more_laxly): New Lisp variable.
* etc/PROBLEMS: Mention frame redraw problem with the
Enlightenment WM and 'x-set-frame-visibility-more-laxly'
workaround.

Make key-valid-p work in Turkey

* lisp/keymap.el (key-valid-p): Inhibit case folding, otherwise
(key-valid-p "I") would return nil in tr_TR environments.

Tweak textsec-link-suspicious-p

* lisp/international/textsec.el (textsec-link-suspicious-p): Don't
mark dates as suspicious.

Add test for bug#51733

Improve documentation of textsec

* lisp/international/textsec-check.el (textsec-check): Doc fixes.

* doc/lispref/text.texi (Suspicious Text): Improve wording and
indexing.

Allow suspicious names with some forms of bidi controls

* lisp/international/textsec.el (textsec-name-suspicious-p): Allow
names with bidi-find-overridden-directionality.

Improve textsec-domain-suspicious-p message

* lisp/international/textsec.el (textsec-domain-suspicious-p):
Improve warning message.

Allow disabling 'undelete-frame-mode' from the menu bar

* lisp/menu-bar.el (menu-bar-file-menu): Add
'disable-undelete-frame-mode' menu item.  (Bug#53382)

Document textsec

* doc/lispref/elisp.texi (Top): Add menu.
* doc/lispref/text.texi (Text): Add menu.
(Suspicious Text): New node.

* lisp/international/textsec-check.el (textsec-check): Adjust doc
string.

Check link text domain suspiciousness

* lisp/international/textsec.el (textsec-link-suspicious-p): Check
whether the domain in the link text is suspicious.

Expand textsec-link-suspicious-p checking

* lisp/international/textsec.el (textsec-link-suspicious-p): Check
the text more thoroughly for link-like things.

Improve textsec-domain-suspicious-p message

* lisp/international/textsec.el (textsec-domain-suspicious-p):
Ensure that we're not confusing the user if there's a directional
override in the string we're checking.

Add new bidi-string-strip-control-characters function

* lisp/international/characters.el
(bidi-string-strip-control-characters): New function.

Make article--check-suspicious-addresses more resilient

* lisp/gnus/gnus-art.el (article--check-suspicious-addresses): Be
more resilient to junk in headers.  (But all this should be rewritten
eventually, because the entire process is way too convoluted.)

Make `nil' values of the `:position' underline property work correctly

* src/xfaces.c (Finternal_set_lisp_face_attribute): Handle cases
where the underline property `:position' is nil.

Port hourglass display to XCB

* src/xterm.c (x_show_hourglass):
(x_hide_hourglass): Use straightforward translations to XCB if
available.

Get rid of calls to XRenderQueryExtension after terminal initialization

* src/image.c (x_create_xrender_picture):
(Fimage_transforms_p): Use `xrender_supported_p'.

* src/xterm.c (x_term_init): Query for XRender support and
extension versions.

* src/xterm.h (struct x_display_info): New fields
`xrender_supported_p', `xrender_major' and `xrender_minor'.

Implement selection ownership on Haiku

* lisp/term/haiku-win.el (haiku-selection-owner-p): New
declaration.
(gui-backend-selection-owner-p): Implement using newly exposed
primitive.

* src/haiku_select.cc
(count_clipboard, count_primary, count_secondary): New
variables for tracking selection ownership.
(BClipboard_set_system_data):
(BClipboard_set_primary_selection_data):
(BClipboard_set_secondary_selection_data): Set ownership
variables.
(BClipboard_owns_clipboard):
(BClipboard_owns_primary):
(BClipboard_owns_secondary): New functions.

* src/haikuselect.c (Fhaiku_selection_owner_p): New function.
(syms_of_haikuselect): Define new subr.
* src/haikuselect.h: New prototypes.

Suspend temp .elc production when native compiling till when necessary

* lisp/emacs-lisp/bytecomp.el (byte-to-native-output-buffer-file):
Rename from `byte-to-native-output-file'.
(byte-write-target-file): Update.
(byte-compile-file): Write the temporary .elc only when not native
compiling.
(byte-compile-file): Kill the .elc buffer only when not native
compiling.
* lisp/emacs-lisp/comp.el (batch-byte+native-compile): Instead of just
renaming the temporary .elc make use of `byte-write-target-file' to
write it down and kill the temporary buffer.

* Move some code in in `byte-write-target-file'.

* lisp/emacs-lisp/bytecomp.el (byte-write-target-file): New function
spilling code from `byte-compile-file'.

Make article--check-suspicious-addresses more resilient

* lisp/gnus/gnus-art.el (article--check-suspicious-addresses):
Don't bug out on mbox-less addresses.

Tweak the previous suspicious Message change

* lisp/gnus/message.el (message-check-recipients)
(message-send-mail): Move the check to after encoding.

Make Message check for invalid recipients before sending

* lisp/gnus/message.el (message-check-recipients): Check for
suspicious addresses before sending (bug#51733).

Make textsec-mixed-numbers-p actually work

* lisp/international/textsec.el (textsec-mixed-numbers-p): Fix the
test.

Make Gnus check for suspicious headers

* lisp/gnus/gnus-art.el (gnus-treat-suspicious-headers): New user
option.
(gnus-article-treat-suspicious-headers): New function.
(article-decode-encoded-words): Hook into the machinery to check
headers.
(article--check-suspicious-addresses): New function.

; * lisp/international/textsec.el (textsec-url-suspicious-p): Fix a typo.

Add text for suspicious links

* lisp/international/textsec-check.el (textsec-check): Note `link'.
(textsec-propertize): Fix typo.

* lisp/international/textsec.el (textsec-link-suspicious-p): New
function.

* lisp/net/shr.el (shr-tag-a): Check for sus links.